【51CTO.com原创稿件】NDC全称Netease data canal，即网易数据运河，是一个平台化的结构化数据传输系统，目的是解决结构化数据的实时迁移、同步、订阅、OLTP到OLAP的实时数据整合等问题。我们希望能够借此将数据库中的数据与其他系统打通，从而构建一个能够整合所有数据库的“数据运河”，任何系统都能够从“运河”中获取数据。
此次由51CTO主办的2017WOTA全球架构与运维技术峰会上，网易资深工程师马进老师分享了主题为《网易数据传输服务NDC高可用实践》的演讲。
应用场景
从应用方视角看来，可以将NDC的应用场景分为三类：第一类是数据迁移，像DDB到Oracle这样的异构数字迁移，同时可以解决DDB内部在线扩容问题和迁移问题。第二类数据同步，场景较为复杂一些，如跨域甚至跨国的数据实时同步，一般不强调异构，需要解决的是高延迟，复杂拓扑管理的问题。第三类数据订阅，通过数据来驱动业务，实现业务间异步解耦。
最后，通过这些应用场景可以总结出NDC的两个核心需求：第一，获取数据库实时变更的能力。第二，数据快速发布的能力。如MySQL到Oralce的数据迁移，需要增量迁移的速度要比MySQL线上增量更新快，否则相迁移或者同步永远无法完成，这就考验NDC数据发布的速度。另外一点，是需要NDC提供完善的高可用方案，允许数据重复，但是不能丢，还要提供一个不停服务的能力。
