数贝TurboDXforKafkaConnect连接平台升级方案。

许多企业/政府用户釆用Kafka作为高性能、高可用性的数据交换或消息服务中间件基础架构，需要解决各种异构数据库与Kafka的单向或双向数据流集成问题。一方面，需要将应用系统产生的变化增量(CDC)数据实时发布到Kafka主题中，供应用程序来消费和处理，如采用Spark/Storm或各种CEP引擎进行实时数据流处理和分折;另一方面，可以将应用系统源端的全量和实时增量数据通过Kafka提供的数据路由及分发功能，将数据同步到下游的各种数据库/仓库中，进行各种场景的应用。Kafka也可以作为交换传输的中间件平台，实现跨部门、跨地域的数据釆集、安全传输和共享交换。无论针对哪种应用场景，用户均迫切需要能提供各种异构数据库与Kafka对接的数据连接器Connectors，以及对接入Kafka的任务和数据进行有效的可视化管理和监控。

公司自主研发的TurboDXforKafkaConnect软件产品，采用最新的基于Web和微服务容器的架构，多线程并行流式处理技术，优化的可扩展性和灵活性、以及方便易用的基于WebB/S的任务配置和监控管理界面。用户只需点击几下B/S界面，就能完成各种异构数据库与Kafka单向或双向数据集成场景的配置，简单易用性、可管理性、安全性及交换性能高是产品的重要特点。

主要功能：

支持Oracle(RAC)、SqlServer、MySql、PostgreSQL、Informix、GBase8t、云RDS、DRDS、DDM等源端数据库的全量及CDC实时增量发布到Kafka，以及分发写入到不同的目标库;

支持Kafka0.9以上版本，支持启用Kerberos的Kafka集群的安全连接;

支持ConfluentKafka;

支持Json数据结构;

支持数据库日志扫描的非侵入式(CDC)数据增量获取，无需在应用系统数据库端部署任何代理(Agent)程序，对应用系统的运行影响降到几乎为零;

支持表级、字段级及实例级的数据过滤Filter，及数据转换Transformation和各种嵌入函数处理;

支持断点续传，保证断网、任务启停、服务重启时不会丢失数据及高容错机制设计;

提供B/S图形化的连接任务设计及实时监控和管理;

提供Connectors任务的高可用性集群版本，实现负载均衡及故障转移。

系统架构