实时数据融合产品软件开发。
实时数据融合
打破技术壁垒，让客户专注数据价值释放
产品简介
DataPipeline数据融合产品通过多年在数据融合技术领域的积累，支持Oracle、MySQL、MSSQLServer及PostgreSQL的实时增量数据捕获，基于异构语义映射实现异构数据实时融合，帮助用户提升数据流转时效性，降低异构数据融合成本。在支持传统关系型数据库的基础上，对大数据平台、国产数据库、云原生数据库、API及对象存储也提供广泛的支持，并在不断扩展。DataPipeline数据融合产品致力于为用户提供企业级数据融合解决方案，为用户提供统一平台同时管理异构数据节点实时同步与批量数据处理任务，在未来还将提供对实时流计算的支持。采用分布式集群化部署方式，可水平垂直线性扩展的，保证数据流转稳定高效，让客户专注数据价值释放。
产品功能
批流一体任务管理
通过基本配置，选择数据链路、选择资源分组、选择任务执行方式，通过限制配置与策略配置对基于链路设定之下的各类限制与策略进行个性化配置。
映射融合链路管理
以业务目标为导向，通过基本配置选择数据链路的相关数据源与数据目的地，建立数据对象映射关系，通过限制配置和策略配置，指定在整个数据链路域内的传输速率上限、结构变化策略、一致性保障策略及预警、日志、自动重启等任务执行策略。
多元异构节点管理
通过基本配置注册实时数据融合相关的各类数据节点，通过限制配置限制数据任务执行过程中对数据节点的访问，操作动作范围及规则，通过策略配置指定语义映射、多节点降级顺序等数据融合任务执行过程中需遵循的策略。
动态均衡资源管理
通过基本配置，注册、发现系统资源，建立资源分组，通过限制配置限制数据任务执行过程中对系统资源的使用限制，通过策略配置指定任务执行过程中系统资源状态变化与事件发生的应对策略与规则。
稳定可靠融合引擎
执行数据融合任务的核心引擎。负责清洗、融合不同类型数据节点实时增量数据，并实时加载到数据目的地。针对不同的数据节点类型提供相适应的、准确的、高性能的增量数据加载。
产品特色
多元异构
支持Oracle、MySQL、MSSQLServer及PostgreSQL的实时增量数据捕获，对大数据平台、国产数据库、云原生数据库、API及对象存储也提供广泛的支持。
批流一体
为用户提供统一平台同时管理异构数据节点实时同步与批量数据处理任务的定义，部署，执行、监控。提供统一的错误队列管理、预警机制、日志管理。
分布式计算
容器化集群为用户提供读写分离的资源组定义、管理、分配，可动态扩缩容，所有组件均支持高可用，可水平垂直动态扩展。
产品体验
产品路线图
关于产品路线图
DataPipeline致力于成为以企业客户为中心，以技术驱动的产品公司。
DataPipeline相信自己有能力也有意愿代表数据领域的技术发展方向与领先技术实践。
DataPipeline知道关注我们的客户、合作伙伴与所有员工都十分关注我们未来十二个月会发布的新特性和增强优化。
DataPipeline认为客户的反馈与内部各部门的意见对产品的发展同样至关重要。
请让我们知道您对DataPipeline的想法。
价值主张
打通资源通道，让客户全域信息随需可得。
以下是我们希望在未来十二个月添加的主要特性，这些特性已经经过了充分研究、探讨与技术探索，一般来说我们不会轻易更改，但也对提出不同意见的相关方心存感激。
构建由数据服务引擎、数据服务配置管理、数据服务网关与数据服务门户组成的数据服务平台。
通过对系统性能、稳定性与可管理性的进一步优化来满足企业级产品的要求。
通过对全生命周期、数据资产管理、自动化运维及其他管理能力的增强与优化夯实竞争壁垒。
第一阶段
产品基础构建与增强
用户可以通过对分页、数据组织等策略的配置实现更加灵活、支持范围更加广泛的数据服务。
用户可以通过数据服务网关实现数据服务的注册发现、运行监控、权限鉴定与流量控制等基本功能。
用户可以通过数据服务网关实现数据服务的注册发现、运行监控、权限鉴定与流量控制等基本功能。
通过数据服务检索申请与数据服务上线发布两个流程的打通，用户可以在数据服务门户注册、检索、申请数据服务的使用，数据服务发布用户可以将应答申请、发布、管理数据服务。
第二阶段
企业级可用性建设
通过对数据服务引擎分布式、集群化的设计，实现对限流、服务降级、熔断等高可用策略的实现，进一步优化数据服务平台的系统稳定性。
通过对数据缓存机制、异步服务机制等核心功能的优化，进一步提升系统性能。
用户可以配置服务引擎、配置管理、网关与门户的租户管理、用户管理、权限策略、安全策略、日志策略，监控策略及预警策略，进一步提升系统的可管理性。
第三阶段
管理能力增强与优化
用户可以对数据服务的设计、配置、测试、部署、发布、升级、多版本、下线的管理生命周期与数据服务的进行、限流、熔断、降级、修复的运行生命周期进行管理与策略配置。
除检索、申请已有数据服务之外，用户可以在数据服务门户对全域数据资产进行检索并申请相关数据服务。
通过系统资源监测、数据节点监测、服务引擎监测及流量监测进一步增强系统的管理能力。
第四阶段
竞争壁垒夯实
用户可以通过子服务编排、动态部署、自动化测试、多版本发布、多认证方式等策略配置支撑数据服务配置管理的更多要求。
用户可以通过差异化的配置模板针对不同的数据资源特性进行配置，支持不同数据服务的差异化要求。
用户可以通过异常检测、健康检查、动态资源调配及服务修复等功能实现自动化运维管理。
进一步优化数据服务引擎的性能和稳定性。
