数据汇集及服务整合平台HTSDI产品介绍。
数据汇集及服务整合平台HTSDI
海天数联数据集成及服务整合平台HTSDI是一款企业级的数据集成、处理及数据操作流程的平台。通过可视化Web操作界面,以拖拉拽零代码方式构建多源数据的批处理或流式处理流程,从而实现数据的快速获取、汇集、操作、存储和服务,提高业务处理速度,实现对数据流的统—管理。
平台能力
企业级数据集成、处理及数据操作流程平台
支持边缘化弱处理和中心化强处理、边缘化强处理和中心化强处理的双重数据集成架构,覆盖了企业数据网络建设中的任意网络拓扑。
微服务的数据服务定制构建体系,提供平台与微服务系统的无缝融合,在企业的微服务建设中,形成数据微服务管道。
通过数据源与数据处理流程的绑定,形成企业数据的完整血脉图,通过数据处理流程的可视化定制,增强企业在数据采集和整合中的定制化数据治理能力。
集群化的数据整合和存储引擎架构提供了海量数据的实时处理存储与服务能力。
提供Some- Master- Slave集群模式,为企业提供高可用的数据整合集群化方案
支持主控节点的自动选举、失效自切换、自动容灾熔断;节点主机的自动发现、自动加入、失效故障节点感知。
零代码实现数据集成、清洗和转换
系统提供动态的可重用和可扩展数据集成组件,实现完全可视化的大数据整合工具,避免了手工编程和脚本编写过程。
兼具数据濡洗、转换、脱敏的各项数据治理组件,可视化构建大数据处理业务,并直接形成数据处理流程,以获得更完整和精确的分析。
一套完整的批处理与流式处理数据集成引擎
系统不仅提供了本地运行引擎机制,还同时提供了以Spark和Flink为底层的集群运算引擎,为客户提供了从处理MB数据到TB、PB级数据的能力,同时实现批处理与流式数据处理业务的方式。
灵活可扩展的数据存储系统与元数据管理系统适配性
在使用系统提供的存储系统基础上,用户可以任意扩展和使用第三方存储系统作为基础数据存储平台,从而实现存储能力扩展和适配现有存储平台的能力。除支持海天数联的元数据管理平台外,提供对第三方元数据管理系统的接入方式,通过第三方元数据管理系统,可增强元数据的管理能力。
一体化的调度中心和数据脱敏安全配置
对数据处理中各种资源进行监控和管理,实现一体化统一调度。