大数据融合服务平台升级方案。
产品综述
产品命名
龙渊：高洁之剑，七星飘渺，巨龙卧渊，其剑成之后，俯视剑身如登高山而下望深渊，飘渺而深邃如有巨龙盘卧。新智认知大数据融合服务平台犹如龙渊，为各业务平台蓄水储能，凡得其助力，皆腾云而上。
产品定位
新智认知大数据融合服务平台整合云计算、大数据和人工智能三大技术体系于一体，实现多源异构数据接入汇聚，通过自动化的集中管理和数据治理，将数据按照业务属性进行梳理，基于通用化与定制化的数据服务方式，面向各种业务场景提供数据赋能，为各类业务应用蓄水储能，助力行业用户实现数字化转型。
平台具有实时性、敏捷化等显著优势，能够为行业客户提供高效、易用、可靠的实时大数据平台服务，可作为大型垂直行业应用的大数据一体化云平台框架。平台体系为当今复杂环境而设计，可接入处理任何应用、系统、产品、设备产生的数据，并通过有效的自动化数据管理流程，确保汇聚的数据可以被有效使用，从而充分挖掘数据价值，促进数据增值。此外，无论是传统应用还是部署在云中的应用，平台都可实时提取海量数据，进行跨应用的深入分析，从而驱动革新，提供更高级别的数据洞察。
功能特性
1-10数据安全
平台建立全覆盖、全周期的安全防护体系，针对应用元数据授权范围进行控制，为服务的创建提供二次授权管控，支持对于相关数据进行脱敏处理；对数据的操作有完备的日志记录，可按安全基线进行可视化日志审计。
1-1数据门户
平台以数据大屏可视化的模式，进行数据资产静态分布与汇聚治理动态跟踪的全局呈现；同时，结合多种智能组件实现各类应用分类展示，并可对接第三方应用，方便用户快速定位并进入相关应用。
1-2数据服务
平台可通过外部应用注册、服务审批、服务监控等管控流程，提供定制化与通用化的基础数据服务、基础分析服务和行业数据服务；同时，基于服务调度配置信息，还可实现标准的自动服务调度和人工服务调度。
1-3数据管理
平台可实现对数据资产、元数据、数据质量等的业务化、结构化、标准化的维护，能按照数据分类区分不同的数据区，配套相应的管理标准和手段，从而提高数据管理规范性、高效性、有效性等。
1-4数据引擎
数据接入采集，支持多种类型数据源，包括结构化数据、非结构化数据及半结构化数据。接入的数据可按不同维度进行汇聚，存储于数据中心，并基于数据定义对原始数据进行清洗、转换。
1-5物联网信息处理
物联网信息处理采用云计算、大数据技术架构，支持数亿级物联设备的连接和数万亿条消息的高并发处理。基于物联网网关收集物联设备产生的数据，平台采用流处理引擎对物联数据进行实时处理和智能AI加工，处理结果可以以流式、数据接口和报表的形式输出，也能驱动反馈控制单元实时反馈给前端物联设备，自动形成物联数据收集、处理、反馈的智能控制闭环。
1-6在线实时碰撞
在线实时碰撞适用于关系挖掘、多源协同监控等场景，可以对海量多数据源数据进行实时碰撞，秒级产生多源关联结果，保障实时处理的一致性和正确性。核心组件数据碰撞引擎基于用户定义的碰撞规则进行实时多流碰撞，碰撞结果进一步导入实时分析数据库。用户能够通过图形交互界面进行数据查询，或者以数据接口的方式提供给其他系统。
1-7异地多中心数据融合
异地多中心数据融合是一种基于业务驱动、按需融合的在线实时融合处理架构。通过前置数据网关，系统对分布在不同地理位置的异地数据中心进行关联数据汇聚处理；当数据实时进入分布式数据队列中，可进行实时处理，并将结果实时反馈至分数据中心。整个过程具有高吞吐、多并发、低延时的特性。其中，数据融合并非融合全量数据，而是仅仅融合业务需要的有限关联数据，且数据在融合中心采用内存计算的模式进行处理，做到数据不落地，从而有效保护分中心的数据隐私。
1-8智能模式挖掘
依托于实时大数据和弹性容器集群在海量数据处理和弹性运算能力上的强大支撑，并结合自身不断积累和完善的模型和算法，人工智能引擎已然打通数据和智能之间的魔幻之门，只要有数据，就能获得想要的智能。训练的数据规模不再有限制，训练的时间无需漫长等待。系统只需基于训练数据规模自动计算并调度所需运算资源，即可在预期时间内完成训练，获得智能。
1-9海量实时监控和日志平台
监控和日志平台采用分布式架构，基于微服务框架，能够收集并实时处理海量监控数据；采用配置信息或服务发现的方式，使数据收集模块能够以“拉”模式主动从监控对象处采集数据。日志、指标、状态等监控数据，可统一进入分布式数据队列并进行实时处理；处理结果多路输出，在实时保存至时间序列数据库和全文检索库保存的同时，会同步进入报警引擎，并基于事先配置的报警规则触发报警，从而启动相应预案并多渠道推送给相关人员。
1-10数据安全
平台建立全覆盖、全周期的安全防护体系，针对应用元数据授权范围进行控制，为服务的创建提供二次授权管控，支持对于相关数据进行脱敏处理；对数据的操作有完备的日志记录，可按安全基线进行可视化日志审计。
特色优势
智能化
在进行数据接入抽取时，能够智能感知数据源变化，智能判读数据质量，同时智能调节参数确保任务的正常执行
实时性
基于独创的针对流数据碰撞处理且高吞吐性能的流式计算引擎Dojoyn，能够快速对海量事件流数据进行多维碰撞，并以实时数据服务为设计理念，具备实时流式处理、实时多流碰撞、实时在线分析、实时AB数据流对比等特性
敏捷性
拥有多样化的开放组件，内置机器学习和深度学习模块，用户只需关心数据和算法逻辑，无需掌握人工智能框架
安全性
安全技术层面，从底层的融合计算采用数据隔离和边界防护等安全策略，实现不同应用和服务的隔离；安全管理层面，进行数据分级分类、面向不同用户和应用场景设定不同脱敏策略,充分保护数据隐私与安全
兼容性
支持结构化、非结构化及半结构化数据接入，能够从半结构化数据中基于语义识别，实现结构化数据的转化和提取
