X-Cloud大数据云平台开发方案。
X-Cloud大数据云平台
产品简介
随着物联网技术的发展,公安信息化系统汇聚采集的业务数据正呈几何级数爆发式增长,面对TB、PB级以上数据(包含结构化、半结构化和非结构化数据)存储及分析应用需求,如何解决如此庞大的海量数据存储与计算应用难题,正成为业内厂商急需解决的问题。
信义科技自主研发的X-Cloud大数据云平台,是基于统一的物理或虚拟化硬件资源,搭建的以大数据存储、汇集及整合应用为目的的云平台。作为基础应用云平台,为上层业务系统提供标准、开放、高效、快捷的大数据支撑服务,让系统用户能够真正享受到大数据技术所带来的全新数据体验。
产品特性
X-Cloud大数据云平台产品主要由X-Cloud云平台、ETL数据处理工具、超级搜索工具和数据管家等产品系列组成,通过数据管家,封装提供多种数据接口,为应用系统(业务网站、办公系统、研判系统、移动终端等)提供数据存储、查询、比对、统计、分析及关系挖掘等增值服务。
海量数据支持
支持PB级别数据存储、利用平台ETL工具每天可处理同步数据100TB、支持数据库表结构、文件、视频、网页、Word、Excel等多种文件类型存储
时效性
10亿条数据统计响应时间小于200毫秒,同类操作,较传统数据库提高10倍以上
易用性
不仅支持新的云架构的数据存储于应用,且全面支持SQL语言,兼容SQL92标准、支持当前业务系统无缝迁移、支持一键安装,图形化的部署与配置、支持动态增减机器,无需分库分表
稳定性
分布式多任务并行机制,自动监测服务,自动将任务转移到正常服务器上运行
安全性
采用多种安全技术,包括多份存储,存储加密,传输加密,身份认证,数据权限加密等,使应用更安全
X-Cloud云平台
X-Cloud云平台包括分布式存储、分布式数据库、内存数据分析以及集中式管理与一键安装部署五大功能。
ETL数据处理工具
支持主流数据库和文本等多种格式数据导入导出和清洗工作
支持主流关系型数据库和hadoop、hbase的导入导出工作
图形化的操作界面,简单方便
支持用户设计,上传任务,选择调度执行时间等;集群化的任务调度管理,最大化的满足系统多任务的执行
数据管家
数据管家的功能主要包括对数据源信息、用户权限信息等配置信息进行维护,查看统计报表、查看监控视图、日志查询等功能。对外提供数据访问服务,包含安全审计、SQL解析与智能调优、数据加解密、统计分析查询接口等功能。
超级搜索
超级搜索是根据人员、案件、物品、车辆、视频、通讯等划分标准将全网分成若干个自治区域,在每个自治区域内设立一个检索服务器,而每个检索服务器由信息搜索机器人、索引搜索软件数据库和代理三部分组成。
系统架构