数据采集平台软件开发
数据采集系统支持将不同系统中分散、零乱、标准不统一的各种源数据中的数据进行汇聚。支持从DBMS、互联网、物联网、企业生产系统等各种数据源中提取数据。其中互联网网页大量数据批量化采集，就是获取互联网中相关网页内容的过程，并从中抽取出用户所需要的属性内容。此外，相应的对抽取出来的网页数据进行内容和格式上的处理，进行转换和加工，使之符合用户的需求，并将之存储下来，以供后用。
功能
（1）系统配置
系统配置是对采集服务器、索引、HDFS的配置和管理
（2）采集源配置
通过简单的界面快速实现数据采集源的配置，可对互联网网页、微博、博客、论坛、微信公众号等采集源进行配置。
（3）智能解析
用户只需选中采集区域，通过匹配解析规则库自动解析选中区域形成所需内容。
（4）智能采集
通过简易的操作创建采集任务实现对互联网网页、微博、博客、论坛、微信公众号数据的智能采集，包括单机采集和分布式采集。支持全量采集和增量采集。
（5）关键字自动提取
通过关键字提取技术对采集的数据进行分析，提取关键字，为用户精准推荐、文章相似性推荐奠定基础。
（6）数据管理
是对采集后数据的管理，数据目录实现对已采集数据的多维多层级数据分类展示，以及编辑和删除不合格的数据，包含对采集信息按照标签进行分类展示数据信息。
（7）任务监控
实时监控每个采集任务，显示任务状态。
（8）报表统计
对每天各时间段数据采集情况的汇总及统计，包括年、月统计及日统计。
（9）对外接口
对外提供RESTfulAPI。
（10）全文检索
通过全文检索技术对采集后的数据建立索引实现精准搜索、全文搜索。
客户价值
（1）政府机关
解决与因特网隔离的重要部门对于因特网的信息需求问题；
解决政府主网站对各地级子网站的信息采集与整合问题；
解决政务外网、政务内网的信息量不足，更新不及时问题；
（2）科学与技术研究单位
解决科研人员对于实时科技信息的整合浏览需求网页抓取从因特网的公开的可信来源轻松获取科学研究的相关数据；
（3）门户网站
每天自动采集指定网站（可达几百个，上千个）的最新内容（可以做到每天自动从上千个网络媒体采集上万条新闻信息）；
（4）新闻媒体
轻松整合不同地区与行业的新闻，形成专题采集行业内的专业文章，论坛帖子，并进行整合；
（5）企业
准确地采集竞争对手以及供应商的新闻，人事，产品，价格等信息数据抓取；
准确地采集公共信源的商业情报（同行产品价格，竞争对手的用户反馈，行业新闻）；
准确地采集本企业的品牌以及竞争对手的品牌在各大搜索引擎中的结果；
准确地采集各大行业论坛中的信息，从中了解消费者的需求与反馈，从而发现市场趋势与商业机会；
准确地从网络公共信息中采集销售线索，潜在客户的资料；
准确地从网络公共信息中采集本行业上万种产品的产品信息（描述，价格等），图片，技术文档。
行业案例
方便快捷：系统为用户提供了简单方便的界面配置，用户可以快速高效的配置采集任务；同时采集系统搭配分布式存储系统，使得存储计算更快速高效。
智能：系统提供了智能解析和智能采集，为用户节省了时间成本和劳动成本。
安全：系统基于IngloryBDP大数据平台，平台按照政府高级别安全性要求进行设计和研发，有效保障用户数据安全。
