大数据调查统计系统解决方案软件介绍，大数据调查统计系统解决方案有哪些。

“昌昱信科”大数据调查统计系统

一、系统概述

该系统集数据采集、查询统计、数据管理等功能为一体，以“管用、实用、好用”为宗旨，根据数据调查的特点、难点，借鉴已存在的各类系统功能及技术而研发，集众家之长，是一套技术先进、功能全面、工作效率高、操作使用简单的数据调查采集管理系统。可为各类数据调查信息化建设提供有益经验和参考借鉴，能有效解决各类调查单位缺乏有效整合、数据难以综合共享、数据标准不统一、数据处理难度大等问题。可广泛应用在军队国防资源、地方经济普查、应急救援等领域，在军事、经济、卫生、交通等领域有极大的推广意义及应用价值。

１.数据采集简便快捷

数据收集采用Excel电子表格分散数据采集机制，和以往相比，极大地提高了数据采集效率，在数据灵活性、扩展性、数据重用、录入效率、兼容性方面均有其先进之处，能极大缩短数据调查、录入周期，减轻工作难度与负担，实现复杂、复合数据的“采集→录入→审核→入库→上报→接收”全过程计算机信息化、规范化管理，能快速为信息分析、辅助决策提供详实的数据依据。

２.系统功能全面

系统包含数据检索与查询、统计分析、图表生成、地理位置等功能，查询条件来源数据分类、年度、所属行政区划、查询表单等，能够适应各项工作业务变动需要，适应各类数据结构变更，保障系统在较长时间内和实际工作保持一致性。

３.界面直观多样化

操作界面直观，行政区划选择支持多选，以及是否包含下级区划；表单查询支持模糊匹配,查询结果中，通过点击不同的列标题，对数据按该列进行排序。点击对应菜单，可以对数据进行统计汇总，并可以分析图表的形式呈现，如柱状图、饼状图、折线图等。

４.可与地理信息整合

可与空间地理信息系统整合，将可分布的数据提取出来，以电子地图为载体，直观、准确的分布到地图上，方便查询及统计分析

５.数据可二次使用

经采集的基础数据，能在系统中进行数据二次加工或数据转换，供其它单位部门或应用领域使用。

６.部署方式灵活

系统可采用单机独立部署方式，使用便携式计算机独立运行系统，为野外作业、流动指挥、抗震救灾等特殊环境下提供服务。

也可以采用分布式集群的联机部署方式，可承载大规模数据存储、查询与统计分析，提供高性能数据服务。

二、系统特点

系统主要从动态数据结构设计、基于Excel的数据录入机制、基于缓存的数据查询三个方面来实现，三个方面相互衔接，缺一不可。

数据采集的基本流程可以简化为：填写Excel表格——上传Excel表格——录入完成。其中，填写的Excel可以从系统中下载，或根据实际情况重新制定，重新制定的表格仅需要在系统中进行一次Excel数据映射与绑定操作，即可被系统识别并导入数据。

（一）动态数据结构设计

调查采集数据种类、结构、关系通常需要根据实际工作需要进行调整，增减调查范围及采集项目，调查数据由各种调查基础表组成，由于基础表的表结构、表数量、表关系具有多变性，故对此类数据表格均以动态物理表的模式进行建立，以满足数据采集过程中数据灵活性与扩展性需求。

灵活性体现在系统数据能够随实际工作情况灵活变动采集结构和存储结构，扩展性体现系统能够随时间工作需要增减采集数据表格和结构，系统具有灵活性与扩展性，能够保持系统较长时间内保持与实际工作的一致性，及时适应工作变动，保障系统较长时间内不会落后。

动态数据结构由内部结构和外部结构组成，内部结构对系统用户不可见，用于描述数据表间关系，数据归属关系，数据状态等，内部结构不能被修改；外部结构对用户可见，通常和其对应的调查数据相对应，外部结构可以通过系统的表结构设计器进行修改，增减动态表格或存储字段，增强系统数据灵活性与扩展性。

动态数据结构主要包含三个模块，一是表结构设计模块，二是表关系与唯一性设计模块，三是数据关联设计模块。

1.表结构设计器

表结构设计器用对数据表的外部结构即数据采集项目的存储结构进行设计，主要包含添加删除表，调整表结构等。

2.表关系与数据唯一性描述

表关系与数据唯一性描述用于对同一采集数据下的各动态表间关系、有效范围进行描述，对各动态表数据唯一性约束进行配置。

3.数据关联

数据关联设计器用设计各种采集数据间的关联性，如人员与机构关联，桥梁与道路关联等，数据关联主要用于关联数据间的数据重用以及级联操作等。

（二）基于Excel的数据录入机制

实现基于Excel的数据录入机制，一是需要制定符合计算机统一机读要求的Excel电子表格，二是将这些表格结构与调查动态数据结构进行映射与绑定，三是建立数据多中录入结构支持，使同一数据支持不同结构的电子表格录入，四是建立批量录入与数据自动识别模块，实现无人值守批量数据录入，五是建立数据补充合并机制，使得数据可以拆分为多个部分分别进行录入，对各版本数据合并及复杂数据录入提供便利。

１.基于Excel重制调查表格

对整个调查数据的表格格式、填写方式、录入方式等进行调整，重新制定调查表格和填表规范，构建符合计算机统一机读与数据批量录入的Excel电子表格，目的在于减轻基层工作负担，提高调查工作效率，提高数据准确性、全面性。借助Excel重制的表格，已经经过排版，可以直接的打印空表或数据表，使填写表格的样式、格式、版式统一化、标准化。

重新制定的表格，明确数据来源、关系、采集内容的一致性与完备性，以行政规定、填表要求、数据验证、数据字典相结合，使整个调查数据符合标准化、精确化、全面化需求。

1)数据来源明确性

填报表格均含相同的公共信息，用于描述该表数据来源，填报人、填报日期等，目的在于做到各项数据来源明确，且有据可查。

2)数据关系明确性

各项填报的调查数据表格中，有些是有关联的，如机构的辖属关系，各项数据与行政区划的从属关系，人员与机构的归属关系等。因此，我们规定，作为关系中的主体方，均能填写具有唯一性的值，以标识该信息的唯一性，通常使用编码，如行政区划的行政区划编码，单位机构的全称、组织机构代码，人员的证件编号等。

3)数据内容一致性

严格规定内容填写项格式、数据类型、可选字典等，保证同一数据的一致性，如要求填写全称的必输入全称，而不能输入简称，填写手机号的必须为11位数字，填写民族项的，必是候选字典之一。数据一致性有助于计算机读取、存储、检索、统计汇总等。

4)数据内容完备性

调整表格填写内容，使数据内容更加完备，如规定：

凡是联系人性质的数据必含联系电话。

凡是通信地址的数据必含邮政编码。

凡重要机构单位等，必含主要负责人信息。

凡设施、场地、地标等性质的数据，必含详细地址和地理位置信息（即经纬度和海拔）。

２.数据映射与绑定

数据映射与表格绑定，就是将Excel电子表中的表（Sheet）、单元格（Cell）与动态建立的数据库中数据结构建立对关系，如某个Excel表（Sheet）可存储到哪几张物理表中，物理表的字段对应Excel中的哪个单元格等。数据绑定支持一对多的映射，用于多条数据存储与同一张Excel表的情况，如人员花名册，一般一个Excel表中包含上千条数据，就可以建立重复映射区域，循环读写绑定区域数据，实现多条数据一次录入。

绑定与映射模块还可为Excel单元格设置数据验证，或绑定数据字典，数据验证一是Excel填写时进行校验，二是导入系统时进行二次校验，以保障数据有效性。数据字典绑定到单元格候选列表，用于统一数据填写范围及格式，以及辅助用户快速填写数据等。

３.同一数据多种表格录入支持

同一种数据支持多种数据录入，以及拆分为多个部分进行录入，例如人员登记可以以登记表逐个文件进行录入，也可以在同一个Excel中每个人员使用一张Excel表进行多条数据批量录入，还可以使用花名册的形式，一次录入多条数据。

多表格录入支持为基层数据重用提供了接口，可方便实现现有数据管理系统数据到新数据调查系统数据的转换，有效避免数据重复采集及大量文字录入工作，提高整个调查数据采集工作效率，缩短采集周期，减少基层工作量。

４.Excel文件报量上传

数据批量录入包含文件批量上传，数据类型自动识别，文件批量处理；用户可以一次性上传所有相关数据表格，系统自动识别每个电子表格所属数据类型，自动读取并处理数据，整个过程无需人工干预，简化用户操作流程，实现无人值守数据批量录入。

５.数据补充合并

对于某些复杂数据，需要由不同基层单位提供部分数据的，无需收集合并，只需将数据的各个部分导入系统即可，系统将自动合并数据。如先录入仓储物资基本信息，再录入物资仓储企业信息，最后录入各企业仓储物资库存情况，系统将自动合并各部分数据，最终得到完整的仓储企业物资库存情况。

（三）基于缓存的数据查询机制

计算机资源的局限性，如CPU处理能力、内存容量、硬盘读写速度等。计算机中硬盘的读写速度是目前计算机技术的一个瓶颈，本系统中虽然使用了高效的Oracle数据库，但由于数据量非常大，占用存储空间也很大，在有限的计算机资源下，数据查询能力和读写能力都受到很大影响；鉴于Oracle为关系型数据库，而关系性数据库的数据查找效率与其数据量成反比，当数据量愈来愈大是，数据检索效率会愈来愈低。本系统对数据查询模块进行重新设计，建立先进、高效、易用的数据查询机制。

系统中的数据查询通常是由用户提交一定的查询条件，系统根据查询条件，生成查询命令，在由数据库执行，最终返回查询结果，具体流程如下：

此流程中，最占用服务器资源和处理时间的操作为数据库执行查询命令，返回查询结果。当数据量很大时，数据库执行一个复杂的查询需要相当长的时间，因为数据库需要对数据进行全盘扫描，即读取硬盘数据，而硬盘的读写速度相对较慢，导致整个查询将花费大量时间。于是我们就考虑建立一种机制，减少数据库访问，而直接读取数据，提高整体查询效率，即为本模块设计。

这种设计我们称之为“基于缓存的数据查询”，即在查询命令与数据库之间建立数据缓存机制，即将查询及查询结构缓存起来，当系统遇到相同的查询及相同的查询结果是，从缓存中读取数据，而不是访问数据库，由于缓存数据的数据量及读取效率是非常块的，那么整个查询的效率也将大大提高，所有被缓存的数据再次查询时的执行时间应该都是毫秒级别，当缓存存储空间足够大时，我们预计系统运行时间越久，系统整体数据查询效率会越高。

这种查询模式表示为：

当查询的命令在缓存中存在，则直接调研缓存，输出查询结果。

当查询的命令在缓存中不存在，则调用数据库，输出查询结果，并将结果存储到缓存中，供下次访问使用。

三、适用范围

1.种类多

调查涵盖各种人力、物力、财力信息，以及各类企业、机构、交通、水系、地标建筑等资源等。

2.数据量大

调查数据量大，强调数据安全，增量存储，数据量达到千万级乃至百亿级以上。

3.结构复杂　

调查数据复杂，需要调查采集数据中每一种包含数项到数百项不等的调查条目，每一种数据通常由多部分信息组成，其中某一部分数据可能与其它数据关联或共用。

4.变动频　

调查数据采集项目、采集数据种类、结构通常需要根据实际工作需要进行调整，增减调查范围及采集项目。　

5.地域广

调查数据覆盖省、州市、县市区、乡镇街道等行政或地理地域。

6.参与单位多　

数据调查工作参与单位众多，涵盖地方行政机构、企事业单位、部队等单位或部门。　

7.基层系统不衔接　

调查数据中有一部分来源与一些已有的数据管理系统，大量数据均存储与各单位自己的数据系统中，各系统间相互独立，暂无统一的数据交换平台。

四、方案优势

方案优采用“分散填写、集中汇总、自动上报”的新型、高效的工作方式，各调查对象获取电子版的Excel表格后直接填写Excel表格，或以表格为参照，从已有数据管理系统中提取数据，填写完成后可通过数据采集系统平台或文件拷贝等方式将电子版的表格数据汇总起来，经校验无误后，使用系统平自动填报将Excel数据表格导入系统即可。

１.数据重用，避免数据重复录入采集

数据重用，避免了重复采集数据，缩短采集周期，有效促进采集工作又快又好进行。

２.可分散的工作量，提高工作效率

分散工作量将一个工作人员的工作量，由多个工作人员完成，以提高单位时间内工作量，对于缩短数据采集周期，减轻人员工作量起着极大的作用。

新的工作方式，由于各基层单位调查数据的填写都由各调查目标单位或人员进行填写，不再由某几个人负责填写，而且系统平台能够直接从填写的表格中直接读取并录入数据，无需再次录入，使得基层工作不再繁重。分散的数据录入可以同时进行，整个数据采集录入工作可以在数天乃至数个小时内即可完成，极大的提高的调查数据的采集效率。

３.无纸化数据采集，节约数据采集成本　

采用Excel电子表格作为数据采集采集工具，直接以电子文件形式传递数据，采集录入及上报处理过程中不再产生纸质文档，为整个数据采集工作节约办公成本。

４.可拆解采集数据，工作更简单　

拆解数据是指由多个工作人员各自负责某项数据的某个部分，分别进行采集登记，无需合并，直接录入系统即可，由系统自动进行数据合并。特别是针对需要各个基层单位协调登记录入的数据，则可以由各基层单位分别采集各个单位归属的部分即可，为基层数据采集及校验提供了更简便的工作方式。

５.数据批量录入，解放人力

采集完毕的Excel电子表格数据，已经是数字化的数据，同过批量导入Excel文件将数据录入到系统中，无需逐条导入，也无需进行文字填写工作。将基层工作人员从原来逐条、逐字逐句录入数据的繁重、枯燥的工作方式中解放出来。采用新的工作方式，可以大量节约调查工作时间，极大地减轻基层工作难度及工作量，提高数据采集质量，可将原来数月乃至半年才可以完成的数据调查工作，减少到1个月或更短的时间内完成，对调查数据快速采集、提高工作效率、减少调查成本等方面起着重大的作用。