[00136912]大数据反哺一标三实系统

一、课题来源与背景 2017年6月公安部治安局印发了《全国治安（人口管理）系统开展“一标三实”基础信息集中采集工作方案》和《“一标三实”基础信息采集维护工作规范》等文件,公安部治安管理局决定,自2017年6月至2018年5月,在全国公安机关治安（人口管理）系统全面开展以标准地址和实有人口、实有房屋、实有单位为主要内容的基础信息集中采集工作。 2018年4月底公安部治安局发布了《深化创新“一标三实”基础信息采集应用试点工作任务书》,任务书中明确指出,要深化创新“一标三实”基础信息采集应用工作,需探索利用视频结构化、物联网、人工智能等新兴技术手段,实现基础信息采集应用工作自动化、智能化。 2018年6月公安部治安局发布的《关于全国公安派出所开展“一标三实”基础信息集中采集工作情况的通报》中指出,要提高数据采集效率、保持数据鲜活完整、创新采集方式以及数据资源充分应用。同时,基础信息集中采集工作延长至2018年12月31日。 “一标三实”管理作为公安基础工作中的重要内容,是整个公安工作的基本立足点,为各项公安业务工作提供重要的基础支撑,同时也是公安机关实施打防管控工作的着力点,一定程度上决定着公安机关核心战斗力和对社会治安驾驭能力的高低。为进一步破解当前公安机关“一标三实”信息采集维护数据量大、采集维护效率低、基础工作警力少、信息鲜活度差、应用效率不高以及可利用的各类信息数据资源分散等瓶颈问题,需要运用大数据资源及技术手段创新开展反哺“一标三实”等基层基础工作。 二、技术原理及性能指标 技术原理： 1、使用BootStrap前端框架,增加灵活性和扩展性,加速了响应式网页; 2、使用Spring、Spring MVC和Hibernate框架进行Web端开发; 3、使用SuperMap地图技术实现数据可视化; 4、使用ECharts技术实现数据统计的可视化展示; 性能指标： 1、历史数据同步＞30000条/秒; 2、增量数据同步＞1000条/秒; 3、稳定性运行时间（MTBF） ＞50000小时; 4、单节点最大支持数据集成业务≥100个; 5、数据抽取延时≤20毫秒; 6、数据清洗转换速度≥100M/S; 7、交互式查询平均用时≤50秒; 8、统计分析平均用时≤100秒; 9、迭代计算平均用时≤430秒; 10、数据挖掘平均用时≤180秒; 11、系统有效工作时间≥99%; 12、系统故障平均间隔时间≥30天; 13、最大同时在线用户数：4000; 14、在20个并发用户访问情况下,响应时间≤3秒; 15、简单事务处理平均相应时间≤4秒（500名并发用户）; 16、简单事务及研判工具平均响应时间≤4秒; 17、匹配等复杂事务处理平均响应时间≤60秒（500名并发用户） 三、技术的创造性和先进性 运用概念解析、对象匹配、数据质量评估等算法,以及数据挖掘、规则提取、智能算法、机器学习等大数据分析方法,对源数据进行清洗、加工、拆分、转换,构建数据标准和数据规范,搭建概念解析体系,实现概念统一,业务融合。系统遵循解放思想,转变观念,实现“一标三实”工作新突破、新跨越的设计理念,突出实用性,做到实用、便捷、低成本与运作高效的统一。同时系统在设计上除了满足当前的应用需要,还留有可扩充的余地。 四、技术的成熟程度,适用范围和安全性 1.采用国际通用的标准,系统具有良好的开放性。采用Java语言开发,实现与硬件和操作系统平台无关性,适应各种软硬件平台;应用J2EE标准的中间件技术与规范。 2.B/S架构系统,提高系统的易用性;成熟的工作流应用支持,多样的数据流程定义和表现形式;基于统一的开发平台,与各业务系统无缝连接,实现项目一体化管理。 3.系统提供严密的安全技术。系统采用Java语言环境开发,并且系统基于J2EE技术架构设计和运行,采用Shiro安全框架,可执行身份验证,授权,加密和会话管理,可以快速轻松地保护任何应用程序。系统具备完善的权限分配和控制的功能,采用对操作角色和对系统功能双方面的权限管理。 4.Oracle数据库管理系统,数据库拟选择Oracle11g数据库,它可以支持多种不同的硬件和操作系统平台,从台式机到大型和超级计算机,为各种硬件结构提供高度的可伸缩性,支持对称多处理器、群集多处理器、大规模处理器等,并提供广泛的国际语言支持。Orcale是一个多用户系统,能自动从批处理或在线环境的系统故障中恢复运行。 五、应用情况及存在的问题 目前该系统在市局应用良好。