[00131889]大数据处理分析一体化平台

1、课题来源与背景 （1）课题来源：2014年山东省自主创新与成果转化专项 （2）背景：目前我国的大数据应用才刚刚起步,对大数据的运用主要集中在电力、交通、电子政务、司法系统等方面,虽然有些应用的规模庞大,但数据异构分布于不同系统,保密性和实时性要求很高,智能分析和决策模拟技术不足,导致数据利用率低下,制约了智能响应能力的提高。因此,研发大数据处理分析一体化平台、解决大数据系统挖掘分析及安全问题已迫在眉睫。 2、技术原理及性能指标 （1）技术原理：大数据处理分析一体化平台是综合结构化、半结构化、非结构化数据处理全环节、全分布式、软硬一体化的通用型产品,具有高可靠性、高先进性、高可用性、低成本、易管理、灵活扩展等优点,结合软硬一体化、云计算、定制化、平台管理、监控、标准化、安全、大数据分析挖掘等先进技术,极大地提高平台在多种应用场景下对大数据持续稳定的“加工能力”,实现数据“加值”,为管理和决策提供切实可信的数据支持,提高管理运营效率。 （2）性能指标：实现标准化和一体化、 可靠性和先进性、 易扩展性和可演进性要求。 1)列存储查询执行速度：对于密集读取（查询） ,相对传统的行存储数据库查询速度而言,实现＞＝50倍的表现。 一般数据可实现10 倍的读取性能。 2)数据加载能力：实现每小时TB级别的加载能力。 3)数据压缩率：根据不同数据类别如视频文件,系统会选择最合适的模板,通常压缩率可以达到50%至90%。 4)不间断高性能：自动数据复制、失效切换以及恢复,这些主动的冗余措施通过自动扫描系统来恢复节点,从而提高了系统的性能。以 7x24 的水平高速读取／插入数据,这一独特功能无需管理即可在面对大规模数据的情况下持续提供高性能查询。 5)低延迟即时分析：通过高性能并行计算技术、降低存储、增强 I/0 吞吐量等核心技术,实现低延时的即时分析。 6)双向伸缩扩展能力：支持计算节点任意的拔插更换,支持横向任意增加计算节点。 3、技术的创造性与先进性 （1）大数据挖掘平台算法库扩充和基准测试：在大数据新型计算模式上实现更加复杂和更大规模的分析和挖掘是大数据未来发展的必然趋势,面对大数据,大数据分析挖掘面临着处理数据更复杂、更大规模、分析挖掘效率性、传统挖掘经典算法的适用性和基准测试等都是巨大的挑战,因此需要将频繁模式挖掘、分类和聚类等传统的挖掘算法扩充到已有算法库中,继续扩充和完善大数据挖掘算法库。同时通过基准测试,了解算法的优缺点,从而进行深入优化。 （2）大数据安全与隐私研究：大数据安全与隐私问题本质上就是兼顾安全与自由,个性化服务与商业利益、国家安全与个人隐私的基础上,从数据中挖掘其潜在的巨大商业价值和学术价值,并使其挖掘分析结果真正的服务于社会。大数据时代的安全与传统安全相比,变得更加复杂,需要研究一套更健全的安全机制来约束和保护大数据的安全隐私。 （3）建立大数据应用处理示范系统（1PB以上数据）2套：梳理智慧城市不同部门、行业的不同数据特征（如数据机构特征、处理类型等）和计算特征（如实时性或响应性能）,从这些多样性的大数据计算问题和需求中提炼并建立的各种高层抽象或模型,结合平台的计算模式对城市各部门、各行业数据进行安全、有效、准确、稳定、可靠的数据集成、处理和分析,结合行业积累的数据基础,建立两套以上的大数据应用示范系统。 4、技术的成熟程度,适用范围和安全性 该项目运用隐式机制的安全隐私保护方案,广泛应用于智慧城市建设,目前已完成在济南、潍坊昌乐等地区项目建设并已投入应用,下一步计划将在省内烟台、威海、泰安、省外山西大同、新疆乌鲁木齐等地开建,目前已处于前期调研阶段。 5、应用情况及存在的问题： 无 6、历年获奖情况： 2016年12月,视频云大数据平台项目获得山东公安科学技术进步奖二等奖