[00111512]智能电网大数据综合技术平台研发及示范应用

针对电网企业提出一种基于传统数据管理和大数据技术的企业数据管理的融合架构,提供一套可实现数据整理、数据存储、分布式计算、数据共享、挖掘分析、大数据应用开发及可视化的整体解决方案,其主要研究内容包括： 1.数据整合平台 集成多个数据加载工具,如Flume、Sqoop和常用的ETL抽取工具实现对结构化数据（比如各类RDBMS中的数据）、半结构化数据（比如各类日志、XML等）、非结构化数据（比如各类业务系统中的数据）的高速接入,并将实时数据发送到Hadoop和Spark进行深度数据挖掘。 2.大数据基础平台 提供分布式文件系统作为存储引擎,支持文档型NoSQL数据库和传统的关系型数据库,使用YARN作为管理框架,组合了一系列Apache开源项目,为客户提供数据存储、数据计算、批处理等功能,是海颐大数据综合平台的基础技术设施。 3.大数据管理平台 辅助客户管理资源,进行资源动态分配,并提供日志监控、安全配置、备份与恢复等服务,帮助客户实现轻松部署、配置、操作集群;能够直观的管理集群中所有的机器、服务和工作流。 4.大数据挖掘分析平台 提供了基于分布式内存计算的高性能数据分析能力,提高了全量数据分析的性能和分析结果的准确性。 5.大数据共享服务平台 是内部应用与数据中心,同时也是对外提供数据的标准化出口,以数据服务化的形式提供可用、可管控、快捷的数据共享服务。