[00150549]Hadoop封装关键技术研究及其在可定制知识服务平台中应用

本项目采用多来源多格式适配的大数据分布式实时传输与分发,设计分布式内存计算环境中数据及任务调度策略,根据集群中数据的局部性特征以及智能交通中对比分析、关联模式挖掘、聚类分析等大容量内存计算的应用访存特征,采取自适应的数据及任务调度策略,实现对RFID射频、传感网等多源、异构数据的智能感知与识别,信息数据资源的采集、分类、聚合等处理,为大数据知识服务平台对数据的智能化识别和管理提供支持,高效且可靠地将各类动态数据加载到大数据存储系统和流数据处理系统,实现知识服务平台的低延迟处理。采用多源、异构流态大数据分布式在线实时处理方法,避免数据流到达时的历史数据重复处理开销,使数据流处理本地化,减少节点间的数据传输开销。采用基于LSF和Hadoop关联的方法对离线数据进行实时性处理,采用基于并行分布式的数据组织及智能挖掘方法,实现高维度约减和数据稀疏化技术,以提高数据管理和挖掘的效率。对于可视化接口,采用大数据知识服务终端交互及决策操作方法,面向智慧服务和自主需求、强调用户参与的大数据知识服务交易平台。以实现对知识服务交易过程的控制、可信交易可监测、动态交易规则可配置和部署智能交易协调机制。在线无损失故障恢复技术可实现平台的快速在线故障恢复。基于LSF实现对NameNode的增量热备份,同时实现单点故障时主节点的快速切换,保证系统的正常运行。 经过两年来的研发工作,项目达到项目任务书中所要求的技术指标。为验证本项目所开发的基于Hadoop的可定制知识服务平台,我们研发了相应的示范应用。 该应用为基于Hadoop的可定制知识服务平台,该平台将从互联网根据用户需求采集数据,利用网络数据挖掘和分析平台对收集的数据进行挖掘和分析,为科学院下属单位的用户提供可定制的知识服务。该平台可以满足用户专业化、集成化和个性化的知识服务需求,为用户提供知识动态协调构建、能力智慧管理、资源按需使用、过程智能控制大数据知识服务平台。实现了复杂结构化、半结构化及非结构化数据的常规、广度及深度分析、知识服务竞争力分析、知识创新预测性分析等高附加值服务。