[00146230]分布式存储式技术应用研究

1、成果所属科学技术领域 本项目成果属于计算机科学领域。 2、主要内容 本项目建设内容主要包括以下几点： （1）分布式存储的关键技术深入分析研究 研究分布式文件系统同普通的文件系统进行相同文件数量大小的大数据检索、对结构化数据和非结构化数据应用场景进行测试,为云南电网公司以后的大数据分析底层存储设备选型和大数据研究提供了重大的查考价值和意义。 （2）形成分布式存储技术规范 首先对分布式存储相关理论进行研究,包括分布式系统概念、分布式存储系统概念、分布式存储系统的应用现状。其次对分布式存储系统架构分析进行深入研究,对中心化体系结构与去中心化体系结构进行了对比分析,并提供两者针对不同应用场景选择思路。再次对分布式存储技术进行深入分析研究,对业界主流分布式存储技术进行了研究,有效指导分布式存储技术在南网的应用。 （3）自主研发分布式文件检索服务 由于大数据环境在电力系统的应用中,文件众多,需要设计相应的检索服务以及客户端。同时,提供灵活的存储策略配置,包括文件的副本数量、压缩存储,可以对用户不同目录设置不同的存储策略。此时,一款性能能够支撑业务系统所必需的关键字、全文索引功能优异的查询算法就显得很关键。 （4）分布式存储部署 针对前期研究成果,结合云网环境,编写分布式存储技术实施方案,搭建典型场景测试验证环境,完成商业分布式存储测试环境搭建,开源分布式存储测试环境搭建,自主研发分布式存储测试环境搭建。并分别对基本功能及性能对比进行测试,同一般我们常见的普通文件存储系统作优缺点对比。为云南电网公司以后分布式存储设备选型做出了重大的查考价值。 形成的标志性成果如下： ①国家级期刊发表论文2篇：电子技术与软件工程-《关于分布式存储应用技术的应用》,电子技术与软件工程-《浅析面向大数据的分布式存储技术的发展与应用》; ②受理实用新型专利2项《一种大数据专业云存储装置》、《一种新型海量数据存储设备》; 3、特点 分布式存储利用多异构存储和廉价服务器的存储形成存储池,供各地业务系统和用户使用。将文件分块存储,来提高数据质量和分布式计算效在业务系统产生的数据中,文件通常大小不一,存取速度是第一考虑的要素,这样的文件就利用不同文件系统体系来适应需求。对于很多大文件,历史文件。独立存在于业务系统中,占用较多的资源。因为这些数据通常是又很大挖掘价值的数据。这些数据主要存在分析价值,就能够使用分布式存储体系进行存储,从而进行大数据并行计算和分析。 4、应用推广情况 本项目成果现已在云南电网有限责任公司信息中心、楚雄供电局、昆明供电局使用,为用户终端提供灵活、易用、高效、安全的统一存储服务。