[00059822]一种基于HDFS的小文件处理方法
技术详细介绍
本发明公开了一种基于HDFS的小文件处理方法，属于网络存储领域。该方法是将小文件在客户端进行合并，然后将合并文件上传到HDFS，从而减少名称节点的内存损耗；在HDFS集群中新增了一台MetaData服务器，用于缓存小文件与合并文件之间的映射关系，从而减轻名称节点的访问压力；存储在数据节点的合并文件除了包含小文件的数据内容，还包括了小文件在合并文件内部的位置信息和原始路径，客户端则可以直接查询数据块的头部信息，获取小文件的元数据并下载小文件的数据内容，从而减少了访问名称节点的次数。本发明解决了HDFS小文件处理效率低的问题，应用前景广阔，主要适合应用在以文件上传和下载为主要业务的HDFS存储系统中。
