[00047057]基于ARC替换算法的HDFS小文件缓存管理方法
技术详细介绍
摘要：本发明公开了一种基于ARC替换算法的HDFS小文件缓存管理方法，首先在数据节点上使用tmpfs构建数据缓存区，其中，tmpfs是Linux/Unix系统上的一种基于内存的文件系统。在Namenode端集成两个模块判断模块和决策模块，在Datanode集成一个执行模块。其次，将判断模块、决策模块和执行模块作为三个阶段对小文件进行缓存替换操作。最后，当需要缓存小文件数据块时，Namenode将与数据块存储的Datanode进行通信，并发出指令将数据块缓存在数据节点的高速缓存中。本发明提出的缓存替换管理方法解决了HDFS中小文件被各应用频繁访问时效率低下的问题，应用前景广阔，适合当HDFS系统中小文件较多且小文件经常被频繁访问的场景，本发明能大大减少HDFS反复读取硬盘所带来的时间消耗，提高任务的运行效率。
