[00004109]一种面向HDFS的网络报文并行读取方法
技术详细介绍
本发明提供一种面向HDFS的网络报文并行读取方法，包括网络数据捕获与pcap报文解析两个阶段。本方法依托Hadoop平台的分布式框架MapReduce与分布式文件系统HDFS，将捕获的网络数据包写入HDFS，并通过本发明实现的二进制pcap流解析方法将pcap报文并行的解析出来，形成key‑value对然后交由MapReduce框架进行分析处理。通过本发明中的方法大大提高了HDFS下pcap格式文件的并行读取能力，进而提高了后续网络数据包的并行分析与处理效率。
