[00101200]一种基于并行流处理的ICT系统运行日志分析方法
联系人：
所在地：
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
本发明公开了一种基于并行流处理的ICT系统运行日志分析方法。本发明建立的基于RDMA的并行分布式日志处理平台,当数据流在Spark集群中传输时,数据流直接从本地节点内存传输到目的节点内存,不需要通信双方操作系统的介入,大大降低了CPU占用率和网络时延。提出的在线日志流解析方法,设置了缓存模板集,经过两次过滤和结果汇总后的筛错重解析,显著增强了日志解析算法的准确性和鲁棒性。日志解析结果汇总后,通过基于元数据映射的结构化日志压缩方法,将所有元数据顺序编码,映射关系字典存储,将元数据编码映射后直接压缩,显著降低了日志存储空间。
