[00005670]一种关联分析算法的并行化方法
技术详细介绍
一种关联分析算法的并行化方法是针对一种经典的关联规则分析算法Apriori不能很好适应并行化的缺陷，设计了一种新的并行化方案。通过主控节点将计算任务进行分块，分配并分发给各个子计算节点。由各计算节点并行计算筛选频繁集，最后合并节点并返回结果统计，生成频繁集。再次分发频繁集，由各节点生成规则。由于每个计算节点仅处理一部分计算任务，解决了海量数据无法由单机读入内存进行处理和处理速度过慢的问题；且多个节点并行参与处理，有效提高了处理效率；并且对计算过程中的节点间的同步依赖、网络通讯负担过重、I/O操作过于频繁做了相应的改进，提高了数据库扫描和计算的速度。
