[00091180]一种并行处理方法及装置
技术详细介绍
本发明适用于信息处理技术领域，提供了一种并行处理方法及装置，应用于包含多个终端设备的系统，所述方法包括：在各终端设备并行构建广义后缀树；基于构建的广义后缀树，通过MapReduce在各终端设备查找候选频繁模式；通过MapReduce在所述候选频繁模式中查找频繁模式。本发明通过在各终端设备并行化构建广义后缀树，加快了广义后缀树构建速度，而且计算过程可以处理更大的数据量，提供更大的内存空间，解决了因为单机内存限制不能对大数据采用广义后缀树的问题。另外，通过两次MapReduce查找频繁模式减少了对于带宽的消耗，且排除了较多冗余的遍历，遍历效率更高，从而有效加快了频繁模式查找速度。
