[00089446]一种异构集群的Hadoop矩阵处理方法及系统
技术详细介绍
一种异构集群的Hadoop矩阵处理方法。
Hadoop矩阵处理方法包括以下步骤：搭建一个物理集群，设置一个Master节点及多个Slaver节点；在所述Master节点及多个Slaver节点上分别配置Java开发环境下的编程环境，并预编矩阵相乘CUDA版的Map和Reduce代码；读取内存中已存储第一矩阵A及第二矩阵B的相关信息，并根据预编代码对所述存储的第一矩阵A及第二矩阵B进行MapReduce矩阵相乘运算；控制运算结果直接写进分布式文件系统HDFS；其中，所述A＝（aij）是m×s的矩阵，B＝（bij）是s×n的矩阵。本发明从算法角度提升Hadoop矩阵相乘性能有限，能够更深层次提高程序的性能，有效提高了矩阵相乘运算的效率。
