[00051232]深度神经网络模型并行的全连接层数据交换方法及系统
技术详细介绍
摘要：本发明公开了一种深度神经网络模型并行的全连接层数据交换方法及系统，将深度神经网络的全连接层按神经元的数目均匀划分到N个训练单元上，形成一种在深度神经网络中全连接层模型并行的网络模型；在全连接层的前向传播过程中，采用半停等前向传播方法对前层的输入数据，采取部分到达、部分计算、整体输出和整体传播的处理方式；在全连接层的后向传播过程中，采用定停等后向传播方法对后层的残差数据，采取定量达到、定量计算和定量传播的处理方式；在一次前向与后向传播完成后，依据所求的权值梯度与阈值梯度，并行地更新各层的权值数据与阈值数据。能够将全连接层的数据通信与数据计算进行重叠，在保证正确率的前提下加速模型的收敛。
