深度神经网络动态分层梯度稀疏化及梯度合并优化方法

摘要： 针对数据并行方法加速大规模深度神经网络时易出现的通信开销大、训练耗时长、资源利用率不高的问题，提出了一种深度神经网络动态分层梯度稀疏化及梯度合并优化方法。首先，将梯度稀疏化压缩与流水线并行技术相结合，提出动态分层梯度稀疏优化方法，为每层神经网络匹配一个合适的阈值，通过在后续迭代时动态调整该阈值，实现对每层网络传输梯度的自适应压缩。然后，提出了层梯度合并方法，利用动态规划算法对层... （共12页）