异构环境感知的分布式神经网络训练模型

摘要： 针对分布式神经网络训练在异构环境中训练速度慢、资源利用率低的问题，提出一种异构环境感知的分布式神经网络训练模型(H-PS)。根据计算节点当前状态动态调度训练任务，使计算节点能够在相同时间完成训练任务，提高资源利用率。提出通信与计算并行策略，参数服务器与计算节点传输模型参数期间，计算节点持续模型计算，进一步提高资源利用率。使用灵活的量化策略，压缩神经网络模型参数，减少参数服务器与...