异构平台下卷积神经网络推理模型自适应划分和调度方法

摘要： 针对卷积神经网络（CNN）在异构平台执行推理时存在硬件资源利用率低、延迟高等问题，提出一种CNN推理模型自适应划分和调度方法。首先，通过遍历计算图提取CNN的关键算子完成模型的自适应划分，增强调度策略灵活性；然后，基于性能实测与关键路径-贪婪搜索算法，在CPU-GPU异构平台上根据子模型运行特征选取最优运行负载，提高子模型推理速度；最后利用张量虚拟机（TVM）中跨设备调度机制，... （共8页）