一种面向计算图的及时内存重用算法

摘要： 有限的设备内存容量制约了深度神经网络模型的进一步发展，内存重用是少有的在不引入额外开销的前提下节省内存使用的方法之一。计算图中的中间张量占据着主要的内存空间，是内存重用算法的主要优化对象。现有的典型内存重用算法，包括大张量优先算法和短生命周期优先算法，仅从单一特征出发，只考虑张量之间的生命周期是否重叠，忽略了邻近张量之间的生命周期相对位置关系，计算图越复杂，对内存重用的挖掘越不... （共8页）