带消极动量的自适应步长随机方差缩减方法
中国科学院大学学报(中英文)
页数： 12 2024-09-15
摘要： 近年来，随机方差缩减类方法在解决大规模机器学习问题中取得很大成功，自适应步长技术的引入减轻了该类方法的调参负担。针对自适应步长的方差缩减算法SVRG-BB,指出其算法设计带来了“进展-自适应步长有效性”的权衡问题。因此引入Katyusha动量以更好地处理该权衡问题，并且在强凸假设下证明由此得到的SVRG-BB-Katyusha算法的线性收敛性质。之后基于“贪婪”思想，提出稀疏地... （共12页）
APP 