跨视图时序对比学习的自监督视频表征算法

摘要： 现有的自监督表征算法主要关注视频帧之间的短期运动特性，但是帧间动作序列的变化幅度较小，而且单视图数据因语义受限影响深度特征表达能力，视频动作中丰富的多视图信息未被充分利用。为此提出基于跨视图语义一致性的时序对比学习算法，自监督学习RGB帧和光流场两种数据中蕴含的动作时序变化特性，主要思路为：设计局部时序对比学习方法，采用不同正负样本划分策略，挖掘同一实例不重叠片段之间的时序相关... （共9页）