结合沙漏注意力与渐进式混合Transformer的图像分类方法

摘要： Transformer在图像分类任务中具有广泛应用，但在小数据集分类任务中，Transformer受到数据量较少、模型参数量过大等因素的影响，导致分类精度低、收敛速度缓慢。本文提出了一种融合沙漏注意力的渐进式混合Transformer模型。首先，通过下-上采样的沙漏自注意力建模全局特征关系，利用上采样补充下采样操作丢失的信息，同时采用可学习温度参数和负对角掩码锐化注意力的分数分... （共10页）