基于多尺度跨模态特征融合的图文情感分类模型

摘要： 图文情感分类任务常用早期融合和Transformer模型相结合的跨模态特征融合策略进行图文特征融合，但该策略更倾向于关注模态内部的独有信息，而忽略了模态间的相互联系和共有信息，导致跨模态特征融合效果不理想。针对此问题，提出一种基于多尺度跨模态特征融合的图文情感分类方法。局部尺度方面，基于跨模态注意力机制进行局部特征融合，使模型不仅关注图像和文本的独有信息，而且可以发现图像和文本... （共7页）