混合特征及多头注意力的中文短文本分类

摘要： 传统的短文本分类研究方法存在两方面不足，一是不能全面地表示文本的语义信息，二是无法充分地提取和融合文本全局和局部信息。基于此，提出一种混合特征及多头注意力（HF-MHA）的中文短文本分类方法。该方法利用预训练模型计算中文短文本的字符级向量和词级向量表示，以得到更全面的文本特征向量表示；采用多头注意力机制捕捉文本序列中的依赖关系，以提高文本的语义理解；通过卷积神经网络分别提取两种... （共7页）