基于注意力头数和词性融合的藏文预训练模型

摘要： 为了更好地学习藏文语言特征以及探究藏文预训练语言模型的最佳注意力机制头数，将词性与藏文预训练模型相结合，并进行了对比实验确定最佳的注意力头数，旨在提高语言模型对藏文语言特征的理解以及下游任务的性能。实验结果表明，在多个分类任务中，注意力头数为12的预训练模型皆表现了良好的性能。此外，将词性融入预训练模型后，文本、标题和情感分类任务的模型F₁值分别提高了0.57%、0.92%和... （共8页）