基于技能网络的通用自然语言生成模型

摘要： 使用多任务训练的自然语言生成模型仅使用一个模型即可完成各种不同的自然语言生成任务。但这种所有任务共享所有参数的模型，无法清楚地知道模型的每一部分参数学到了什么技能。为了根据不同的任务选择激活不同的模型参数，该文提出了一种基于稀疏激活的通用自然语言生成模型(SkillNet-NLG)。与传统的稠密模型在执行任务时激活所有的模型参数不同，SkillNet-NLG在执行任务时，首先依... （共11页）