基于多模态推荐指令的大语言模型指令微调

摘要： 基于多模态指令的大语言模型指令微调能够有效赋予大模型解决相关多模态任务的能力。为了进一步使大模型能够完成多模态零样本或少样本推荐任务，提出了多模态推荐大语言模型，该模型以大语言模型ChatGLM2-6B为基座，选取包含文本、图片信息的多模态推荐数据集，利用ChatGPT和GPT4构建多模态用户画像和物品属性生成指令，以及零样本和少样本推荐指令，并采用高效参数微调P-tuning... （共8页）