基于记忆驱动的多模态医学影像报告自动生成研究

摘要： 医学影像报告自动生成任务面临疾病类型多样、报告描述缺乏专业性和流畅性等多重挑战。为解决以上问题，本文提出一种基于记忆驱动的多模态医学影像报告自动生成方法（mMIRmd），首先使用基于移位窗口的层次视觉转换器（Swin-Transformer）提取患者医学影像的多视角视觉特征，通过基于转换器的双向编码模型（BERT）提取病史信息的语义特征，然后将多模态特征进行融合，提高模型对不同... （共10页）