从BERT到ChatGPT：大模型训练中的存储系统挑战与技术发展

摘要： 以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越，引起了工业界和学术界的广泛关注.大模型的参数量在3年内增长数万倍，且仍呈现增长的趋势.首先分析了大模型训练的存储挑战，指出大模型训练的存储需求大，且具有独特的计算模式、访存模式、数据特征，这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下，且容错开销大.然后分别阐述了针对大模型训练的3类... （共15页）