基于MLIR的FP8量化模拟与推理内存优化

摘要： 随着目标检测模型和语言大模型的迅速发展，网络模型正变得越来越庞大。为了更好地在端侧硬件上进行模型部署，通常采用模型量化技术对模型进行压缩。现有的模型量化策略主要基于FP16,BF16和INT8等类型实现。其中，8bit数据类型在降低推理内存占用与部署开销方面最为显著，但INT8类型依赖特定的校准算法，未能很好地处理动态范围大、离群点多的模型。FP8类型能够更好地拟合神经网络中的... （共9页）