近日，中国工程院院士、清华大学教授郑纬民在“数据存储专业委员会成立大会”上作题为《AI存储是人工智能大模型的关键基座》的主旨演讲。他围绕大模型四个环节，介绍了大模型训练和推理应用中对存储的挑战和相关技术。一是数据获取。大模型训练需要海量的原始语料数据，这些数据获取以后需要存储设备储存，存储需要具备低延迟和高可扩展能力。二是数据预处理。通常获取的数据是重复、低质量的，因此需要进行预处理，将低质量数据变成高质量。三是模型训练。为了快速完成断点续训，需要读取CheckPoint点的数据重新训练，此过程高度依赖存储系统的性能。高性能的AI存储系统，能够极大缩短断点续训时间，实现AI集群的算力可用度大幅提升。四是模型推理。模型推理是跟AI应用相关的最直接环节，更多的数据、更大的模型以及更长的上下文窗口能够带来更高效的人工智能。但更高的智能要求的推理负载极重，模型参数以及推理过程中产生的KV-Cache都需要很大的存储空间。郑院士还提出：模型的推理过程是一个复杂的存储系统工程，关键是能够存的多、传的快、性价比高。AI存储是人工智能大模型的关键基座，存储系统存在于大模型生命周期的每一环，是大模型的关键基座，通过以存强算、以存换算，先进的AI存储能够提升训练集群可用度，降低推理成本，提升用户体验。清华大学 MADSys 实验室联合华为数据存储、9#AISoft、阿里云、面壁、趋境等几家公司共同开发高性能内存型长记忆存储系统，即将开源发布。能够大范围全局共享与持久化KV-Cache，实现以存换算。共建大模型时代下的高性能内存型长记忆存储系统生态，充分发挥存储在大模型下的作用。

根据环球网信息编辑