大型语言模型（LLM）近年来在学术界和工业界受到广泛关注。已有大量综述覆盖学习策略、应用、对齐、可解释性和评估等方面，但对数据层面的系统回顾仍然不足。数据被视为推动 LLM 时代的关键因素，训练和推理过程中使用了多种数据优化算法，这些算法来源于不同的深度学习子领域，理论来源和启发式动机往往看似无关。
本文构建了一个统一的 LLM 数据优化框架，以提升数据利用率和效率。首先阐述了 LLM 训练与推理中的数据挑战。随后提出了用于评估数据属性的感知维度，包括质量、难度、多样性和冗余，为后续优化奠定基础。接着将现有的优化技术归为四类：数据选择、数据增强、数据重加权以及其他方法，并对各类之间的关联进行分析。最后，对比传统深度学习，指出 LLM 数据优化面临的关键挑战并展望未来研究方向。
点评