摘要
随着可用训练数据接近其物理极限，规模法则带来的收益开始减小。因此，提升大型语言模型（LLMs）现在依赖于更高质量的数据利用，而不是数据扩展。然而，在大规模语料库的背景下，现有的精炼方法在质量、效率和可靠性方面面临重大限制：基于规则的方法受到固定启发式的限制，难以应对实例级的变化；而基于LLM的方法虽然提高了质量，但未能满足大规模数据处理的效率和可靠性要求。
为了解决这些挑战，我们提出了UltraX，一个用于大规模预训练数据的函数调用精炼框架，通过引入插入、删除和修改的编辑功能，完成了编辑功能空间，使得实例级的精细编辑成为可能。具体而言，UltraX构建了一个可靠的程序监督生成管道。在该管道中，数据集自适应的提示优化首先引导专家LLM生成高质量的端到端精炼文本，随后通过行对齐映射和动态上下文替换将原始-精炼文本对转换为结构化程序监督。同时，UltraX通过低置信度示例筛选和按比例控制采样的操作组合，提高了监督质量并稳定了训练分布。在推理和执行过程中，它通过滑动窗口预测、全局操作聚合和系统后处理来规范和验证模型输出，提高了大规模执行的稳定性和可靠性。实验表明，UltraX在所有语料库中实现了最高的平均性能，并且在使用更少的训练令牌时也能匹配或超越基线，展示了更强的数据效率和精炼可靠性。
博主点评： UltraX的提出为大规模预训练数据的精炼提供了新的思路，通过引入插入操作，解决了传统方法的不足，显著提高了数据质量和处理效率。其基于LLM的精炼策略为未来的研究提供了重要借鉴，值得关注。