NeFut Logo NeFut
EN 管理员登录

[AI学术] 从意图到改进:面向更好模型训练的代理式数据集搜索

发布于:2026-11-01 22:00 最后更新:2026-11-02 00:48
#AI #Machine Learning #LLM

在百万级机器学习仓库中寻找训练数据本质上是一次 Web 检索任务,仅靠文本相关性不足以满足需求。查询需要同时表达语义训练目标以及任务、许可证、训练阶段等约束,而验证这些约束的元数据往往缺失。传统的文本检索只能依据相似度对数据集卡片排序,无法强制硬约束,也难以追踪稀疏描述的数据集之间的关系。自由形式的工具调用代理虽然更灵活,但同一模型既负责挑选数据集又声明匹配成功,缺乏对约束是否真正满足的检查,因而无法保证返回的数据能提升模型训练效果。

为了解决上述问题,本文提出 AgenticDS——一种合约驱动的代理框架。框架要求每一次语言模型的决策都实例化为带类型的对象,随后由确定性代码消费。具体流程包括:将查询编译为带类型的搜索计划;通过可接受的确定性算子在混合检索和受限图扩展上执行该计划;在接受排序结果或输出带类型的诊断前,先验证基于来源的证据,以便仅进行局部修复。

在新建基准 HuDS-Bench(200 条查询、24 908 条评分、覆盖 15 种系统)上,AgenticDS 将 NDCG@10 提升 25.7% 超过最强的稠密‑稀疏混合方法,并比商业 LLM 代理高出 18.9%。进一步的搜索‑训练对照实验表明,AgenticDS 检索到的数据集在数学、代码和医学任务上实现了最佳的下游精度。代码与数据已在 https://github.com/nju-websoft/AgenticDS 开源。

点评: AgenticDS 通过合约约束和可验证的执行路径,为数据集检索引入了可靠性保障,展示了在实际训练任务中提升模型性能的潜力。

原文链接: https://arxiv.org/abs/2610.39608

[h] 返回首页