NeFut Logo NeFut
EN 管理员登录

[AI学术] 分解而非扩展:构造上的能力无关 AI 系统

发布于:2026-10-31 22:00 最后更新:2026-11-02 00:48
#AI #Machine Learning #Neural

在构建 AI 系统时,常面临两种选择:当任务对模型而言过于困难时,是扩大模型(增大规模、改进提示、微调),还是将任务分解为可由确定性子系统解决的部分,只让模型处理不可避免的模糊残余。本文提出三点主张。第一,许多被完整交给模型的任务本质上是确定性任务,只包含一个小的生成核心。第二,也是核心实验结果,任务分解后会产生一种可测量且有益的属性——构造上的等价性(parity by construction):在提取出的子任务上,模型规模的性能曲线趋于平坦,因为所有模型对这些子任务的表现相同。我们在九个模型上验证了这一点,模型规模从 4.94 亿参数的本地检查点到前沿的 Opus 级别,跨越约三十倍参数范围。一次性确定上下文后,操作选择得分在全部九个模型上完全一致,选择器解析在八个模型上也一致,唯一未能分解的任务是标注(labelling),其性能仍随模型规模呈斜率。由于任务已被转移至确定性子系统,使用原始检查点即可,无需任务特定的训练或微调。第三,分解是一种通用设计原则,而非特定领域技巧。我们在物理实验设置、运动重定向、对象模型编辑以及一个 Web‑CLI 工具族中观察到相同的模式。文中提供了定位分割点的方法、确保分割存在的构造(确定性表面及其闭合文法),以及保证残余安全的手段(解析确定性上下文、验证生成输出)。最后,将工作置于神经符号 AI、工具增强语言模型和生成‑验证方法的语境中,并明确区分了实测域与示例域的范围。

点评

原文链接: https://arxiv.org/abs/2610.38144

[h] 返回首页