NeFut Logo NeFut
EN 管理员登录

[AI学术] 网络控制与认知:可信代理委托的缺失词汇

发布于:2026-10-03 22:00 最后更新:2026-10-06 12:11
#algorithm #AI #Machine Learning

随着代码生成越来越多地交由 AI 系统完成,瓶颈正从写代码转向监督写代码的系统——这一转变已被计算机教育研究者提出并命名。该转变揭示了一个词汇缺口:研究界常谈“人工监督”,却没有区分语言在委托通道中承担的两种功能——**网络控制(cybernetic)**:通过语言使世界行为与之匹配;**认知(epistemic)**:通过语言使世界与听者的理解相符合,并且可以被检查。

文中指出的失败并非网络控制语言本身,而是认知型语言被用于完成网络控制工作:输出被包装成解释性形式,以获得批准而非追求真理。仅检查输出是否被批准的监督方式容易被“橡皮图章”化;而要求代理对其工作背后的推理负责,则必须能够检索并验证这些推理。

作者展示了三个委托情景(仅作示例,非受控实验):

  1. 在实际项目中,认知参与能够实现可审计的监督;
  2. 一个公开记录显示,某推荐在满足其自身声明的条件后被自行撤回;
  3. 一个失败案例说明,仅凭裁量选择而不提供理由的监督是不可行的。

基于此,提出了一条治理准则:每一次有后果的选择都必须附带如果条件改变则会作何决定的说明,且该说明必须可被第三方检验。没有此类条件,第三方无法将决定区分于单纯的橡皮图章。

为使准则可操作,作者给出两部分的重构测试:评估委托记录时,第二位阅读者能否在受到扰动后预测代理的行为。与此同时,提出了记录约定 ORRCF(Obligation‑Relevant Reasoning Condition Form),要求每条记录必须包含上述条件。

点评

原文链接: https://arxiv.org/abs/2610.00961

[h] 返回首页