我探讨 AI 辅助到底能节省多少时间,并将两种视角进行对比:`秒表视角`把节省的时间等同于时钟上记录的差值;`账本视角`则把时间节省视作一个反事实量,需要与工作中漏掉的缺陷数量一起评估,我主张采用后者。
首先,我在无模型假设下定义了两个量:`节省时间`和`额外漏缺缺陷`,以及由它们构成的决策数值——`盈亏缺陷成本`,记作 $C_{be}$。
接着给出一个检查基线模型:只要模型尚未好到可以免检,校准工人的漏缺率与模型好坏无关;检查所需时间随模型错误率的对数增长;过度信任模型虽然在时钟上看似节省了分钟,却以更大的总分钟数为代价。
随后分析随机实验的辨识能力,并复现 METR 开发者研究的公开数据。该数据集包含 246 条问题,依据不同估计量得到的减速分别为 19% 和 24%(若不校正偶然失衡则为 34%),而 AI 对其中 3% 到 82% 的问题提供了帮助。
最后,我重新陈述已发表的记录,用明确的区间取代原先的点估计。在 GDPval 的全流程审查工作流中,仅审查时间就将 GPT‑5 的加速上限限制在 3.6 倍;而前沿之外的顾问虽然更快,却错误率更高。
我还在一个预先设定的小实验中检验了模型的两项预测:在已知起草者真实错误率的情况下,审查者的检查次数随错误率上升而增加,但呈现全有或全无的切换,正好在提示成本盈亏点附近;当告知起草者错误率比实际低十倍时,审查者少检查了 7/9 张图表,导致 22.5% 的简报出现错误图表,而非零错误——即更快却更差,完全源于努力的减少。
点评