摘要
AI代理现在可以在操作系统中采取不可逆的行动，但代理引起的损失仍未明确分配、定价或转移。提供商通常拒绝承担后果性损害，用户则面临未补偿的损失，默认的人类审查限制了自动化的效率提升。我们探讨了在失败风险下何时自主AI的部署可以经济上被接受。我们的答案是，在客户任务追踪事件级别量化风险，并通过保险进行转移。当自动化的预期收益超过保费、控制成本和剩余风险时，自动化是可接受的。这需要定义角色，设定权限边界，并具备可比的追踪记录。
我们引入了可追溯经济承保，这一方法将工具使用的追踪记录映射到客户的风险暴露和可索赔损失，然后利用这种表示进行定价、控制和风险转移。它使用确定性的经济标签，而不是LLM判决。在我们的追踪-损失测试平台中，可追溯经济定价将定价的平均绝对误差从 $17.7K 降低到 $569，并消除了回归交叉补贴。一次300条追踪的专家审计中，295个标签未发生变化。在1,000条真实的SWE-smith追踪中，基于追踪的控制将CVaR95降低了72%。定理1给出了有限样本范围条件。我们发布了代码、标签和审计表。
博主点评： 这项研究通过量化AI代理的风险并引入可追溯经济承保，解决了当前AI自动化面临的损失分配问题，展现了在风险可控的情况下实现自动化的潜力，具有重要的应用前景。