在 AI 代理接手有偿任务前，需要先判断其成功概率。我们构建了 PAYWORTHY 数据集，收录 1,494 条真实自由职业岗位，抽取自 2020‑2026 年平台上 1,880 万条招聘信息。实验流程如下：
- 仅凭岗位描述，AI 代理尝试完成每个任务一次；
- 充当客户的 LLM 判别器决定是否接受该工作；
- 让 18 种前沿语言模型预测代理成功的可能性，并用 AUC 衡量预测能否把被接受的任务排在被拒绝的前面（0.5 为随机排序）。
结果显示，描述中明确指出代理的局限时，模型的 AUC 在 0.66‑0.86 之间，排序效果明显；若仅说明代理是具备浏览器和代码执行能力的通用模型，AUC 降至 0.45‑0.56，接近随机。该趋势在四类其他判别模型（Claude、GLM、Kimi、Qwen）以及两位人工评审的判决中均保持一致。
代码已开源：https://github.com/upwork/Payworthy
点评：PAYWORTHY 揭示了 LLM 对自身能力的元认知受限于任务描述的细节，提示在实际部署 AI 代理时应提供明确的能力边界，以提升自动化评估的可靠性。