基准是推动 AI 进步的关键，但常受到任务描述不明确和描述过度两类问题的困扰。任务不明确会迫使模型进行猜测，甚至利用数据泄漏或奖励黑客手段来完成任务；任务过度指定则会泄露答案线索，使模型跳过原本应考察的困难步骤，削弱基准的长期价值。代码库层面的编码基准已经推动了领域发展，但同样出现了上述两种症状。比如 SWE‑bench Pro、FEA‑bench、Doc2Feat‑bench 和 Multi‑SWE‑bench 通过在任务说明中加入来源于真实答案的提示来缓解不明确性。然而，这种做法也会把真实信息泄露进任务描述，导致过度指定。我们在多个指定层次上进行实验，尝试在避免剧透和减少猜测之间找到平衡。实验结果表明，精简且信息量适中的提示能够提供可靠信号而不破坏基准的挑战性。基于此，我们提出了一套生成简约提示的技术路线，并计划公开这些提示，以帮助社区获得更可信的基准评估。
点评