LLM 代理常用于核对记录是否满足组织的合规要求，例如判断漏洞报告是否可进入调查阶段。实际需求往往提供多条可行路径：可以通过策展人审阅的建议书给出严重性评级，也可以提供已发布的 advisory 链接。传统代理的失误主要表现为两类：一是即使必需的检查未通过仍错误接受报告；二是仅因未尝试其他可行路径而给出较弱的结论，从而错失更强的判断。
为了解决上述问题，我们提出 PRIME（Precommitted Rules for Inference from Minimal Evidence）。在执行检查前，PRIME 会预先固定 证据路径，即每一种可能的结论必须由哪些检查结果来支撑。检查过程由独立的记录程序保存，每当有检查结果产生时，程序会对照预定义的证据路径，拒绝所有未被充分证据支撑的结论，并在必要时提示代理执行能够提升结论强度的检查，甚至自行触发这些检查。
PRIME 的核心机制包括：
- 预先承诺的规则：明确每个结论对应的最小证据集合；
- 检查结果账本：实时记录所有检查的输出；
- 强制拒绝：若账本中的证据不足以满足规则，则直接拒绝该结论；
- 主动引导：在可能提升结论的检查缺失时，向代理提供指引或自动执行。
在满足以下前提时，PRIME 能保证在预算允许的情况下得到最强的支持结论：
- 需求描述完整且准确；
- 检查实现位置已知且可直接调用；
- 预算足以覆盖所有必要的检查。
实验评估使用了 480 条公开记录任务。普通代理在这些任务中有 26.7% 的情况下给出了未经证据支撑的结论，而 PRIME 在相同任务中未出现任何未经授权的结论。通过 PRIME 的指引和额外检查，已证据支撑结论的平均得分从 30.1（仅拒绝）提升至 59.2（满分 100），显示出显著的可靠性提升。
点评