LLM 在证据综合中的读‑评任务包括研究筛选、数据抽取、偏倚风险评估和批判性评价。这类任务对模型的解释需求差异很大：有的只需提取作者、样本量或出版年份等简单信息，有的则要求模型阅读原文、依据预定义标准进行解释并给出判断。研究者必须检验模型判断是否准确、是否有相应证据支持以及在给定条件下是否可复现。即使判断正确，也不意味着底层评估过程可靠。为此我们提出了 TRAILS（Taxonomy of Reliability And Instability in LLM‑assisted evidence synthesis），系统化列出可能削弱判断可靠性的机制，并指导选择和报告合适的评估方法。TRAILS 关注两个互补问题：一是哪些机制会导致同一读‑评任务在多次 LLM 调用中产生不同判断；二是哪些机制会以不易察觉的方式系统性影响判断或输出。研究共识别出 38 种机制，阐明它们在不同部署环境中的作用范围，提供测试方法并给出相应的缓解措施。实验表明，仅凭重复性或准确率并不能排除隐藏的判断失效；因此人工评估应重点检查判断是否基于提供的证据、是否免受不当外部影响，并且评估过程能够被审查和验证。
点评