语义查询引擎会让大语言模型对每一行数据做判断，现有基准在温度0下只比较少数执行的质量。我们重新运行SemBench、LRO‑Bench、UDA‑Bench的文本和表格工作负载，记录了约120万次模型调用，并重新分析了SemBench已发布的执行记录。
在温度0时，同一模型在五次独立执行中有0.07%‑10.2%的行会改变算子输出，最差任务可达24.0%。答案计划会把这些变化指数放大，因为可能世界模型预测：在UDA‑Bench上只有几百分之几的抽取值会变，但约三分之二的完整答案会不同。
SemBench的公开结果显示，21%的文本结果在不同执行间质量会变化，即使使用确定性计划的引擎也会出现。对多个查询的系统比较以及LRO‑Bench的16项实现建议，均未在基准运行的次数上得到决定性结论。
“变化的行”指模型在同一行上出现分歧；同一次执行内部的分歧频率与跨执行相当；一次执行的决策边际或推理长度可以预测哪些行会变化。投票可以降低方差但不能消除，校准级联在保证准确率的同时，其返回的行仍会变化。
基于实验我们提出了基准报告规则和引擎设计原则，要求在报告中给出运行间差异的统计，并在引擎实现中提供方差抑制机制。
点评