在AI生成SQL查询的正确性评估中，关键在于判断查询是否正确，即其执行结果是否与人工编写的参考结果相同。我们研究了在复杂的多表文本到SQL转换中，哪些信号能够预测正确性，并使用AUROC来衡量每个信号在正确查询和错误查询中的排序能力。
在BIRD和Spider数据集上，黑箱信号如字符串、结构和执行自一致性、模式相关性评分和查询可执行性等的AUROC值均在0.61到0.68之间，其中字符串自一致性表现最佳，达到0.675；而白箱的对数概率值则类似，约为0.67。突破这一上限的信号则基于验证：LLM评估者的评分从0.72（GPT-4o-mini）到0.78（Claude）。不同提供者的评估者在错误类型上存在差异，因此，采用两个提供者的集成方法可达到0.82的AUROC，并且概率校准良好（期望校准误差0.03），支持有效的自我放弃边界（例如，以24%的选择风险回答27%的问题），而自一致性无法提供有效的低风险子集。
这一模式在两个基准、两个生成器和两个评估提供者中均成立。我们还探讨了验证器是否可以被训练。经过微调的验证器，无论是编码器还是生成模型的AUROC在分布内可达到0.77至0.79，但在未见模式上则下降至约0.66；将规模扩大至70亿、增加模式多样性、提炼强评估者的推理及跨基准训练均未能缩小这一差距。跨模式转移似乎与模型规模和推理能力相关，而非微调。在实践中，文本到SQL的正确性不确定性主要存在于基于推理的信号中：微调的验证器在领域内表现良好，但要实现跨模式的通用验证器，目前需要一个大型的静态推理模型。
博主点评： 本文通过对多表文本到SQL转换的深入分析，揭示了多种信号对查询正确性的预测能力，尤其是验证型信号的优势，展现了当前AI模型在处理复杂查询时的局限性与潜力。未来的研究可继续探索如何提升验证器的跨模式泛化能力。