最近,在文本到SQL的领域中,利用小型语言模型(SLMs)进行训练的研究逐渐增多。这些方法在生成SQL方面的性能接近大型模型,仅需单个NVIDIA RTX 4090 GPU的计算能力,同时确保数据安全。
现有的大多数方法在模式链接(Schema Linking)过程中过滤冗余的表和列,以提高文本到SQL的准确性。然而,这些方法未考虑在选择候选模式子集时的精度-召回权衡。我们的研究发现,模式链接的精度和召回率直接影响最终SQL的准确性。
因此,我们提出了一种新颖的框架CHS-SQL,旨在高效微调SLMs以执行文本到SQL任务。该框架不仅平衡了精度和召回率,还提升了文本到SQL任务的整体性能。其主要创新在于模式链接阶段,采用了结合模型内部信心的启发式搜索,以实现最佳的精度-召回权衡。
这个精细化机制最大化了生成SQL查询的相关模式候选的精度,同时抑制了无关噪声。同样的策略在SQL生成过程中进一步应用,以优化候选查询,帮助SLM避免陷入局部最优。我们的方法在文本到SQL任务中通过SLMs实现了最先进(SOTA)的结果。
博主点评: CHS-SQL框架通过引入信心引导的启发式搜索,为文本到SQL转换提供了一种全新的视角,成功平衡了精度与召回率。这一创新不仅提升了生成SQL的准确性,也为未来的研究提供了新的思路,值得关注与深入探索。