大多数 text‑to‑SQL 基准会直接给出目标数据库,但在真实的数据目录中,选择数据源本身就是问题的一部分。代理需要找到满足请求的所有数据库,判断它们的结果如何组合,并执行生成的工作流。为此我们推出 DSABench,用于统一评估这三项能力。
DSABench 包含 815 条经人工审查的任务,来源于 Spider、BIRD 和 LiveSQLBench。其中 618 条任务要求多个数据库共同参与,105 条任务在所需数据源上存在多种合理解释。每条任务配有可执行的 contract,明确源的参与方式、跨源依赖以及源本地执行的约束。RouteEnv 环境让代理在不暴露金标注的前提下,检查公共目录中的证据以进行路由决策。
在仅做路由的实验中,我们在七个模型后端上测得最高的 RA‑Set 分数为 60.55%,而在加入协同需求后最高的 RA‑Graph 分数仅为 34.66%。当进一步要求执行时,差距更加明显。四个后端的非特权 Route+Exec‑Graph 中位成功率在无澄清条件下为 6.69%–7.98%,加入一次澄清后提升至 11.44%–13.25%,最佳的澄清配置可达 16.99%。在模糊任务上,澄清使得精确的分支‑源恢复提升了 39.8–43.2 个百分点。
这些结果表明,仅检索出可能的数据库或生成正确的本地 SQL 并不足以完成任务;代理必须在整个多数据库工作流中保持正确的信息流动,才能实现端到端的成功。
点评