NeFut Logo NeFut
EN 管理员登录

[AI学术] 面向规范文档的版本与范围感知问答:部署系统与大规模生产评估

发布于:2026-09-18 22:00 最后更新:2026-09-20 12:54
#AI #LLM

正确回答基于规范文档的问题往往需要跨越单个段落的信息:检索到的文档是否为当前生效的版本;是否适用于特定司法辖区、主体(如机构或申请人)以及涉及的日期;以及每条规范性主张是否能够追溯到其原始文本。托管检索服务显著降低了在此类语料上构建系统的工程成本,使得“上传文档并提问”成为常见默认方案。我们在约 73,000 份候选规范文档的生产部署环境中对该默认方案进行评估,采用了我们已发布基准中的 200 条问题的分层抽样,每个问题都有金标准源文档,抽样规则不读取系统输出或分数。我们将托管服务与通过显式规则在生成前解析版本和范围的受治理系统进行比较。受治理系统整体得分 97.7,托管服务得分 88.1,差距为 9.6 分(基于未四舍五入的均值计算)。该受治理配置自 2026 年 1 月起作为商业产品运行,已服务 1,126 名注册用户,客户包括智谱 AI 与乐诚健康。至 2026 年 4 月中旬,日均调用量约为 100,000 次。

点评

原文链接: https://arxiv.org/abs/2609.18769

[h] 返回首页