NeFut Logo NeFut
EN 管理员登录

[AI学术] 从提示到合同:为可审计的企业LLM代理构建工程化框架

发布于:2026-07-10 22:00 最后更新:2026-07-13 08:32
#algorithm #LLM #Open Source

摘要

企业的大型语言模型(LLM)应用通常从原型开始,其行为由提示和检索上下文驱动。产品化增加了对源边界、实体路由、答案合同和可重复追踪的需求。我们提出了一种工程化的框架,重构这一模式为可追溯、可审计的LLM代理架构:确定性行为转移到代码、清单、模式和验证文档中,围绕可替换的组合边界展现,而源支持的声明仍然是运行时答案的权威。

实验与评估

我们在五个韩国企业集团(25家上市公司)的公共数据切片上实例化了这一框架,并评估了三个研究问题。

  1. 该框架在固定验证场景中保持了其源基础、实体路由、追踪、输出卫生和推荐语言合同;故障注入控制确认验证者标记故意破坏的合同。
  2. 框架强制执行的检查在模型替换下依然有效:在三个托管模型中,它们在所有270个组合边界运行中均通过;失败仅限于模型组合侧,并被捕获和记录。
  3. 代码拥有的保证是载重的,单靠提示无法重现:固定模型,仅变化强制层,提示指令让推荐语言和内部追踪泄漏违反到达读者,而框架则完全阻止了这些。

一个附加的外部保护措施也可以防止这些违反,但过于严格,导致效用下降至88/120,而框架则保持了完整的效用(120/120);在这种消融实验中,只有代码拥有的强制执行同时保持了安全性和效用。

结论

最终结果是一个可重用的工程模式,用于将探索性原型转变为具有版本源、控制和验证文档的可审计应用。

原文链接: https://arxiv.org/abs/2607.08028

[h] 返回首页