现代 LLM 应用在运行时使用监控器检查工具调用、追踪、流、检测器输出和验证器输入。这导致接口可靠性问题:框架路径仍然可用,但与策略相关的证据未能到达决策点。例如,正则表达式检测器返回匹配,但框架在阻断决策前就丢弃了结果。这不同于 jailbreak 或检测器错误,因为证据已被识别却未被执行。我们使用金丝雀合约进行研究:在改变的证据表面放置已知负载的父/固定确认单元,同时记录监控可见性和下游决策,以捕获动作边界案例。将该协议应用于公开的框架修复,确认了 18 起证据路径失效,涉及 11 个 LLM 或代理安全项目组和四个实现生态系统。九例为已知边界修复,八例为新表面策略覆盖缺口,一例为仅边界证据案例。十四例触及 E1 强制执行边界:七个本地动作结果,六个配置化强制边界,一个合成消费者后果。其余案例影响验证器、安全提示或可观测性通道。案例可归为载体、适配器、权威和表面四类,展示普通应用行为仍可正常,而安全特定的证据路径却未被决策使用。我们提供了精确的修订、确定性结果、负控制以及冻结的前瞻审计,以记录确认规则。因此,监控假设必须在模式、流、工具和适配器层面进行回归测试,以适应框架的演进。
点评