NeFut Logo NeFut
EN 管理员登录

[AI学术] OwlSight:用于链式思考推理的全景监控器

发布于:2026-10-20 22:00 最后更新:2026-10-22 01:04
#AI #Machine Learning #LLM

Chain-of-Thought(CoT)监控为 AI 系统的监管提供可操作的证据,能够实现早期检测与干预。现有方法多聚焦于单一任务,难以满足对推理模型的全局监管需求。为此我们提出 Factor 机制,允许在提示中自定义监控需求,使同一监控器能够通过不同 Factor 覆盖多任务。Factor 分为细粒度(如检测特定邮箱是否泄露)和粗粒度(如监控隐私泄露整体)两类,以适配多样化的用户需求。基于此我们实现了 CoT 监控系统 OwlSight,它仅依赖 Factor 即可监控能力、安全性和可信度等多个维度。实验在 15,971 条推理轨迹上进行,结果显示 OwlSight 在细粒度和粗粒度上分别比通用 LLM 提升 1.32‑30.57 分和 11.71‑27.81 分,并在 OpenAI 的 CoT 可监控性基准上取得最新水平。模型还能推广到未见模型的 CoT,且对 Factor 重述、CoT 压缩和混淆保持鲁棒,展示了该范式在前沿 AI 监管中的潜力。

点评

原文链接: https://arxiv.org/abs/2610.23670

[h] 返回首页