将 AI 系统嵌入安全系统时，需要运行时监控来防止静默故障并保证可靠运行。单一监控器往往只能给出是否异常的信号，缺乏对人类监督者可操作的诊断信息。COMET 通过在不同故障模式下部署独立监控器，并在协调层汇总输出，再经通信层映射为红黄绿灯提示，实现了人类可理解的多层监控。
COMET 包含三层监控：信号完整性层检测传感器异常；物理一致性层验证观测是否符合已知物理模型；AI 能力包络层评估模型输出是否落在训练时的可信范围。协调层将各层的二元标记合并为统一的状态码，通信层将其转换为交通灯颜色。
在压缩空气泄漏数据集上进行评估，AI 系统基于声发射信号检测泄漏。测试场景包括协变量漂移、语义漂移和传感器故障，这些在运行时可能出现但具体表现未知。所有监控器在开发后冻结，零样本测试。结果显示，单独的 AI 在三类漂移下都会自信地给出错误答案且不发警报；而 COMET 将可信错误率在协变量漂移的无泄漏数据以及四种传感器故障中的三种降至零，误报率约为 1%。单层监控虽能检测异常，却无法指明故障模式；COMET 将匿名的检测标记转化为具体诊断。
在语义漂移下仍有少量静默漏检，表明被动监控的边界。由此可见，面向 AI 安全系统的运行时监控框架必须同时提供定量的故障检测与隔离，以及面向人的定性反馈。
点评