摘要
代理人工智能系统引入了一类新型的模型风险。与传统预测模型不同，自主代理不断获取信息，形成对环境潜在状态的信念，生成预测，选择行动，并随时间调整其行为。现有验证方法主要集中在预测准确性上，因此对基础决策过程的质量提供了有限的洞察。
本文提出了一种基于部分可观察马尔可夫决策过程（POMDP）的代理AI模型验证框架。该框架将自主决策分解为信息、信念、预测、行动和效用，使每个组件能够独立验证。大型语言模型（LLMs）被形式化为近似贝叶斯滤波算子，并开发了一种模型风险分类法，包括状态空间、滤波、预测、政策、效用规范和参数风险。
模型风险验证方法通过一个投资组合管理案例研究进行演示，其中一个代理从市场和宏观经济信息中推断潜在市场状态，生成信念条件预测，并使用Black-Litterman框架构建投资组合。经验验证结合了性能分析、信念校准诊断、覆盖测试、消融研究和参数敏感性分析。结果表明，潜在状态推断独立地对决策质量产生贡献，主要结论在广泛的参数值范围内保持稳健。
本文的主要贡献在于提供了一个实用框架，将已建立的模型风险管理概念扩展到自主AI系统，并为其验证、治理和监测提供了严格的基础。
博主点评： 本文提出的POMDP框架为自主AI系统的模型验证提供了新的视角，强调了在复杂决策过程中理解信息和信念的重要性。该方法在金融领域的应用展示了其潜力，未来可能对其他领域的AI系统验证产生深远影响。