NeFut Logo NeFut
EN 管理员登录

[AI学术] 量化 AI 在复杂社会技术系统中的系统层面危害

发布于:2026-08-26 22:00 最后更新:2026-08-29 12:04
#AI #LLM #Artificial Intelligence

人工智能正日益渗透到包括关键国家基础设施(CNI)在内的复杂社会技术系统中。危害往往来源于技术、人员和组织要素的交互,而现有的 AI 评估仍以模型为中心,难以说明行为如何转化为系统层面的风险。为此我们提出一种框架,将结构化危害分析、组件级测试和概率系统建模相结合,实现从模型行为到系统结果的可追溯路径。该框架帮助实践者回答 AI 失效的“那又怎样”,量化其系统性影响,并推动基于证据的前瞻性治理。我们以英国实时全额结算系统(RTGS)为示例,使用系统理论过程分析(STPA)构建 AI 驱动的损失场景,并重点考察对基于大语言模型(LLM)的交易系统的对抗性操纵。组件实验表明,简单的对抗性输入即可导致 AI 推荐行为的显著偏移,且这些偏移在金融传染模型中会削弱系统韧性,增加银行倒闭概率,并降低冲击导致连锁破坏的阈值,尤其在 AI 被广泛或垄断采用的情形下。

博主点评:该工作提供了从微观 AI 行为到宏观系统风险的完整链路,对金融等关键领域的 AI 安全治理具有重要参考价值。

原文链接: https://arxiv.org/abs/2608.23906

[h] 返回首页