NeFut Logo NeFut
EN 管理员登录

[AI学术] 基准安全,实践不安全:1331 起儿童相关 AI 事件的教训

发布于:2026-10-28 22:00 最后更新:2026-10-29 00:58
#algorithm #AI #Machine Learning

AI 系统正日益渗透到儿童的学习、娱乐、社交网络和玩具等日常环境。安全评估通常停留在模型层面,依赖基准测试、红队演练和内容过滤。但现有的 AI 伤害分类缺乏针对儿童的实证,未能充分描述发育伤害以及未成年人特有的利益相关者不对称。

基于已有分类,我们构建了以儿童为中心的伤害分类,并映射到社会技术失效模式。我们收集并编码了 1331 起公开报告的儿童相关 AI 事件,标注了内部与外部伤害类型以及对应的失效模式。

分析显示,公开报道中最常见的伤害集中在表征、尊严和心理层面,并且这些伤害常与部署环境、治理和误用失效共现,而非模型缺陷。单个儿童的伤害往往与人口层面的伤害相联,甚至影响到从未接触系统的儿童。

结果表明,仅靠模型层面的评估不足以预见儿童最常出现的伤害路径。我们提出了超越内容过滤的可操作建议,包括年龄验证、描绘同意检查、以安全为设计的交互约束、事件披露规范以及针对发育风险的审计机制。完整的隐私最小化注释、编码手册和文档已在 https://github.com/The-Responsible-AI-Initiative/KidAID 发布。

点评:该研究提醒我们,儿童安全评估必须从系统全链路出发,结合社会技术因素,才能真正降低实际危害。

原文链接: https://arxiv.org/abs/2610.34705

[h] 返回首页