AI 系统正日益渗透到儿童的学习、娱乐、社交网络和玩具等日常环境。安全评估通常停留在模型层面,依赖基准测试、红队演练和内容过滤。但现有的 AI 伤害分类缺乏针对儿童的实证,未能充分描述发育伤害以及未成年人特有的利益相关者不对称。
基于已有分类,我们构建了以儿童为中心的伤害分类,并映射到社会技术失效模式。我们收集并编码了 1331 起公开报告的儿童相关 AI 事件,标注了内部与外部伤害类型以及对应的失效模式。
分析显示,公开报道中最常见的伤害集中在表征、尊严和心理层面,并且这些伤害常与部署环境、治理和误用失效共现,而非模型缺陷。单个儿童的伤害往往与人口层面的伤害相联,甚至影响到从未接触系统的儿童。
结果表明,仅靠模型层面的评估不足以预见儿童最常出现的伤害路径。我们提出了超越内容过滤的可操作建议,包括年龄验证、描绘同意检查、以安全为设计的交互约束、事件披露规范以及针对发育风险的审计机制。完整的隐私最小化注释、编码手册和文档已在 https://github.com/The-Responsible-AI-Initiative/KidAID 发布。
点评:该研究提醒我们,儿童安全评估必须从系统全链路出发,结合社会技术因素,才能真正降低实际危害。