本文指出，人工智能风险研究大多聚焦于能力风险，即系统可能变得过于强大、过于自主或与人类价值观不匹配。相比之下，对组织层面的关注不足，尤其是构建这些系统的机构是否倾向于逐步偏离安全轨道。作者认为，这种倾向确实存在。无论未来 AI 系统多么强大，研发它们的组织都会面临与过去重大技术灾难相似的结构性动力学。文章通过对挑战者号航天飞机、三里岛核事故和波音 737 MAX 空难的案例研究，提炼出导致每一次灾难的共同结构机制，并将其映射到当代 AI 开发情境。研究发现，现有安全体系的保护作用可能被高估，因为组织可以在形式上完全遵守安全流程，却仍然导致灾难性后果。AI 的灾前阶段仍在进行中，本文的目标是让这些动力学在仍可干预时变得清晰可见。
点评