在自动决策和数据驱动技术日益普及的今天，理解这些技术的能力、局限性及其相关风险，需要对完整的社会技术系统进行深入分析。
对复杂系统风险的社会技术分析为AI系统的设计与评估提供了明确的教训，超越了对可靠或“负责任设计”组件的技术关注，转向对系统层面的风险理解。
人类制造的灾难（如切尔诺贝利、三里岛、福岛、博帕尔和挑战者号灾难）已被研究数十年，原因在于这些事件的严重性。
一个常见的误解是，这类事件是由于复杂系统中不可预见的相互作用所导致的偶然事故。更深入的审视表明，风险和危害早已为人所知，但由于社会结构、政治和经济因素未能采取行动。
我们概述了AI的发展与使用可以从未学到的教训中受益的几个领域：组织层面的风险感知、沟通和分析的改善；需求和责任的可追溯性；以及将社会和组织动态作为首要工程问题的全面责任与安全方法。
针对每个领域，我们提供了具体的未学到的教训，并举例说明这些教训如何导致之前事故的失败，以及这些教训如何在现代计算系统（尤其是AI）中依然未被吸取。