摘要
大型语言模型（LLMs）已成为心理健康支持的重要提供者，然而它们仍然是一个关注经济的产物，其操作和商业目标更倾向于持续的用户参与，而非有效心理支持所需的摩擦。开发者的安全响应主要是反应性的，主要应对最明显和紧急的危害，而较为微妙的长期风险模式（例如，依赖性、边界侵蚀、扭曲信念的放大）则受到较少关注。
我们主张，为了使LLMs在结构上安全，需要在三个层面进行对齐，这些层面与社会确保人类临床实践安全的方式相似：
- 明确的价值规范，基于临床实践的法定规范承诺；
- 嵌入这些价值观的训练；
- 在部署过程中检测偏差和长期危害的监督，类似于人类实践的临床监督。
以这种方式组织对齐会产生我们称之为对齐可信度的构念——一个结构化的证明，表明一个系统的价值观、训练机制和监督机制共同与安全和积极的结果一致。我们建议将对齐可信度作为健康领域AI的监管构念（通过类比已建立的生物可信度构念），为论证系统是否与积极健康结果对齐、即使具备造成伤害的能力也不会造成伤害，并最终带来患者利益提供一种原则性的方法。
博主点评： 本文提出的对齐可信度概念为医疗AI的安全性提供了一个系统的框架，强调了价值观的明确性、训练的有效性以及监督的重要性。随着AI在医疗领域的广泛应用，如何确保其安全性和有效性将是未来发展的关键。此框架不仅有助于开发者在设计时考虑潜在风险，也为监管机构提供了评估工具。