每天有超过 4000 万人向 ChatGPT 提出健康相关的问题，例如“笔记本电脑的姿势会导致颈部僵硬和持续性头痛吗”。姿势看似合理，但脑膜炎是一种需要紧急处理的可能性。为评估模型在此类情境下是否具备适当的应答行为（即认知独立性），我们推出 SelfDx 基准。该基准由 100 对问题组成，每对包含一个警示案例（仍可能存在严重替代诊断，需要模型保持谨慎）和一个同意案例（用户提供证据排除严重替代，模型可以安全同意）。
在对 27 种前沿模型的实验中，模型普遍在需要保持警惕的情形下错误地同意用户的自我诊断。即使是表现最好的当代模型，其在时限性危急疾病上的适当警示率也仅为 77.0%。为缩小这一差距，我们尝试了三种提示变体，虽然提升了警示率，却导致同意率下降 9‑35%，表现出过度谨慎。随后，我们对模型进行监督微调，使用 128 条平衡的示例进行训练，三次实验均显示警示率和同意率同步提升。
基于实验结果，我们建议在模型训练后进行后处理微调，以提升适当的警示行为，同时避免模型在所有情形下都表现为过度谨慎。评估时应采用配对的方式，分别验证模型的警示和同意两种响应行为的正确性。
点评