摘要
数字心理健康干预（DMHIs）提供可扩展的支持，但在用户意图变化的情况下，确保其准确检测用户意图是一项挑战。纯参数化的大型语言模型（LLMs）缺乏特定的安全关键架构，可能会错过重要线索或产生幻觉，从而削弱可靠性。增强检索生成（RAG）通过补充检索的上下文，可以在不稳定情况下提升意图检测的能力。
商业化的DMHIs通常结合多层独立的安全层，如基于规则的过滤器、符号升级协议和神经分类。然而，任何单一层的增量贡献尚未量化。本文评估了在名为Wysa的DMHI中六个LLM模型，通过对比启用RAG与禁用RAG的模式进行控制比较。经过合格临床团队的注释后，匿名的真实和合成用户聊天机器人交流被标注为多类意图（例如自残、虐待、恐慌）。研究计算了分类准确率、召回率、精确率和F1分数，并对真实标签进行了统计显著性测试。性能还通过风险类别和模型间一致性进行了检验。
尽管RAG导致误报增加，但这种权衡与优先考虑灵敏度的安全关键设计原则一致，标记的案例被送往额外审核，而不是直接采取行动。总体而言，这些发现支持RAG作为一种有前景的方法，以提高LLM驱动的DMHIs的准确性、一致性和安全性。
博主点评： 本文通过实证研究支持了RAG在心理健康领域的应用，强调了在安全关键设计中灵敏度的重要性。研究结果为未来的数字心理健康干预提供了重要的参考，值得进一步探索和优化。