随着专业心理医疗资源的稀缺,越来越多的用户在 Reddit 等平台上寻求基于真实生活经验的同伴支持。然而,大量求助帖未得到回复,留下了利用大语言模型(LLM)填补空白的可能。已有研究表明 LLM 在临床基准测试上表现出色,但其生成符合社区真实体验的支持内容仍缺乏系统评估。为此,我们构建了 COmmunity‑centered Peer Engaged Support (COPES) 数据集,并提出了覆盖策略、情感与语气三个维度的评估框架,用以衡量模型对心理健康求助帖的社区对齐程度。实验比较了零样本模型与经过指令微调(SFT)和直接偏好优化(DPO)后的模型。结果显示,基于 COPES 的后训练能够将策略对齐提升约 50%,情感与语气的匹配度也有显著改善。但这种提升并非均匀分布:不同 subreddit 和不同求助策略之间的对齐提升差异显著。后训练还导致分布偏移,模型更倾向于提供问题导向的建议,而对情感导向的策略抑制明显。综上,社区驱动的数据确实能提升 LLM 的对齐水平,但在不同子社区和具体心理需求上仍表现出显著差异。
点评