在标准基准测试中，大型语言模型（LLMs）展现了卓越的性能，但它们是否真正满足用户期望仍然是一个未被充分探讨的问题。
现有的评估方法依赖于模型启发式、专家评分或用户模拟，未能捕捉到真实人类期望的多样性和细微差别，导致模型看似能力强大，但与用户实际需求不匹配。
为了填补这一空白，我们开展了首个系统性研究，探讨真实世界中用户与LLM的互动期望，提出了一种提取语义丰富期望的原则性程序，并引入了ExpectBench，一个基于真实用户期望的基准测试。
分析表明，当前的LLM在满足和预测用户希望获得的内容方面表现不佳，揭示了根本性的错位来源。
基于这些观察，我们提出了LENS，一个轻量级的潜在期望感知响应生成框架。LENS使模型能够内化用户期望，生成更符合用户需求的响应，持续提升期望满意度，并强调了明确建模用户期望在现实人机对齐中的重要性。
博主点评： 本文深入探讨了LLM与用户期望的错位问题，提出的ExpectBench和LENS框架为未来的研究指明了方向，强调了理解用户真实需求的重要性，推动了人机交互的进一步发展。