现代推荐系统通常将用户的行为视为可靠的偏好代理,但实际上,交互往往反映的是探索或比较,而不是稳定的偏好表达。随着界面从静态布局发展到生成式UI和沉浸式扩展现实(XR),对用户的理解需要更深入和模态无关:这些自适应环境不仅需要决定呈现什么内容,还需要决定呈现的时间、位置、方式以及为什么用户会采取某种行为。我们提出了一种逆向心智建模(IToM)管道,该管道通过反向推理,根据观察到的交互推断出用户的信念、偏好和决策特征。该管道重建每个用户的决策背景,包括选择的内容和可用的替代方案,应用LLM驱动的反事实推理生成基于证据的自然语言信念陈述,并通过多假设的归纳推理将这些信念合成为结构化的用户画像。我们在OPeRA数据集上进行了评估,使用了真实的性格评估、态度调查和基于访谈的画像,完成了四项任务:下一步行动预测、购物态度一致性、五大人格特质推断和保留类别预测。结果表明,推断出的画像与真实画像相匹配或超过真实画像,多假设推理对于准确的人格预测至关重要。我们进一步展示了跨模态转移能力,使用基于画像的空间银行应用程序在VisionOS上运行。 博主点评: 本文提出了一种创新的逆向心智建模理论,通过观察用户的行为和交互来推断出用户的信念、偏好和决策特征,这种方法有助于实现更深入和模态无关的用户理解,从而提高推荐系统的准确性和有效性。