我们提出 Fuse，一个多智能体仿真平台，用于研究用户介入下的社交推理。平台中，目标代理拥有隐藏动机，与包括用户代理在内的其他代理交互。用户代理随后向被评估的 LLM 助手咨询，以推断目标的动机。由于动机由仿真预设，得到的真值在构造上是可验证的。我们通过 24k 条人工标注的实验验证了仿真的可信度。随后在 12 种 LLM 上运行 Fuse，系统性地剖析关键因素，得到以下结论：
- 用户介入会进一步加大社交推理的固有难度；
- LLM 对用户的偏向性表述表现出显著敏感性；
- 与人类相比，模型往往需要更多细节才能做出正确预测；
- 更长的对话并不一定提升性能，即使它提供了澄清问题的机会。
我们已开源 Fuse 框架及包含 21k 示例的数据集。
点评