NeFut Logo NeFut
EN 管理员登录

[AI学术] 多模态大语言模型个性化推理系统基准 MPRBench

发布于:2026-11-05 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #LLM

人们在日常决策时往往会综合多源的个人信息进行整体推理。本文聚焦于多模态大语言模型(MLLM)在个性化推理方面的能力,这一方向尚未得到充分研究。为此我们推出 MPRBench,一个面向个性化推理的全新基准,覆盖 12 类子任务并提供可解释的错误案例分析。\n\nMPRBench 的任务设计涵盖了从个人兴趣、生活习惯到身份属性的多模态信息融合,例如:\n- 基于用户照片和文字描述的兴趣预测\n- 结合历史聊天记录的情感倾向判断\n- 利用个人位置信息进行情境化问答\n\n实验结果表明,当前的个性化 MLLM 在以下两方面仍表现不足:\n1. 对个人化概念的识别不够准确,导致推理结果偏离用户真实偏好;\n2. 对无关的个人信息过于敏感,容易被噪声干扰。\n\n我们希望 MPRBench 能够成为推动 MLLM 个性化推理研究的基准平台,促进模型在理解与利用个人信息方面的突破。代码与数据已公开:https://github.com/kkdh15/MPRBench。\n\n点评:MPRBench 为评估多模态模型的个性化能力提供了系统化、可解释的框架,揭示了现有模型在概念识别和噪声鲁棒性上的关键瓶颈,为后续算法改进指明了方向。

原文链接: https://arxiv.org/abs/2611.06259

[h] 返回首页