NeFut Logo NeFut
EN 管理员登录

[AI学术] 模拟视角的几何:多模态语言模型中表征与行为的分离

发布于:2026-11-06 22:00 最后更新:2026-11-07 12:32
#AI #Machine Learning #Neural

多模态语言模型能够模拟不同的观察者,但尚不清楚视角的赋予如何重塑内部表征,以及这些变化是否支配模型的判断。我们在 Qwen3‑VL‑8B‑Instruct 上研究了 persona 条件下的视觉有趣度表征几何。实验使用 100 张图像和 53 种提示条件,系统地变换 persona 内容和用于引入 persona 的语言框架,同时记录行为评分和层级隐藏状态。结果显示,表征几何随处理深度呈现系统性重组:早期层主要编码图像身份,后期层出现 persona‑特定结构。令人惊讶的是,提示框架对内部表征的重塑力度超过 persona 身份本身,而 persona 内容对行为判断的影响更大。最小化的身份陈述即可在不改变响应的情况下改变表征,进一步说明表征距离不必然反映行为相关性。总体而言,这表明模拟视角在人工认知系统的表征空间中形成独立结构,凸显内部表征几何与功能后果之间的根本区别。

点评:该研究揭示了提示语言与角色信息在多模态模型内部产生的不同层次效应,为理解模型如何在表征层面区分“看”与“评”提供了新视角。

原文链接: https://arxiv.org/abs/2611.08262

[h] 返回首页