物理推理需要根据观察到的世界动态调整熟悉的期望。现有基准提供整体得分,却难以判断答案是否依据视觉证据,尤其当熟悉的物理规则不再适用时。
我们提出 InfiniteWorld,一个将物理推理问题与系统性改变物理参数的模拟视频配对的基准。其生成管线包括模拟、场景筛选、配对视频翻译、问题构造以及输入检查。
基准设定五类任务:
- 法则识别
- 参数估计
- 时序推理
- 分析性反事实比较
- 法则归纳
评估采用五种匹配输入设置:仅文本、按顺序或随机顺序的模拟视频帧、以及对应的翻译视频帧。我们在这些匹配设置下评估了多种视频‑语言模型。
实验结果显示模型仍然倾向于使用熟悉的物理规则。帧信息能够提升大多数模型的性能,但提升幅度随任务而异。模型在地球常规问题上表现出高准确率,却在物理被改变的情形下识别不足,仍常给出地球常规答案。任务得分和语义一致性进一步区分了匹配物理因素与匹配其数量,以及正确答案与重复错误的差异。
InfiniteWorld 通过为同一问题提供配对的证据变化,使得视觉证据与熟悉物理的分离可被量化。
点评