多模态大语言模型(MLLM)在视觉理解上取得显著进展,但在结合物理环境的精确 3D 空间推理仍然困难。家具装配需要从示意手册中恢复步骤级操作,并将语义附件关系转化为 6D 位姿更新,使部件能够与环境及已装配部件真实交互。
为此我们提出 AssemState,一个零样本的手册与物理状态引导装配框架。首先利用 anchor‑guided 边界装配状态 将手册页分解为单部件操作,并恢复装配树结构。随后通过 迭代后状态反馈细化,在每一步引导 SE(3) 位姿的更新与校正,并通过基于仿真的释放测试验证其物理可行性。
实验表明,与最强基线相比,AssemState 将装配树恢复的 F1 分数从 38.58% 提升至 62.80%,Tree Exact Match 从 28.24% 提升至 53.92%。在 243 条独立评估的部件级操作中,迭代细化将裁判接受的操作比例从 0 提升至 5.3%,平均 Chamfer 距离从 5.4111 降至 1.7744。
尽管如此,视觉上合理的候选位姿仍可能出现碰撞、漂浮、镜像方向错误、坐姿不完整以及错误侧面附件等问题,说明 MLLM 在空间关系推理方面仍受限。
点评:AssemState 在操作结构恢复和局部位姿指标上取得显著提升,展示了结合手册信息与物理反馈的潜力,但要实现完全可靠的三维装配仍需进一步提升模型的空间推理能力。