代码世界模型通过显式的状态和可执行规则来刻画世界的动态。我们研究了在该框架下如何统一对象表示、行为修订以及视觉记忆。Mallea 是一个从自然语言文本出发，完成世界构建、引导和记忆的系统。
系统内部的编码代理会从提示中推断对象交互需求，并同步规划对象的结构、属性和规则，倾向于生成能够满足需求的紧凑表示。规划好的规则驱动世界演进，用户可以通过可选的操作对其进行引导；同时，文本请求能够编辑对象属性或扩展功能，而不影响已有状态。
对象纹理记忆仅对白盒定义的对象保留可复用的外观，并在对象变化时自动适配。程序负责推进世界状态，生成式渲染器则将当前结构与记忆中的外观相结合，输出可视化结果。通过把构建、干预和记忆围绕同一批对象组织，Mallea 能在每一次观察时基于最新的状态和兼容的外观进行条件化。
项目页面：https://lxycopper.github.io/Mallea
点评