NeFut Logo NeFut
EN 管理员登录

[AI学术] HyperWorld:基于超图结构的状态序列化提升文本世界模型

发布于:2026-09-02 22:00 最后更新:2026-09-03 02:56
#Machine Learning #LLM #Artificial Intelligence

World model 使语言模型代理能够预测环境动态并在行动前规划。在文本环境中,模型需要从序列化的状态描述中学习符号化的动作效果,但序列化结构的作用尚未得到充分研究。我们提出 HyperWorld,对学习型文本世界模型的状态序列化进行受控实验。我们比较了原始观测、独立句子、成对三元组以及围绕实体和关系聚合多条相关事实的超边单元四种序列化方式。所有变体使用相同的训练目标:给定状态和动作,预测符号化的效果或判断动作不可行。

在不同模型规模、数据预算以及分布内外的测试世界中,超边序列化在 0.5B‑1.5B 参数模型以及分布迁移情形下表现最为突出。更大的模型缩小了各序列化之间的差距,成对三元组在分布内的精确匹配上可与超边持平甚至略有超越,但超边在分布外的事实 F1 和小到中等规模模型的可行性检测与效果预测之间取得了最佳平衡。在下游的贪婪规划实验中,使用超边的世界模型也获得了最高的成功率。

这些结果表明,高阶的状态组织是一种简洁而有效的归纳偏置,尤其在模型容量受限或测试环境与训练环境不一致时,能够显著提升符号化世界模型的性能。

点评:超图结构的序列化为文本世界模型提供了强有力的结构化信息,使得在资源受限和分布转移场景下仍能保持稳健表现,值得在更广泛的语言代理系统中推广。

原文链接: https://arxiv.org/abs/2609.00002

[h] 返回首页