闭合世界假设 AI 具备专门能力，并能自行生成满足理论假设的 iid 数据：固定准则驱动收集样本直至任务覆盖。相对地，开放世界要求 AI 能在未事先构建的任务上快速适应，仅凭少量示例和极少的人为先验，并且数据是分组而非随机打乱。任务在训练前未知，因而机器必须在推理时进行学习，这构成第一条需求。
通过将任务视为共享潜在因子并对训练目标进行分解，推导出另外两条需求：丰富表征——保留超出 iid 泛化所需的信息；以及预测性解耦——将输入输出对齐到匹配的低维子空间。进一步的分析指出，需要一个一致的内部学习器，并且跨任务的长上下文有助于提升性能。
我们在规模最高 8B 的语言模型上验证这些观点，采用的是“模型是否具备某种属性（定性）”而非“提升多少（定量）”。实验表明，满足三大需求的模型在相关任务数据累积时表现持续提升；未满足的模型则出现退化，且单纯扩大规模或交叉层次的插入并不能弥补这一缺陷。
点评