组合结构遍布自然界各层次：原子组成分子，分子组成细胞，细胞组成有机体……组合性即把已有部件重新组合成新结构，是自然和人工系统产生复杂性的根本来源。尽管我们很容易辨认组合结构，但能够精确定义它的数学框架仍然稀缺。本文提出一种基于算法信息论的定义：当若干部件一起被观察时，它们共享的结构在单独建模时无法捕获。该定义利用信息压缩的原理，无需预先指定结构形式，即可在任意数据中发现组合结构。通过可计算的近似，我们进一步将框架反向用于生成组合对象：给定期望的组合结构形式，而不指定具体内容，直接在字符串或图像空间优化。生成的对象展示出明显的层次化复用和整体-部分组织，说明该定义捕获的是组合结构而非单纯的复杂度或共享信息。最后，讨论了对机器学习的启示，包括对神经网络深度的新解释，以及构建支持开放式学习的组合数据课程的原则。
点评