多模态学习通常假设存在配对或同步的观测,但实际独立收集的数据集很少提供这种对应关系。我们提出 CIIR,这是一种模块化的编码器‑解码器框架,通过类别索引的地址空间将异构数据集连接起来,同时保留每个数据集的原始输入格式和输出模块。已知的局部索引会选择地址 $k$,随后将输入相关的 128 维地址表示 $Z_k(x)$ 写入该地址。为验证 CIIR,我们在手写数字、服装图像、语音数字频谱图和手势图像上学习该地址空间,这些数据集之间既不同步也没有实例匹配。新训练的无标签接收器能够以 94.7% 的宏平均地址实现准确率恢复请求的地址。随后我们在冻结基础地址空间的情况下加入未见过的 SVHN 数据集,仅训练轻量级适配器,就实现了 90.2% 的 MNIST→SVHN 和 82.3% 的 SVHN→MNIST 端到端地址转移准确率,且无需目标侧解码器标签。为了展示 CIIR 的通用性,我们将十个地址复用为碰撞自由的算术码,并为 CIFAR‑100 的全部 100 类构造层级地址码,通过已有接收器直接实现算术码的生成。上述结果表明,CIIR 能够作为紧凑的接口,实现模块化的跨数据集通信以及后置数据集的附加,而无需大量配对的多模态监督。
点评:CIIR 通过类索引地址空间实现了跨模态、跨数据集的高效对接,展示了在缺乏同步标注情况下的强大适应能力,为未来的模块化多模态系统提供了可行路径。