多模态对象在不同指令下需要不同的划分，例如电商目录可以按颜色、材质或两者同时分组。传统的检索式嵌入难以恢复这些可变划分，而生成式聚类往往依赖中间描述或迭代决策。为此，本文提出 CIM-Embed 框架，直接学习指令条件的多模态嵌入用于聚类。\
在训练阶段采用监督对比学习（SupCon），正例来自同一指令下的同组样本，负例来自其他组，亦可加入其他任务的样本以提升泛化。为兼容不同任务的组数，构造 异构结构批次，在同一批次中混合不同任务的样本。对比损失可形式化为：
$$ L = -\frac{1}{|P|}\sum_{i\in P}\log\frac{\exp(\text{sim}(z_i, zi^+)/\tau)}{\sum{j\in N\cup{i}}\exp(\text{sim}(z_i, z_j)/\tau)} $$
其中 $z_i$ 为样本 $i$ 的嵌入，$z_i^+$ 为同组正例，$N$ 为负例集合，$\tau$ 为温度系数。\
推理时，模型接受 图像、文本和指令 三模态输入，直接映射到一个向量。随后使用 HDBSCAN 对所有向量进行密度聚类，无需事先给出簇的数量。\
为验证方法，构建了 ProductMIC 数据集，来源于 Amazon Reviews 2023 的商品元数据。数据集包括 5,373 件商品和 449 条单属性及组合属性的指令任务，覆盖 50 个未在训练中出现的叶子类别。实验表明，在全维嵌入 + HDBSCAN 的设置下，单任务 SupCon 训练得到的平均 V‑measure 为 95.01，远超最强通用嵌入基线 WeMM 9B 的 53.06。冻结的商品预训练编码器还能提升跨域条件分组性能，受控迁移实验进一步区分了 划分迁移 与 指令响应 两类能力。\
代码和数据将在论文接受后公开。\
点评