AnyBottle 是一种构建紧凑、任务特定概念瓶颈模型（CBM）的通用配方。CBM 通过将预测路由到人类可解释的概念，使结果可检查并可干预，传统方法需要大量概念标注。注释自由的变体虽然去掉了标注需求，却往往使用固定且庞大的概念词表，导致瓶颈规模远超任务所需，检查成本升高。AnyBottle 只假设有一个冻结的主干网络和一个无监督概念池（如稀疏自编码器），并利用在同一主干上训练的黑盒教师模型进行指导。每一轮选择中，AnyBottle 在教师与学生预测不一致的区域中挑选最能解释当前瓶颈错误的概念加入瓶颈。通过对选择顺序使用嵌套 dropout 进行训练，最终的瓶颈能够从任意概念前缀进行准确预测——对置信度高的输入使用少量概念，对困难样本则动态使用更多概念。该流程不依赖特定模态，迁移到新领域只需更换主干和概念池。实验在六个视觉数据集、两个文本数据集以及两种教师范式上进行，AnyBottle 在保持接近黑盒参考性能的同时，显著减少所需概念数量并提升概念一致性。整体结果表明，去除标注并不意味着必须使用庞大词表，经过发现的紧凑词表同样具备强表达能力。
点评