目标是把单一神经网络拆成可解释的子网络,每个子网络完成可辨识的子任务。
我们提出一种实用的组合方法,能够把任意数量的电路合并到同一模型中。核心是贪心的、密度缩放的组合算法,克服了之前仅用并集的局限。进一步推广到 N 个电路,构建了 CircuitTree 数据结构,基于 $\Theta(N\log N)$ 的树形组合调度。
在实验中,我们从 HuBERT 中剪枝出 39 个用于单音素分类的电路,然后通过 CircuitTree 合成出一个音节分类器,单个电路都无法实现此功能。
将多个 CircuitTree 串联形成层级电路流水线,能够以 64.8% 的准确率转录开放音节,距离不共享任何电路的 66.0% 上限仅差 1.2 点,且 99.5% 的电路组件被共享。
点评: 该工作展示了电路级别的模块化组合在语音任务中的潜力,为可解释模型提供了新的思路。