现代机器学习流水线的评估往往只关注下游任务的准确率,却忽略了任务成功或失败的根本原因。TriProbe 提出了一套多层次探测框架,用于可解释地诊断任务可分离性。它不把模型视作黑箱,而是追踪可分离性在 输入空间、学习特征 与 最终分类器 三个层面的演化。
TriProbe 将多任务问题拆解为若干二分类子任务,并分别施加三类探针:
- 基础探针(Foundational Probe)直接在原始输入上评估任务间的区分度;
- 潜在探针(Latent Probe)在模型内部的特征表示上测量可分离性;
- 最终探针(Final Probe)在分类器输出层检验任务是否仍保持可分离。
可分离性的度量采用 最大 Fisher 判别比(Maximum Fisher's Discriminant Ratio),公式为 $$MFD = \frac{(\mu_1 - \mu_2)^2}{\sigma_1^2 + \sigma_2^2}$$,其中 $\mu_i$ 与 $\sigma_i^2$ 分别是第 $i$ 类的均值和方差。该指标能够客观量化不同层面上的任务冲突或瓶颈。
在 Roshambo sEMG 基准数据集上的实验表明,TriProbe 能够捕捉到隐藏的任务崩溃点,帮助研究者定位数据收集不足、模型验证失误或架构设计缺陷,从而有针对性地改进系统。
点评