昂贵的进化搜索并不总是需要对每个候选解给出精确的适应度估计,往往只需要一个可靠的答案来判断哪个候选更好。为此我们提出 Teacher‑Guided Learning NSGA‑II(TGL‑NSGA‑II),一种面向受约束 Tiny Machine Learning(TinyML)神经架构搜索的低保真框架。预训练的教师模型根据难度和类别共同定义的层次(strata)对样本进行划分。每个候选在一个紧凑的训练集上执行 KD‑Lite——一次短时且受限的知识蒸馏过程——随后在另一个分层评估集上打分。该教师引导的分数与高斯过程代理模型融合,用于挑选需要完整评估的候选。针对固定的候选种群,我们分析了评估方差、分数集中度、成对排名逆转、期望 Kendall‑$\tau$、第一前沿识别以及超体积扰动。我们进一步推导出方差感知的融合权重以及容量自适应的蒸馏规则。在关键词检测和鸟鸣分类实验中,测得的 Kendall‑$\tau$ 分别为 0.74 和 0.62,超过了对应的预测下界 0.60 和 0.46。联合分层将代理分数的方差相比随机评估降低了 41%。相反,选择性教师不匹配会增加差分偏差,使 Kendall‑$\tau$ 降至 0.41。在受限的评估预算下,TGL‑NSGA‑II 在关键词检测任务上实现了最高的平均超体积和最小的代际距离,在 BirdCLEF 上记录了最低的平均误报率,并且运行速度比完整的 NSGA‑II 快 2.2 倍。这些保证仅适用于种群层面的低保真评估,并不意味着完整进化轨迹的收敛。
点评