近期的大型音频‑语言模型(LALM)研究尝试通过自适应推理在准确率和效率之间取得平衡,但多数方法仅使用粗粒度的难度估计,忽视了影响推理工作量的多种因素。为弥补这一缺陷,本文提出从离线评估中提取五维难度分数和压缩推理轨迹,以更细致地刻画每条音频样本的推理需求。基于此表征,构建了 SWEAR 框架:在监督微调阶段学习难度信号,并在强化学习阶段动态分配推理资源至不同推理阶段,实现难度感知的推理调度。实验在 MMAU‑test‑mini 与 MMAR 数据集上进行,结果显示 SWEAR 在提升整体准确率的同时,大幅削减生成的 token 数量,对易例能够提前结束推理,而对难例的性能保持不变。
点评