在实现自主工业操作的过程中,从自然语言需求规范中创建和重新配置控制策略至关重要,且此过程应尽量减少或避免手动重设计。在此背景下,结合植物感知验证器(如数字双胞胎)与AI代理的策略生成,成为一种可行的路径,用于在执行前检查生成的候选动作。然而,实际部署受到推理延迟和计算足迹的限制:大型云端模型通常过于缓慢、不透明或对数据敏感,不适合边缘闭环使用。
本研究探讨了一种紧凑的小型语言模型(SLM)是否可以被重新训练用于控制推理,并嵌入到验证器引导的修正循环中。我们使用了通过组相对策略优化(GRPO)对Qwen2.5-1.5B模型进行对齐,结合(i)动作代理,(ii)符号/数字双胞胎风格的验证层,以及(iii)反复提示代理,逐步引导输出朝向有效动作。在随机热控制模拟中(30次实验,每次500步),该框架实现了91.5%的平均动作对齐准确率(各案例之间为86.3%至100%),且平均推理延迟为3.84秒。在符号重新映射下,维持95%的范围内率,表明尽管标记级一致性降低,但仍能保持稳健的物理调控。这些结果支持SLM+验证器架构作为实现边缘可重构自主控制的切实路径。
博主点评: 该研究展示了小型语言模型在工业控制中的应用潜力,尤其是在边缘计算环境中。通过结合验证器和自我修正机制,显著提高了动作对齐的准确性,具有重要的实际意义。未来可以进一步探索不同模型架构与算法的结合,以优化实时性能。