Cooperative multi‑agent tasks often require a shared safety or performance constraint. 传统做法使用团队层面的违规成本函数来衡量约束违背,但无法指出是哪几个智能体的行为导致了违规。SafeDiSTL 提出了一套基于信号时序逻辑(STL)鲁棒性的约束强化学习框架,能够在联合约束测量下实现信用分配。
框架核心是将一次违规视为“运行最大成本增量”,在整个回合中累计形成平滑的全回合鲁棒性指标。由于鲁棒性随系统动力学可微,能够计算每一步动作对成本增量的敏感度。该敏感度在同一决策时刻被用来将每个成本增量按比例分配给各智能体,并且在计算时考虑了动作的延迟效应,从而实现对每个智能体贡献的准确归因。
我们在三类协作任务上评估 SafeDiSTL:
- 负载运输(多机器人共同搬运)
- 互联导航(多车队保持连通)
- 网络化交通控制(交叉口信号协调) 实验表明,SafeDiSTL 在运输任务中将安全成功率提升 1.6‑5.1 倍,在导航任务中提升 11.1%,在交通控制任务中提升 50‑68% 的通行量,相比传统约束基线有显著优势,同时保持了无约束策略的性能。
这些结果证明,利用 STL 鲁棒性与可微动力学相结合的信用分配机制,能够在共享约束下学习出更安全、更高效的多智能体策略。
点评