摘要
联邦强化学习（FedRL）使得分布式能源资源的协调成为可能，而无需共享原始本地数据，但标准聚合方法如FedAvg并未考虑系统级约束，常常导致不安全的全局行为。本文研究了在分布式能源协调中针对约束的聚合方法。
我们提出了将本地性能和估算的约束违反情况结合到服务器端更新中的聚合规则。其中，一种简单的基于惩罚的规则，$w_i \propto R_i - \alpha V_i$，在奖励与安全性之间提供了最可靠的权衡，且无需进行双重优化或修改本地训练。
我们在DairyGridEnv上评估了我们的方法，该基准模型模拟多个农场在随机需求和共享电网容量约束下的电池存储协调，并进一步使用来自芬兰和德国FIELD数据集的真实负载驱动需求配置进行稳健性评估。在多个种子实验中，基于惩罚的聚合在合成和真实负载驱动环境中显著减少了违反情况，同时相对于FedAvg提高了奖励。结合的奖励-违反方案通过$\eta$暴露出可调节的权衡，但稳定性较差。这些结果表明，轻量级聚合策略可以在保持标准通信协议的同时，显著提高联邦强化学习中的经验安全性。
博主点评： 本文提出的约束感知聚合方法在确保安全性的同时，保持了系统的灵活性，展示了在微电网能源管理中的广泛应用潜力。通过合理的惩罚机制，研究为未来的分布式能源协调提供了新的思路和方法。值得关注的是其在实际应用中的效果与稳定性。