摘要
随着自主智能系统在网络物理环境中的应用日益增加，评估它们的任务表现和可信度变得至关重要。在去中心化能源市场中，自主代理可能提高市场效用，但也可能利用无效的物理数据、制造虚假流动性并导致不稳定的治理决策。因此，我们提出了SolarChain-Eval，这是一个用于评估可信经济代理的物理约束基准。
SolarChain-Eval将市场治理形式化为兼容Gymnasium的马尔可夫决策过程（MDP），代理每小时做出决策。该基准从多个维度评估每个策略，包括市场效用、物理安全、滑点、动作平滑性、空间公平性和可审计性。
为了支持代理评估，SolarChain-Eval结合了基于LLM的规划/审计层。规划器定义了事件级别的动作边界和审计规则，而审计员则评审并修正高风险动作。所有干预通过结构化日志记录，包括触发信号、建议动作、修正动作和审计理由。
实验表明，静态、随机、短视、强化学习（RL）和RL+LLM策略之间存在明显的效用与安全权衡。虽然RL代理提高了市场效用，但仍可能产生不安全行为。当移除物理惩罚时，奖励最大化的代理会利用无效生成并增加虚假流动性。LLM规划/审计器提高了可审计性并减轻了某些风险，但无法完全弥补错误指定的奖励函数。这些结果表明，可信的代理AI评估需要物理约束和透明的干预记录。
我们将数据和代码作为开源在GitHub上发布，以便于复现。
博主点评： 这一研究展示了在去中心化经济体中实现可信代理的复杂性，强调了物理约束与透明审计的必要性，为未来的智能代理系统提供了重要的评估框架。通过这种方法，研究者不仅推动了技术的进步，也为政策制定提供了实证依据。