NeFut Logo NeFut
EN 管理员登录

[AI学术] 通过偏好优化教会AI代理玩扑克的策略

发布于:2026-10-21 22:00 最后更新:2026-10-22 01:04
#algorithm #AI #Machine Learning

本文基于 arXiv:2610.27028v1,探讨在隐藏信息环境下紧凑型 AI 代理是否能够表现出战略行为,以及偏好优化能否超越静态零样本策略。我们首先评估了一个静态基线以及三种冻结语言模型:SmallThinker、Qwen3 和 Gemma-3,发现它们在精确游戏评估和六人对局中的表现差异显著。为此我们提出 Strategic Preference Optimization with KL‑anchored Equilibrium (SPOKE),核心包括教师相对价值惩罚、策略锚定、风险约束以及结构化推理监督,并将其与 SFT、DPO、GRPO、GSPO 进行对比。实验在 SmallThinker‑4B‑A0.6B 策略上进行三次独立运行,结果显示 SPOKE 在 Kuhn 博弈的平均可利用度最低,为 $0.213$,在 Leduc 博弈为 $1.081$,且在六人对局中 top‑1 一致率最高,达到 $0.775$。与此同时,教师 KL 散度保持在 $0.522$,与 SFT 的 $0.523$ 基本持平。以上结果初步表明,战略偏好优化能够提升代理的战略质量,同时保持与教师行为的一致性。

点评:SPOKE 的设计兼顾了价值导向与行为约束,为隐藏信息游戏中的策略学习提供了可行路径。未来可进一步探索更大规模模型和更复杂博弈的适用性。

原文链接: https://arxiv.org/abs/2610.27028

[h] 返回首页