SIGMA 是一种数据生成与训练流水线，旨在让大模型在仅有“模型规范”（Model Spec）描述其期望行为的情况下，实现安全对齐的自我提升。首先，模型利用自身的推理能力在规范指引下合成任务：它充当任务设计者，生成多样的对齐困境情景，并将这些情景转化为训练任务，以检验模型对规范的理解。随后，模型在这些任务上进行自评对齐训练，包括监督微调和基于评分标准的强化学习，其中模型本身充当奖励模型。实验仅使用单轮对话数据，却在多轮代理环境中显著提升安全性：AgentHarm 有害度从 22.6 降至 14.8，Agentic Misalignment 从 79.1 降至 3.8；并且超越 Deliberative Alignment 与 Constitutional AI 基线，同时保持通用能力。进一步分析表明，规范需在无害性与有用性之间取得平衡、推理阶段的安全思考以及任务设计代理提供的高质量评分标准是实现有效自我改进的关键因素。
点评：SIGMA 展示了在缺乏外部监督的情况下，模型通过自生成任务和自评奖励实现对齐的可行路径，为未来安全自我改进提供了重要参考。