摘要
LLM代理通过转售商与用户接触，转售商可能会重新品牌开发者的代理或替换为更便宜的模型。当归属存在争议时，归属依赖于轨迹日志（工具调用、观察和执行动作的记录，而非模型推理），转售商存储并处理这些日志以测量使用情况。因此，水印必须在对手完全读写访问的情况下生存；现有的代理水印无法做到这一点，因为它们的归属直接从日志中读取。
我们提出了TRACE，迄今为止，首个在动作选择上无失真、自我同步于删除且在重写下无条件不变的代理水印。删除会破坏基于位置的密钥的同步，重写则会改变内容，因此，删除鲁棒的密钥必须来自内容，而重写鲁棒的密钥必须来自位置，且没有单个密钥能同时满足这两者。然而，轨迹有空间容纳两个水印。
TRACE叠加了一个选择通道，用于设置选择哪个动作，基于局部内容的无失真采样器，使得代理的分布在理论上不变，并且在删除后检测能够重新同步；另一个计数通道则设置每个决策组持有的记录数量，仅基于日志的骨架，这部分无法被重写触及。
我们证明了这种行为水印的信号是以决策熵为代价的，每个决策至少支付其一半的熵，而确定性决策则不支付任何费用，且删除两个通道迫使转售商损坏所转售的轨迹。在ToolBench和ALFWorld上，TRACE的成功率与未加水印的代理相匹配，同时其选择通道在长时间轨迹上达到近z = 100的检测分数，在70%的步骤删除下仍然可检测，并且在任何强度的LLM重写下，计数通道保持完全不变。
博主点评： TRACE通过双通道水印的设计，解决了现有水印在面对重写和删除时的脆弱性，展示了在保证功能的同时实现鲁棒性的创新思路。这一方法不仅提升了LLM代理的安全性，也为未来的水印技术提供了新的视角和解决方案。