在AI代理系统中，结合大型语言模型（LLMs）与外部工具和API的特性使得这些系统本质上是非确定性的。LLM的采样方差、外部API状态、CDN基础设施头信息及执行环境的噪声共同阻碍了任何先前代理运行的忠实重现。现有的可观察性平台能够捕获执行日志，但无法孤立地重现运行。为此，我们提出了agrepl，一个面向开发者的CLI框架，用于AI代理执行的确定性重放。
agrepl通过中间人（MITM）代理在传输层拦截所有外部交互，将其序列化为结构化执行轨迹，并在完全隔离的环境中重放，确保零外部网络访问。我们正式定义了代理执行模型，并定义了请求键匹配函数K(s)，证明了确定性不变性。此外，我们引入了一种噪声感知的差异算法，将HTTP头的偏差分类为信号和噪声层次。
在对五个工作负载（n = 250重放实例）的实证评估中，重放保真度F达到了1.0，且每步延迟中位数减少了98.3%。agrepl使用Go语言实现，作为单一静态二进制文件发布，并遵循MIT许可证。
博主点评： 该研究为AI代理的调试和可复现性提供了强有力的工具，利用MITM代理技术实现了环境隔离下的确定性重放，标志着AI系统开发中的一大进步。通过降低延迟和确保重放保真度，agrepl为开发者提供了更高效的调试手段，推动了AI应用的可靠性。