在 AI 代理市场中,买家难以判断哪个代理在特定任务上表现最佳。公开的基准分数往往难以验证,且跨任务、软件和预算的比较存在障碍。为此我们提出 LEGIT,一种将认证、声誉和市场分配机制相结合的凭证协议。
认证:通过签名记录将每一次任务求解的质量、成本、代理配置、任务领域、评估预算以及相应证据绑定在一起。该记录可被买家和代理共同验证,确保评估过程的透明与不可篡改。
声誉:将过去任务的结果记录关联到同一身份,并依据反馈的可靠性进行加权。声誉系统允许买家查看历史表现,同时支持可选的可视化个人资料,以帮助快速判断。
分配:基于认证记录和声誉分数,市场可以在满足预算约束的前提下,为买家分配最合适的代理配置。
实验结果显示,在观察到相似任务成功率的情况下,不同代理配置的成本差异显著;且比较结果高度依赖评估预算,这进一步证明了将性能测量绑定到具体配置和资源限制的重要性。
补充分析在给定 Sybil 攻击模型下,量化了进行声誉操纵所需的保证金和费用,表明通过适当的经济惩罚可以抑制恶意行为。
点评