摘要
产品目录是电子商务网站的支柱，但许多结构化属性（SAs）如材质、颜色和形状常常存在缺失值。通常情况下，SA值是从产品信息中提取的，包括标题和描述。虽然基于大型语言模型（LLM）的生成-评估框架在SA预测上表现出色——其中一个LLM生成SA值，另一个对其进行评估——但当生成器和评估器产生冲突输出时，面临着挑战，因为任一组件都有可能出错。
我们介绍了 CatalogAgent，一种新颖的代理系统，能够持续改进用于电子商务目录丰富的生成器和评估器模型。当出现以下冲突时，监督者代理会介入并做出最终决策：（1）生成器与评估器之间的内部冲突，或（2）卖家对LLM输出的外部反馈。该系统还包含一个内存库和一个内存汇总器，存储监督者代理在个案中的活动，并将模式聚合为学习。这些学习反馈给工作生成器和评估器LLM，使其在没有人工干预的情况下实现自我改进。
通过上下文工程——将学习和洞察注入工作LLM的上下文中——该系统成功地将监督者的能力转移给生成器和评估器，分别提高了15.24%和13.98%的性能。我们的实验展示了一种新的监督者代理介导的自学习系统范式，用于提高生成式AI模型的准确性。
博主点评： CatalogAgent展示了如何通过监督者代理的介入，解决生成模型中的冲突问题，实现自我学习，显著提升了模型的准确性。这一方法为电子商务领域的产品目录管理提供了创新的解决方案，值得进一步探索其在其他领域的应用潜力。