摘要
在电子商务中，针对数千种产品类型、属性和多种语言的属性提取，微调大型语言模型（LLMs）需要代表性的标注数据。这种组合规模导致需要数百万条注释，使得人工标注成本过高。尽管近期的研究已经展示了使用LLMs生成合成标签的方法，但在工业规模上部署这些方法需要集成的质量控制机制。
我们提出了SynthAVE，一个大规模的人类验证基准，涵盖了12,726种产品，涉及229种产品类型、792个属性和4种语言（西班牙语、法语、意大利语、德语）。为了在规模上验证合成标签，我们引入了一个多LLM竞技场框架，其中样本由21个评估配置（7个模型系列 $\times$ 3个提示）独立评估，最终标签通过多数投票确定。多数投票集成在Cohen's $\kappa = 0.92$（95.2%一致性）下与人类专家达成一致，而个别评估者之间显示出显著的模型间一致性（Fleiss' $\kappa = 0.76$）。这表明，具有不同个体判断的多样化模型能够聚合成高度可靠的预测，从而在保持与人工审核质量相当的同时，实现成本效益的规模验证。
博主点评： SynthAVE的提出为电子商务领域的属性提取提供了一种高效且可靠的解决方案，通过多模型的投票机制，既降低了人工成本，又确保了标签质量。这种方法在大规模数据处理上具有重要的应用前景，尤其是在多语言环境下的推广。