摘要
人类标注的数据对训练前沿的大型语言模型（LLMs）至关重要。然而，众包标注常常面临质量问题，主要源于标注者的误解或缺乏参与感。为了解决这一问题，我们提出了实时需求遵循（RE-AD）框架，利用LLMs主动验证标注质量。
方法论
我们的方案包括以下几个步骤：首先，将标准操作程序（SOPs）分解为原子规则，通过自我反思进行分类，并按照复杂性进行分组；其次，应用分层验证策略。通过在合成基准上的评估，该系统达到了0.749的F1分数。此外，在生产环境中部署后，标注者接受并修正了框架标记的82%的错误。
设计决策影响
我们还包括了消融研究，以展示核心设计决策的影响。通过这些措施，我们的框架能够有效提升数据标注的质量，确保更高的准确性和一致性。
博主点评： RE-AD框架的提出不仅有效解决了众包标注中的质量问题，还展示了如何通过LLMs实现实时反馈。这种方法为数据标注领域带来了新的思路，值得进一步探索其在实际应用中的潜力。尤其是在复杂的标注任务中，其分层验证策略可能会显著提升结果的可靠性。