摘要
LLM（大规模语言模型）现已被提议用于诈骗检测、诈骗调查、内容审核等信任与安全工作流。然而，目前的文献多集中于模型本身的评估，对其作为运营管道组件的行为关注较少。这引出了一个实际的问题：在延迟、成本、上报、人工审核和对抗风险的约束下，什么情况可以证明将LLM放置在实时工作流中是合理的？
我们通过对部署证据的诈骗优先调查来解答这一问题。我们对49个与LLM在诈骗检测、调查支持、内容审核和跨领域鲁棒性相关的运营性来源进行了编码（其中18个与诈骗相关，14个与审核相关，17个跨领域），并补充了15个上下文参考以界定调查边界。这些来源包括系统、基准、框架和与部署相关的调查，而不是49个生产部署。
主要发现是存在证据不平衡。诈骗提供了编码语料库中任务特定部分的最大来源。然而，审核相关的论文在延迟、成本、治理和公平性方面提供了更多明确的公共证据。在18个诈骗和调查来源中，没有一篇报告清晰的每项决策延迟、每项决策成本或校准证据；大多数仅报告离线任务性能、检索增益或案例研究准确性。
本调查贡献了一个角色与证据的组织框架——FORTE，用于定位LLM作为分类器、检索接口、解释生成器、审核助手、代理、特征提取器或上报组件。它还贡献了一个最小的部署证据清单，涵盖了延迟预算、每项决策成本、决策阈值、解释完整性和对抗压力。最终的议程识别了支持LLM在诈骗与信任安全工作中的部署声明所需的研究。
博主点评： LLM在诈骗检测和信任安全领域的应用潜力巨大，但当前的研究多集中于模型评估而非实际部署的效果，亟需更多关于其运营表现的实证研究，以促进其在真实场景中的应用。有效的部署需要明确的证据支撑，尤其是在延迟和成本等关键指标上。