NeFut Logo NeFut
EN 管理员登录

[AI学术] TxnQA:交易事件序列的分析推理与证据定位基准

发布于:2026-10-21 22:00 最后更新:2026-10-22 01:04
#AI #Machine Learning #Data Structure

分析商户交易历史需要动态的时间过滤、实体消歧和对不规则事件流的聚合——这些操作在静态表格或时间序列预测基准中难以体现。我们推出 TxnQA,一个分析型问答基准,包含 27 类任务(81 条模板),并配备 5 场景的欺诈风险推理套件,用于在合成、隐私保护的交易数据上评估答案及其证据。答案通过程序自动生成,模型表现分解为格式遵循率 (FFR)、条件内容准确率 (CA) 和端到端正确率 (E2E)。在对比提示式专有模型和六个 LoRA 适配的开源模型时发现,适配能够稳定保证输出模式,但算术推理仍是瓶颈:Gemma-4-31B-IT 与 Qwen3-8B 的 E2E 分别为 0.867 和 0.816,而 MoE 检查点仅在 0.632‑0.713 区间。进一步在 500 条欺诈实例上,判决准确率常超过 80%,但需要精确证据归属的联合准确率最高仅约 23%。这些结果表明,模式合规、语义计算和证据归属是交易序列问答的三大瓶颈。

点评

原文链接: https://arxiv.org/abs/2610.27256

[h] 返回首页