NeFut Logo NeFut
EN 管理员登录

[AI学术] FirmCORe:企业间协作机会结构化推理基准

发布于:2026-09-16 22:00 最后更新:2026-09-18 00:46
#AI #Machine Learning #LLM

企业间的结构化关系数据往往稀缺或难以获取,因为许多合作是私下谈判、选择性披露并分散在专有数据库中。这导致创业公司和中小企业难以发现潜在的协作机会。虽然企业概况易于获取,但仅凭业务相似性无法判断合作可能性——相似的企业可能是竞争对手,而差异化的企业可能在产品、技术、渠道、能力或资本上互补。为此我们构建了 FirmCORe(Inter‑Firm Collaboration Opportunity Reasoning),一个人工标注的基准,包含 2,805 对标记的企业配对。任务是:给定两家企业的概况,模型需判断是否存在协作机会;若为正例,还需同时预测机会强度、主要协作类型以及角色方向。FirmCORe 还提供中英双语评测集,实例和金标准完全一致,便于分析输入语言的敏感性。实验使用多种本地部署和托管的大语言模型(LLM),结果显示最强模型在机会检测上达到 74.51% 的 macro‑F1,但在四个输出字段的全匹配上仅为 61.57%。不同模型的语言效应差异显著,高跨语言一致性可能掩盖共享错误。总体而言,现有 LLM 在识别宽泛的协作机会方面相对可靠,但在细化类型和角色方向上仍有较大提升空间。

点评

原文链接: https://arxiv.org/abs/2609.17128

[h] 返回首页