我们发布了 JavaVulBench，这是一个用于Java漏洞检测的基准数据集和评估工具。该数据集包含大约 30,600 个Java方法，涵盖1,740个CVE和700多个项目，标注粒度达到方法和行级别，并提供每个CVE的发布时间。
我们设计了五种现实的拆分策略：随机、项目不交叉、时间序列、去重和未见CWE家族。
该评估工具提供了一个统一的 LlmPrediction 方案，支持三种后端类型（编码器分类器、本地生成模型由Ollama提供，以及通过OpenRouter路由的API服务LLM），使得十二个参考检测模型（CodeBERT, GraphCodeBERT, UniXcoder, DeepSeek-Coder-1.3B 以及八个API/开放权重的LLM：GPT-4o, GPT-4.1-mini, Claude Sonnet 4, DeepSeek-v3, DeepSeek-Coder-v2, Qwen-2.5-Coder-14B/7B, CodeLlama-13B）在相同条件下进行评估。
每个模型随附一个预训练污染审计，以便用户区分真正未见的测试CVE与可能被记忆的CVE。数据、代码和微调检查点已在Zenodo上归档，并且短视频演示可在YouTube观看 点击观看。
博主点评： JavaVulBench为Java漏洞检测提供了一个标准化的平台，极大地促进了研究者和开发者对不同检测模型的比较和评估，尤其是在数据集的多样性和评估方式的严谨性上，值得关注和使用。