NeFut Logo NeFut
EN 管理员登录

[AI学术] 在提交工单前:基于文档与已解决工单的 HPC 用户支持与主动 LLM 助手

发布于:2026-10-27 22:00 最后更新:2026-10-29 00:58
#AI #Machine Learning #LLM

大多数提交到 HPC 帮助台的问题已经在中心的用户指南或上学期的工单中得到了解答,但用户仍然会新建工单,因为指南难以检索,且工单历史不对个人开放。我们提出一种助手,它同时利用两类信息源:通过 Model Context Protocol 调用两种工具——对实时文档进行检索增强生成(RAG),以及使用 Llama-3-8B 在 11,244 条历史工单的查询‑解答对上进行 QLoRA 微调的模型。两者的答案在本地或校内托管的 LLM 服务上合并,以保证工单数据不离开机构。

在 Purdue 大学 Rosen Center for Advanced Computing 的 400 条与训练集无交叉且无近似重复的持出工单上进行评估,评审由两位未参与模型训练的评审员完成。微调模型在与原始模型的 BERTScore F1 上提升显著(从 0.06 提升至 0.27),并在与 RCAC 官方解决方案的一致性上表现最佳。整体系统并未超越单一工具的表现,尽管两者互补:若对每个问题挑选更佳答案,可达 3.41 分(oracle 上限),而实际合并后文档工具占比 78%。单独返回微调模型的答案可恢复其质量(3.19 对比 2.66),但学习型选择器或 LLM 验证器均未超过该工具本身。

点评:该工作展示了将文档检索与历史工单微调相结合的可行性,尤其在数据隐私受限的高校环境中具有实际价值。未来可探索更精细的答案融合策略,以进一步提升整体系统的准确性。

原文链接: https://arxiv.org/abs/2610.31703

[h] 返回首页