在医疗诊断和金融咨询等专业领域中，大型语言模型（LLMs）的部署需要评估其超越一般知识的能力。传统的问答基准往往无法捕捉这些领域所需的细微上下文基础、用户意识和领域理解。为了解决这一问题，我们引入了CANDI-QA（上下文对齐专用领域问答），这是一个新的数据集，用于评估LLMs在提供准确、上下文敏感和用户对齐答案方面的表现。CANDI-QA包含专家策划的问题-答案对，分为两类：
- 信息辅助问题：直接的事实查询，要求精确提取。
- 应用推理问题：需要多步推理的任务，以生成可操作的见解。
我们评估了十多种多样的语言模型，从紧凑的开源系统到最先进的专有系统。作为强有力的基准，我们提出了MTSS-Net，一个轻量级的神经符号框架，结合了神经检索与基于规则的推理。我们的研究结果突显了在专用领域实现上下文对齐的深刻挑战，揭示了当前LLMs在未增强的上下文或符号集成下的局限性。最终，CANDI-QA作为一个关键基准，推动了对上下文感知语言模型的研究，刺激了在高风险领域开发强大、可信的人工智能的进程。
博主点评： CANDI-QA 数据集的推出为专用领域的问答系统提供了重要的评估标准，尤其在当前LLMs面临上下文对齐和推理能力挑战的背景下，具有重要的研究价值。未来的模型需要更好地结合上下文信息与符号推理，以提升在专业领域的表现。