NeFut Logo NeFut
EN 管理员登录

[AI学术] 使用大语言模型进行定性分析的规模化:Smart Coder 框架的人机协同编码开发与验证

发布于:2026-10-27 22:00 最后更新:2026-10-29 00:58
#AI #Machine Learning #LLM

本文提出了 Smart Coder 框架,以系统化人‑LLM 协同的定性编码工作。框架分为三阶段:Instruction(向模型提供明确的编码指令),Prompt Strategy(设计少样本或少样本+思路链提示),以及 Reliability Check(通过单遍或自一致性方式检验编码可靠性)。

我们在 72 份中学数学教师访谈稿上进行实验,其中 12 份用于提示开发与校准,剩余 60 份用于正式评估。实验采用因子设计,比较了有无指令、仅少样本 vs 少样本+思路链、单遍 vs 自一致性三组变量的组合效果。

结果显示,提供明确指令始终提升编码一致性。思路链提示在指令充分的前提下进一步提高一致性,而自一致性虽带来较小且受主题影响的增益,却能帮助识别不稳定的编码决定供人工复审。不同访谈稿的特征也会导致性能波动。

总体而言,Smart Coder 框架在保持人工对编码决策的主导权的同时,提供了一套可复制、可监控的 LLM 辅助定性编码流程。

点评

原文链接: https://arxiv.org/abs/2610.33205

[h] 返回首页