本文提出了 Smart Coder 框架,以系统化人‑LLM 协同的定性编码工作。框架分为三阶段:Instruction(向模型提供明确的编码指令),Prompt Strategy(设计少样本或少样本+思路链提示),以及 Reliability Check(通过单遍或自一致性方式检验编码可靠性)。
我们在 72 份中学数学教师访谈稿上进行实验,其中 12 份用于提示开发与校准,剩余 60 份用于正式评估。实验采用因子设计,比较了有无指令、仅少样本 vs 少样本+思路链、单遍 vs 自一致性三组变量的组合效果。
结果显示,提供明确指令始终提升编码一致性。思路链提示在指令充分的前提下进一步提高一致性,而自一致性虽带来较小且受主题影响的增益,却能帮助识别不稳定的编码决定供人工复审。不同访谈稿的特征也会导致性能波动。
总体而言,Smart Coder 框架在保持人工对编码决策的主导权的同时,提供了一套可复制、可监控的 LLM 辅助定性编码流程。
点评