摘要
AI民主化并不单纯是关于匹配前沿规模的通用性，更在于在普通机构可以满足的硬件和治理约束下，能否选择、审核和专业化有能力的模型。本文通过对九个开放权重语言模型（参数量在135M到3B之间）的控制评估，研究了这一问题。评估基于一个包含1,085个示例和16个主题的多项选择基准，旨在支持结构化的本地部署。该基准强调符号精度、格式限制、提取和短期语义决策，采用严格的一字输出协议。
接着，利用4位NF4量化和DoRA/LoRA风格适配器，在NVIDIA L4级别预算下，对部分模型进行参数高效的微调管道。基础评估中，Qwen Coder 3B以75.67%的严格准确率领先，紧随其后的是Qwen2.5 1.5B（67.10%）、Qwen3.5 2B（64.98%）和Granite 3.3 2B（64.61%）。在共享的108个示例的保留微调分割中，适应性微调使Qwen Coder 3B提高了26.85分，SmolLM2 1.7B提高了25.92，Qwen2.5 1.5B提高了19.44，SmolLM2 360M提高了10.18，SmolLM2 135M提高了5.55。
通过排名、主题级异质性、难度层次、失败组成、效率边界和主题条件传递等方面的分析，得出相同结论：有序的基准构建、跨模型评估和低成本专业化工作流，使得一部分小于3B参数的模型已经可以作为结构化细分工作负载的本地专家。
博主点评： 本文展示了小型语言模型在本地部署中的巨大潜力，尤其是在资源受限的环境中。通过高效的微调和结构化的基准测试，这些模型可以被有效地应用于特定任务，推动AI的民主化进程。值得关注的是，如何在实际应用中保持模型的准确性与效率平衡。