离线 AI 模块工作流旨在实现低功耗、社区可及的语音优先离线 AI 系统，特别面向语音为主要交互方式且网络不稳的非洲语言社区。工作流包括三大组成：模块化的语音优先离线架构、低成本硬件参考清单、以及可复现的指令微调大模型（2‑5B 参数）量化与基准测试流水线。
本文首次在两套硬件上完成端到端评估：NVIDIA Jetson Orin NX（TierB）和 Raspberry Pi 5（TierA）。选取三种指令微调模型，分别使用四种量化格式进行测试，评估指标包括解码吞吐、聊天延迟、内存占用、功耗以及多语言质量——在 MasakhaNEWS 上的主题分类准确率（覆盖英语、豪萨语、伊博语、尼日利亚皮钦语、约鲁巴语）和每语言的困惑度漂移。语音识别使用 Ethio‑ASR 在阿姆哈拉语和奥罗莫语上进行评估。
主要发现是 Q4_K_M 量化在尺寸与质量之间取得最佳平衡：在 TierB 上，gemma‑4‑E2B‑it 在 Q4_K_M 下实现 28.8t/s 解码吞吐和 89.2% 主题分类准确率；在 TierA 上，三模型均能在 16 GB 内存限制内运行。
点评：该工作展示了在资源受限硬件上部署多语言指令模型的可行路径，为非洲语音 AI 的普及提供了实用参考。