自托管 AI 常被视为降低推理成本、提升控制力的手段，但部署本身也会产生额外开销。我们在 Grayhat Developers——一家以 AI 为核心的软体公司——的实践表明，混合式 AI 栈能够在成本与性能之间取得平衡。\n\n最初的动机是抵消商业 AI 的费用：Claude 与 Codex 每月约消耗 325 美元，累计处理 25.93 billion token。我们尝试使用本地开源模型替代商业编码助手，但发现其性能和推理速度不足。于是采用了混合方案：让商业模型负责复杂任务，本地模型承担低复杂度任务、组织信息检索以及与 Outline、Plane、ERPNext 等自托管工具的同步。\n\n我们估算约 30%‑40% 的商业 AI 工作负载来源于上下文转移、文档同步、任务管理等运营协同。将这些工作迁移至本地模型后，约 90% 的协同工作可在无需商业推理的情况下完成，对整体商业 AI 工作量的削减约为 27%‑36%。\n\n首次内部部署因用户体验摩擦导致采纳率低下，改为中心化配置后反馈与采纳显著提升。\n\n结论是，本地推理并非商业 AI 的全盘替代品，而是应在混合架构中根据任务的能力需求、成本、上下文规模和敏感性进行分配。\n\n点评：本案例展示了混合架构的实用性，提醒在自托管时要兼顾用户体验和任务划分。