摘要
桌面语音助手仍然被云管道主导，这些管道将原始音频发送到云端，并暴露一组固定的技能。我们描述了 AnovaX，这是一个小型的本地优先助手，完全运行在用户的计算机上，并将桌面本身视为其操作界面。
AnovaX 由一个单一的 Python 进程构成，连接了一个唤醒词门控、一个语音处理管道、一个 LLM 规划器（Gemini），后者输出工具调用的 JSON 计划，一个白名单和黑名单的安全层，以及一个多智能体协调器，将每个计划翻译成类型化的子代理，这些子代理在一个有限的线程池上运行。此外，它还包括一个自适应恢复循环，在核心步骤失败时接管。
每个工具对应于一个专门的代理类（如 AppAgent、TypingAgent、BrowserAgent 等六个类），每个类都有自己的超时、重试策略和共享资源锁。递归的 MetaAgent 允许规划器将子目标委托给自身，嵌套深度限制为两层。恢复循环使用紧凑的 ReAct 风格提示，并通过对只读工具的推测执行隐藏 Gemini 的延迟。
一个伴随的 Flask 服务器通过本地 WiFi 提供手机友好的远程访问，实时镜像每个代理生命周期事件到手机，并通过 MJPEG 流式传输笔记本电脑的屏幕，以便用户可以观看远程命令的执行。
该项目的目的并不是与 Siri 或 Alexa 竞争，而是展示一个可读的、几千行的助手足以打开应用程序、输入文本、进行搜索、协调并发操作、从单步失败中恢复，并且完全可以通过另一个房间的手机驱动，而不需要 LLM 直接接触键盘。
博主点评： AnovaX 的设计突出了本地处理的重要性，避免了云依赖的延迟和隐私问题。通过多智能体架构与自适应恢复机制，AnovaX 展现了构建高效、灵活语音助手的全新思路，极具启发性。其实现细节为开发者提供了宝贵的参考，尤其是在资源受限的环境中。