本研究聚焦于在本地部署的大型语言模型(LLM)上实现智能建筑的自然语言自动化,旨在降低对远程云服务的依赖。智能建筑的后端处理需要三个关键能力:① 正确选择用户意图对应的输出形式,② 与本地模型的能力保持一致,③ 生成符合后端接口规范的结构化结果。为此,作者提出 LocalIntent 框架,其核心思想是先将请求路由到普通指令分支或持久规则分支,再根据分支类型生成相应的输出。
- 普通指令分支:模型直接输出命令、澄清请求或拒绝信息。
- 持久规则分支:模型生成触发‑动作(trigger‑action)规则,随后通过确定性验证器检查规则的完整性与合法性。
实验使用四种本地执行的模型(Gemma 与 Qwen,参数规模分别为 2B、3B、5B、9B),在 101 条非持久请求和 54 条持久规则记录上进行评估。比较了四种提示策略:
- 单体(Monolithic)提示
- 通用两阶段(generic two‑stage)提示
- LocalIntent 提示
- 基于验证的修复(validation‑guided repair)
主要结果:
- 对持久规则,LocalIntent 将意图理解率从 26.4% 提升至 80.6%,设备识别率从 59.3% 提升至 84.7%,规则模式正确率从 49.1% 提升至 98.6%,动作/参数正确率从 5.6% 提升至 44.9%。
- 对非持久请求,整体提升幅度较小,但意图理解率仍从 39.6% 提升至 53.2%,动作/参数正确率从 30.7% 提升至 42.8%。
- 澄清或模式选择的正确性表现出较强的模型依赖性,较大模型往往表现更好。
实验表明,针对不同输出需求进行结果特定的路由与结构化生成,能够显著提升本地 LLM 在智能建筑自动化场景下的实用性,尤其是在需要生成持久规则的复杂任务中。
点评