Darmok 是首个在英式密码填字游戏上达到超人水平的自动系统。与美式填字不同,密码线索隐藏未标记的定义和文字游戏,表面阅读具有误导性,网格稀疏导致近半个字母未被检查,比赛规则只要有一个错误或空格即使全部正确也会被排在所有无误解答之后。Darmok 在第55届《泰晤士报》填字锦标赛中与顶尖人类选手同场竞技,七局全部零错误,并在每轮均快于所有人类选手,最终在决赛中用时6分52秒,比人类冠军快3分13秒。
系统采用三模型轮次交叉校验:每个线索先由三个相互独立的模型独立解答,随后利用已确认的交叉字母解锁更难的线索。若仍有空格,系统会调用全局求解模型并结合词典查找填补,但不会覆盖已确认的单词。该设计在五个月的每日评估中保持几乎零错误。基准测试显示,去掉备份模型、回退步骤或复杂提示指令对整体准确率影响不大,表面上似乎是过度设计。然而在每日运行最差的日子以及决赛中主模型出现严重延迟时,备份路径成功完成求解,说明当基础模型已能处理平均情况时,构建复杂 AI 系统的核心挑战转向最坏情况的韧性。
当前的前沿模型平均可在一次尝试中完成整张拼图,精度和速度相当。但云端 API 调用仍会出现卡顿、超时、安全拒绝或推理循环等问题。Darmok 通过约束收紧、交叉验证和多层备份,实现了比赛级的准确性、速度和可靠性。
点评:Darmok 展示了在高风险、低容错的任务中,冗余模型与逐步约束相结合的设计能够显著提升系统的鲁棒性,为未来复杂 AI 应用提供了可复制的范式。