摘要
计算机使用代理正在成为能够高效操作软件的工具，但它们与桌面应用程序的接口依然存在脆弱的问题：代理通常依赖于截图、预测坐标、点击操作，并期望可见状态发生预期变化。这种方式将目标定位、动作执行和结果验证合并为单一模糊的操作。
我们介绍了 Tactile，一种开源工具层，为桌面应用代理提供更可靠的“手和脚”操作能力。Tactile 将异构用户界面证据——操作系统可访问性语义、基于 OCR 的文本及视觉回退区域——转换为与动作相关的界面状态：包括紧凑的目标候选项、源标签、角色或文本、状态、几何形状、可执行的功能以及验证提示。
代理通过观察-行动-验证循环进行操作，优先使用本地语义操作，在可用时回退到基于 OCR 的坐标，当可见文本是最佳证据时使用。它保持完整的来源记录以便重放和故障归因。在 macOSWorld 风格的任务中，使用 Tactile 后，Codex 的 Success@100 从 41.1% 提升至 50.0%，在适应可访问性的任务中从 45.2% 提升至 55.3%；在 96 项跨代理子集上，Codex、Claude Code、OpenCode 和 Goose 均展现了一致的提升。这些结果表明，可靠的计算机使用不仅需要更强大的模型，还需要一个可重用的执行基础，能够将软件操作呈现为语义化、可验证和可审计的对象，而不是匿名的屏幕坐标。
博主点评： Tactile 的出现为计算机代理的操作能力提供了新的可能性。通过将用户界面证据转化为语义化的操作，代理能够更可靠地执行任务，从而提高了整体的操作成功率。这不仅仅是技术上的进步，更是计算机与用户交互方式的革新。期待这一工具在实际应用中的广泛推广。