我开源了用于与编码 Agent 对话的 Mac 应用，介绍其工作原理

开发者用两个月构建了 Mac 应用 Deiko，并以 MIT 许可开源。它针对编码 Agent 的两个痛点：Agent 看不到用户当前屏幕内容，以及每次新会话（Claude Code、Cursor、Codex）都从零开始、丢失历史上下文。交互方式是双击右 Option 开始语音输入，同时用光标指向目标或按住左 Option 框选区域；Deiko 录制语音、按指向位置裁剪屏幕、读取光标下的无障碍标签（按钮标题、单元格值）并记录窗口与页面标题，停止后由一个小型 Node 管线生成任务简报，其中关键步骤是将语音词与屏幕元素对齐。

AI推荐理由 作者开源了自建 Mac 应用 Deiko（MIT 许可），核心是解决编码 Agent 看不到屏幕内容、跨会话丢失上下文两个问题：通过双击右 Option 语音输入、光标指向或框选区域，结合屏幕裁剪、无障碍标签和窗口/页面标题，再由 Node 管线生成 brief，其中包含语音词与屏幕元素的 alignment 步骤。属于开发者自述的个人项目，无第三方验证或效果数据，安装量、星数等均未提供，价值在于展示一种多模态输入与上下文对齐的实现思路，而非已验证的成熟工具。