跳至正文

Orylo Computer Use

查看 Markdown

让助手操作 Mac 应用与 Chrome,由你批准访问,随时查看并停止控制。

本文章节

它能做什么

Computer Use 让已分配该能力的 Assistant 读取支持的应用界面、点击控件、输入文字,并操作 Chrome 标签页。它内置于 Orylo,无需另外安装 Node 或 Bun。具体操作取决于目标应用及助手的工具支持。

为助手启用

打开设置 → MCP Servers → Library,在 Built into Orylo 中找到 Computer Use,启用并分配给需要使用的 Assistant。它不会默认分配给所有助手。随后在该助手的对话中,明确说明要操作哪个应用、完成什么任务。

批准访问

助手请求应用访问时,先核对授权卡片中的应用名称;授权对当前会话有效。原生操作需要 macOS 辅助功能权限,截图和视觉观察还可能需要屏幕录制权限。按提示前往系统设置 → 隐私与安全性,为 Orylo 授权。操作 Chrome 时,还需由你亲自确认远程调试访问;若 Orylo 打开 Chrome 的远程调试设置,请启用对应选项并完成 Chrome 的确认。

查看预览与停止控制

有活动目标时,点击 Composer 中 token 用量旁的屏幕图标查看预览。可以切换目标,点击预览标题返回对应应用或标签页。收起预览不等于停止控制;点击 End Control 停止对应目标,或停止对话以中断当前执行。已经完成的操作不会自动撤销。你操作受控应用时,后续自动输入会暂停,待用户介入保护允许且助手重新观察后再继续。

观察变化

从 Orylo 0.1.9 起,你可以让助手观察指定应用或浏览器标签页,并在相关变化出现时继续对话。说明观察目标、触发条件和下一步要做什么。在 Composer 中查看活动观察任务、打开目标或逐项停止。收起预览不会停止观察;重启 Orylo 后任务不会保留。隐藏或最小化的窗口可能无法提供视觉观察画面。

试试明确、有边界的请求

例如:“在备忘录中阅读这份草稿,建议三个更清晰的标题,先不要修改。”或:“观察这个 Chrome 标签页,导出完成后告诉我,不要下载或提交任何内容。”这些是请求示例,并不保证所有应用和网页都支持相同流程。

隐私与排查

所选助手可能收到界面文字、请求的截图或观察图像,由你配置的 Agent 或模型供应商处理;Computer Use 不代表 AI 全程在本地运行。这些 Agent 请求不经 Orylo Backend 转发。找不到工具时,检查助手分配和工具开关;无法访问时,检查应用授权、macOS 权限及 Chrome 连接。重试前核对是否已有部分操作生效。取消 MCP 分配会撤销该助手通过 Orylo 获得的访问;macOS 权限需单独在系统设置中管理。

从这里开始

使用 ↑ ↓ 选择,按 Enter 打开,按 Esc 关闭。