Orylo Computer Use
讓助理操作 Mac 應用程式與 Chrome,由你核准存取,隨時查看並停止控制。
本文章節
它能做什麼
Computer Use 讓已獲指派的 Assistant 讀取支援的應用程式介面、點擊控制項、輸入文字,並操作 Chrome 分頁。此功能內建於 Orylo,無須另外安裝 Node 或 Bun。實際操作取決於目標應用程式及助理的工具支援。
為助理啟用
開啟設定 → MCP Servers → Library,在 Built into Orylo 中找到 Computer Use,啟用並指派給需要的 Assistant。預設不會指派給所有助理。接著在該助理的對話中,明確說明目標應用程式與任務。
核准存取
助理要求存取時,先確認授權卡片上的應用程式;授權對目前工作階段有效。原生操作需要 macOS 輔助使用權限,截圖與視覺觀察也可能需要螢幕錄製權限。依提示前往系統設定 → 隱私權與安全性,為 Orylo 授權。Chrome 的遠端偵錯存取須由你親自確認;若 Orylo 開啟相關設定,請啟用選項並完成 Chrome 的確認。
預覽與停止控制
有活動目標時,點擊 Composer 中 token 用量旁的螢幕圖示查看預覽、切換目標,或點擊標題返回應用程式或分頁。收起預覽不會停止控制。使用 End Control 停止該目標,或停止對話以中斷目前執行;已完成的操作不會自動復原。你操作受控應用程式時,後續自動輸入會暫停,待介入保護允許且助理重新觀察後繼續。
觀察變化
從 Orylo 0.1.9 起,可要求助理觀察指定應用程式或分頁,並於相關變化出現時繼續對話。說明目標、觸發條件與下一步。在 Composer 查看活動觀察任務、開啟目標或逐項停止。收起預覽不會停止觀察;重新啟動 Orylo 後任務不會保留。隱藏或最小化的視窗可能無法提供視覺觀察畫面。
試試明確且有範圍的請求
例如:「在備忘錄閱讀這份草稿,建議三個更清楚的標題,先不要修改。」或:「觀察這個 Chrome 分頁,匯出完成時告訴我,不要下載或提交內容。」這些是請求範例,不保證所有應用程式或網頁皆支援相同流程。
隱私與疑難排解
所選助理可能收到介面文字、要求的截圖或觀察影像,由你設定的 Agent 或模型供應商處理;這不代表 AI 全程在本機執行。這些 Agent 請求不經 Orylo Backend 轉送。找不到工具時檢查指派與工具開關;存取失敗時檢查應用程式授權、macOS 權限及 Chrome 連線。重試前確認是否已有部分變更生效。移除 MCP 指派會撤銷該助理透過 Orylo 的存取;macOS 權限須在系統設定另行管理。