Orylo Computer Use
許可したアシスタントに Mac アプリや Chrome の操作を任せ、状況を確認して停止できます。
この記事のセクション
できること
Computer Use は、割り当てた Assistant が対応アプリの画面を読み取り、クリックや文字入力、Chrome タブの操作を行う機能です。Orylo に内蔵されており、Node や Bun の追加インストールは不要です。操作できる範囲はアプリとアシスタントのツール対応によります。
アシスタントに割り当てる
設定 → MCP Servers → Library を開き、Built into Orylo の Computer Use を有効にして、使用する Assistant に割り当てます。すべてのアシスタントに自動で割り当てられるわけではありません。そのアシスタントとの会話で、対象アプリと作業を具体的に指定してください。
アクセスを許可する
承認カードのアプリ名を確認して許可します。許可は現在のセッションに適用されます。ネイティブ操作には macOS のアクセシビリティ権限、スクリーンショットや視覚的な監視には画面収録権限が必要になる場合があります。案内に従い、システム設定 → プライバシーとセキュリティで Orylo に許可してください。Chrome のリモートデバッグもユーザー自身の確認が必要です。設定が開いた場合は有効化し、Chrome の確認を完了してください。
プレビューと操作の停止
操作対象がある間、Composer のトークン使用量横の画面アイコンからプレビューを開けます。対象を切り替えたり、タイトルからアプリやタブへ戻れます。プレビューを閉じても操作は停止しません。End Control で対象の操作を終了するか、会話を停止して現在の実行を中断します。完了済みの操作は元に戻りません。ユーザーが対象アプリを操作すると、その後の自動入力は一時停止し、保護条件が満たされて再観察されると再開できます。
変化を監視する
Orylo 0.1.9 以降では、指定アプリやタブを監視し、関連する変化が起きたら会話を続けるよう依頼できます。対象、条件、次の作業を指定してください。Composer で監視タスクを確認し、対象を開いたり個別に停止できます。プレビューを閉じても監視は停止しません。Orylo を再起動するとタスクは引き継がれません。非表示や最小化されたウインドウは視覚的に監視できない場合があります。
範囲を明確にした依頼の例
「メモでこの下書きを読み、見出しを3つ提案してください。まだ編集しないでください。」「この Chrome タブを監視して、書き出しが終わったら知らせてください。ダウンロードや送信はしないでください。」これらは依頼例であり、すべてのアプリやページでの動作を保証するものではありません。
プライバシーとトラブル対処
画面のテキストや要求されたスクリーンショット、監視画像が、設定した Agent やモデル提供元に渡る場合があります。AI 処理がすべてローカルで行われるわけではありません。これらの Agent リクエストは Orylo Backend を経由しません。ツールがない場合は割り当てと有効状態を、アクセスできない場合はアプリの承認、macOS 権限、Chrome 接続を確認してください。再試行前に部分的な変更を確認します。MCP の割り当て解除は Orylo 経由のアクセスを取り消しますが、macOS 権限はシステム設定で別途管理します。