Orylo Computer Use
승인한 어시스턴트가 Mac 앱과 Chrome을 조작하도록 하고, 진행 상황을 확인하거나 제어를 중단하세요.
이 문서의 섹션
할 수 있는 일
Computer Use를 할당받은 Assistant는 지원되는 앱 화면을 읽고, 컨트롤을 클릭하고, 텍스트를 입력하며 Chrome 탭을 조작할 수 있습니다. Orylo에 내장되어 Node나 Bun을 별도로 설치할 필요가 없습니다. 실제 지원 범위는 앱과 어시스턴트의 도구 지원에 따라 다릅니다.
어시스턴트에 활성화하기
설정 → MCP Servers → Library에서 Built into Orylo의 Computer Use를 찾아 활성화하고 원하는 Assistant에 할당하세요. 모든 어시스턴트에 기본으로 할당되지는 않습니다. 해당 어시스턴트와의 대화에서 대상 앱과 작업을 명확하게 지정하세요.
접근 승인
승인 카드의 앱 이름을 확인하세요. 승인은 현재 세션에 적용됩니다. 기본 앱 조작에는 macOS 손쉬운 사용 권한이 필요하며 스크린샷과 시각적 관찰에는 화면 기록 권한도 필요할 수 있습니다. 안내에 따라 시스템 설정 → 개인정보 보호 및 보안에서 Orylo에 권한을 부여하세요. Chrome의 원격 디버깅 접근도 직접 승인해야 합니다. 관련 설정이 열리면 옵션을 켜고 Chrome의 확인 절차를 완료하세요.
미리보기와 제어 종료
활성 대상이 있으면 Composer의 토큰 사용량 옆 화면 아이콘으로 미리보기를 여세요. 대상을 전환하거나 제목을 눌러 앱 또는 탭으로 돌아갈 수 있습니다. 미리보기를 닫아도 제어는 중단되지 않습니다. End Control로 해당 대상을 중단하거나 대화를 중지하여 현재 실행을 중단하세요. 이미 수행한 작업은 되돌리지 않습니다. 사용자가 대상 앱을 조작하면 이후 자동 입력이 일시 중지되며, 개입 보호 조건이 충족되고 새로 관찰한 뒤 재개할 수 있습니다.
변화 관찰
Orylo 0.1.9부터 앱이나 탭을 관찰하고 관련 변화가 감지되면 대화를 이어 가도록 요청할 수 있습니다. 대상, 조건, 다음 작업을 지정하세요. Composer에서 관찰 작업을 확인하고 대상을 열거나 개별 작업을 중지할 수 있습니다. 미리보기를 닫아도 관찰은 계속됩니다. Orylo를 다시 시작하면 작업은 유지되지 않습니다. 숨겨지거나 최소화된 창의 시각적 관찰은 불가능할 수 있습니다.
범위가 명확한 요청 예시
“메모 앱에서 이 초안을 읽고 더 명확한 제목 세 개를 제안해 줘. 아직 수정하지 마.” 또는 “이 Chrome 탭에서 내보내기가 끝나면 알려 줘. 다운로드하거나 제출하지 마.” 이는 요청 예시이며 모든 앱과 페이지에서 같은 흐름을 지원한다는 보장은 아닙니다.
개인정보와 문제 해결
선택한 어시스턴트가 화면 텍스트, 요청된 스크린샷 또는 관찰 이미지를 받을 수 있으며, 설정한 Agent나 모델 제공자가 처리합니다. 모든 AI 처리가 로컬에서 이루어진다는 의미는 아닙니다. 이 Agent 요청은 Orylo Backend를 거치지 않습니다. 도구가 없으면 할당과 활성 상태를 확인하고, 접근이 실패하면 앱 승인, macOS 권한과 Chrome 연결을 확인하세요. 재시도 전에 일부 변경이 적용되었는지 살펴보세요. MCP 할당 해제는 Orylo를 통한 접근을 철회하며 macOS 권한은 시스템 설정에서 별도로 관리합니다.