Orylo Computer Use
Lass Assistenten mit Mac-Apps und Chrome arbeiten: Du genehmigst den Zugriff und kannst die Steuerung beenden.
Abschnitte in diesem Artikel
Was die Funktion kann
Ein zugewiesener Assistant kann mit Computer Use unterstützte Oberflächen lesen, Bedienelemente anklicken, Text eingeben und Chrome-Tabs bedienen. Die Funktion ist in Orylo integriert; Node oder Bun müssen nicht separat installiert werden. Welche Aktionen möglich sind, hängt von der App und der Werkzeugunterstützung des Assistenten ab.
Für einen Assistenten aktivieren
Öffne Einstellungen → MCP Servers → Library. Aktiviere Computer Use unter Built into Orylo und weise es dem gewünschten Assistant zu. Standardmäßig ist es nicht allen Assistenten zugewiesen. Benenne in der Unterhaltung die App und die Aufgabe eindeutig.
Zugriff genehmigen
Prüfe die App auf der Genehmigungskarte. Die Erlaubnis gilt für die aktuelle Sitzung. Native Interaktion benötigt die macOS-Berechtigung Bedienungshilfen; Screenshots und visuelle Beobachtung können zusätzlich Bildschirmaufnahme benötigen. Erteile Orylo diese Rechte bei Aufforderung unter Systemeinstellungen → Datenschutz & Sicherheit. Bestätige Chromes Remote-Debugging selbst. Öffnet Orylo die entsprechende Einstellung, aktiviere sie und bestätige die Anfrage in Chrome.
Vorschau und Steuerung beenden
Bei aktiven Zielen öffnest du über das Bildschirmsymbol neben dem Tokenverbrauch im Composer die Vorschau. Wechsle zwischen Zielen oder klicke auf den Titel, um zur App oder zum Tab zurückzukehren. Das Schließen der Vorschau beendet keine Steuerung. End Control beendet das betreffende Ziel; das Stoppen der Unterhaltung unterbricht die aktuelle Ausführung. Bereits ausgeführte Aktionen werden nicht rückgängig gemacht. Greifst du in der App ein, pausieren weitere automatische Eingaben, bis der Eingriffsschutz eine Fortsetzung nach erneuter Beobachtung zulässt.
Änderungen beobachten
Ab Orylo 0.1.9 kannst du eine App oder einen Tab beobachten lassen und bei relevanten Änderungen die Unterhaltung fortsetzen. Gib Ziel, Bedingung und nächsten Schritt an. Im Composer kannst du Aufgaben ansehen, Ziele öffnen und Aufgaben einzeln stoppen. Das Schließen der Vorschau beendet die Beobachtung nicht. Aufgaben überstehen keinen Neustart von Orylo; ausgeblendete oder minimierte Fenster sind möglicherweise nicht visuell beobachtbar.
Klare, begrenzte Anfragen
„Lies diesen Entwurf in Notizen und schlage drei klarere Überschriften vor. Bearbeite ihn noch nicht.“ Oder: „Beobachte diesen Chrome-Tab und sag mir, wenn der Export fertig ist. Lade nichts herunter und sende nichts ab.“ Dies sind Anfragebeispiele, keine Zusage für jede App oder Webseite.
Datenschutz und Fehlerbehebung
Der Assistent kann Oberflächentext, angeforderte Screenshots oder Beobachtungsbilder erhalten. Dein eingerichteter Agent oder Modellanbieter verarbeitet diese Daten; vollständig lokale KI-Verarbeitung ist damit nicht zugesichert. Diese Anfragen laufen nicht über Orylo Backend. Fehlen Werkzeuge, prüfe Zuweisung und Aktivierung. Bei Zugriffsproblemen prüfe App-Freigabe, macOS-Rechte und Chrome-Verbindung. Prüfe vor einem erneuten Versuch mögliche Teiländerungen. Entfernen der MCP-Zuweisung widerruft den Zugriff über Orylo; macOS-Rechte verwaltest du separat.