Steuerung des Computers durch KI (Computer Use)
Eine Technologie von Anthropic (vorgestellt in den Modellen Claude 3.5 Sonnet), die es neuronalen Netzen ermöglicht, das Betriebssystem wie ein Mensch zu steuern: Bildschirm-Screenshots erstellen, Fensterkoordinaten analysieren, den Mauszeiger bewegen, auf Schaltflächen klicken und Text eingeben – ohne Verwendung spezieller APIs.
1. Konzeptüberblick und Zweck
Jahrzehntelang erforderte die Automatisierung von Computeraktionen komplexe Programmierung: Ingenieure schrieben Skripte, verbanden sich mit internen Datenbanken oder konfigurierten sperrige Robotic Process Automation (RPA)-Systeme.
Ende 2024 präsentierte Anthropic etwas grundsätzlich Neues – den Computer Use-Modus:
- Sie schreiben keine Skripte und konfigurieren keine API.
- Sie starten eine virtuelle Maschine mit Browser, Taschenrechner oder Texteditor.
- Sie geben Claude einen einfachen Befehl: „Öffne meinen Kalender, finde einen freien Slot am Dienstagnachmittag, öffne ein Google Sheet und trage dort den Arzttermin ein.“
- Die KI bewegt selbstständig die Maus über den Bildschirm, klickt auf Fenster und tippt Zeichen über die Tastatur ein.
Aus praktischer Sicht ist dies ein lebendiger digitaler Praktikant, der neben Ihrem Computer sitzt und jede Routineaufgabe auf dem Bildschirm ausführt.
2. Wie Claude mit der grafischen Benutzeroberfläche interagiert
┌─────────────────────────────────────────────────────────────┐
│ ЦИКЛ РОБОТИ ANTHROPIC COMPUTER USE │
├─────────────────────────────────────────────────────────────┤
│ 1. СКРІНШОТ ЕКРАНА: │
│ Claude робить знімок робочого столу розміром 1920x1080 │
├─────────────────────────────────────────────────────────────┤
│ 2. ВІЗУАЛЬНИЙ АНАЛІЗ (VLM): │
│ «Бачу вікно Excel. Кнопка 'Зберегти' знаходиться │
│ за координатами X: 140, Y: 85» │
├─────────────────────────────────────────────────────────────┤
│ 3. ВІДПРАВКА КОМАНДИ МИШЦІ: │
│ `action: "mouse_move", coordinate: [140, 85]` │
│ `action: "left_click"` │
├─────────────────────────────────────────────────────────────┤
│ 4. ВВЕДЕННЯ ТЕКСТУ: │
│ `action: "type", text: "Звіт_Травень_2026.xlsx"` │
└─────────────────────────────────────────────────────────────┘
3. Welche Aufgaben Computer Use bereits heute löst
- Testen von Anwendungen und Websites: Der Agent besucht Ihre neue Website, prüft das Registrierungsformular, legt Artikel in den Warenkorb und meldet zurück, ob die Zahlung funktioniert.
- Datenmigration zwischen inkompatiblen Systemen: Kopieren von Informationen aus einer alten Buchhaltungssoftware von 2005 in eine moderne Web-Oberfläche.
- Dateiverwaltung: Suchen aller Belegfotos auf dem Desktop und Verschieben in den Ordner „Buchhaltung“.
4. Praktisches Fazit
Computer Use hat die Ära der universellen Automatisierung jeglicher Software weltweit eingeleitet. Jede Anwendung, die ein Mensch über Monitor, Maus und Tastatur bedienen kann, steht nun automatisch für die Steuerung durch künstliche Intelligenz zur Verfügung.
FAQ: Steuerung des Computers durch KI (Computer Use)
Verwandte Begriffe
Claude Artifacts (Interaktive Live-Anwendungen im Chat)
Eine revolutionäre Funktion der Claude-Schnittstelle von Anthropic. Generierter Code, Schemata, Diagramme und interaktive React-Anwendungen werden in einem separaten Fenster auf der rechten Seite angezeigt, sofort gerendert und können ohne Installation einer Entwicklungsumgebung genutzt werden.
Browserbasierte autonome Agenten (Browser Use / Web Agents)
Technologie zur autonomen Steuerung von Webbrowsern (Browser Use, Playwright AI, Puppeteer). Der Agent öffnet Websites eigenständig, interagiert mit Elementen des DOM-Baums, scrollt durch Seiten, extrahiert dynamische Daten und führt mehrstufige Aufgaben ohne offizielle APIs aus.
KI-Agenten (Autonome Agenten)
Ein autonomes System auf Basis eines großen Sprachmodells, das nicht nur auf Nachrichten antwortet, sondern eigenständig eine Abfolge von Aktionen plant, externe Tools (Browser, Terminal, Datenbanken) nutzt und komplexe Aufgaben ohne ständige menschliche Aufsicht ausführt.