Android-Display

Erfasst und untersucht den Bildschirm eines verbundenen Android-Geräts oder Emulators.

Nutzung

android screen [-h]

Optionen

  • -h,--help – Zeigt die Hilfemeldung für den angegebenen Befehl an.

android-Optionen:

  • --sdk=PARAM: Pfad zum Android SDK.
  • -v,--verbose: Aktiviert die ausführliche Ausgabe zur Fehlerbehebung.
  • -V,--version – Gibt Versionsinformationen aus und beendet den Vorgang.

Unterbefehle

  • capture: Gibt den Gerätebildschirm als PNG aus.
  • resolve: Richtet sich visuell auf UI-Elemente aus. Ersetzt die Koordinaten des Begrenzungsrahmens aus einem mit Anmerkungen versehenen Screenshot in einem String und ersetzt alle Vorkommen von #N durch die Mittelpunktkoordinaten des Begrenzungsrahmens mit der Bezeichnung N.

Beschreibung

Mit dem Befehlssatz android screen werden Screenshots von einem verbundenen Android-Gerät oder Emulator aufgenommen und Computer-Vision-Anmerkungen bereitgestellt, damit KI-Agents und ‑Scripts UI-Elemente visuell anvisieren können.

Visuelles Targeting auf UI-Elemente

Hier ist die Befehlsfolge für das visuelle Ausrichten auf UI-Elemente:

  1. Führen Sie android screen capture --annotate --output=ui.png aus, um den Bildschirm des aktiven Geräts mit nummerierten Begrenzungsrahmen um erkannte UI-Elemente zu erfassen.
  2. Sehen Sie sich ui.png an, um die Labelnummer (#N) des UI-Elements zu ermitteln, mit dem Sie interagieren möchten.
  3. Führen Sie android screen resolve --screenshot=ui.png --string="input tap #N" aus, um #N durch die genauen (x, y)-Mittelpunktkoordinaten dieses umgebenden Rechtecks zu ersetzen.