Platforma sterowania komputerem z Androidem umożliwia wstępnie załadowanym przez producenta OEM asystentom AI automatyzację zadań w wybranych aplikacjach zainstalowanych na urządzeniu („aplikacje docelowe”). Ten przewodnik zawiera omówienie platformy sterowania komputerem oraz kwestii technicznych dotyczących aplikacji docelowych i aplikacji asystentów AI.
Przegląd funkcji sterowania komputerem z Androidem
Funkcje sterowania komputerem na Androidzie umożliwiają wstępnie załadowanej przez producenta aplikacji asystenta uruchamianie lokalnie zainstalowanych aplikacji docelowych i interakcję z nimi w kontrolowanym środowisku.
Gdy platforma Computer Control po raz pierwszy próbuje wejść w interakcję z aplikacją docelową, system automatycznie wyświetla okno z prośbą o pozwolenie. Po uzyskaniu uprawnień aplikacja asystenta może wykonywać wieloetapowe zadania w aplikacji docelowej, co pozwala jej realizować prośby użytkownika za pomocą tej aplikacji.
Przykłady użycia
Aby zautomatyzować zadania w zestawie docelowych aplikacji zainstalowanych na urządzeniu, asystent wstępnie załadowany przez producenta OEM może iteracyjnie przechwytywać zrzuty ekranu tych aplikacji, podejmować inteligentne decyzje w celu wywnioskowania działań i stosować działania w celu sterowania interfejsem aplikacji. Interakcje z aplikacjami docelowymi są oparte na ich dotychczasowych danych lokalnych i kontekście.
Aplikacja asystenta może być zaprojektowana tak, aby wykonywać wieloetapowe zadania w imieniu użytkowników. Przykłady zastosowań takich aplikacji:
- Zamawianie jedzenia: „Zamów małą herbatę z odbiorem w mojej ulubionej kawiarni”.
- Wspólne przejazdy: „Zarezerwuj przejazd na lotnisko”.
- Dostawa artykułów spożywczych: „Zamów ponownie artykuły spożywcze, które kupiłem(-am) w zeszłym tygodniu”.
Jak działa sterowanie komputerem
Platforma Computer Control umożliwia wstępnie załadowanym asystentom OEM uruchamianie docelowych aplikacji na bezpiecznym wirtualnym wyświetlaczu w tle i obsługiwanie ich.
Typowy przepływ wygląda tak:
- Prośba o sesję: aplikacja asystująca musi mieć uprawnienie privileged
ACCESS_COMPUTER_CONTROL. Aplikacja może poprosić o sesję sterowania komputerem w przypadku maksymalnie 6 aplikacji docelowych, które będą wykonywane kolejno. System umożliwia prowadzenie tylko 1 aktywnej sesji w danym momencie. - Uzyskiwanie zgody użytkownika: gdy aplikacja asystenta prosi o sesję, platforma niejawnie wywołuje okno systemowe. W tym oknie dialogowym użytkownik jest proszony o zezwolenie na automatyzację wybranych aplikacji przez asystenta.
- Automatyzacja: jeśli użytkownik wyrazi zgodę, system uruchomi docelowe aplikacje na urządzeniu wirtualnym, podobnie jak w przypadku przesyłania. Aplikacja pomocnicza używa sesji do uruchamiania aplikacji docelowej, przechwytywania treści ekranu i symulowania zdarzeń danych wejściowych użytkownika, takich jak kliknięcia, przesunięcia i wpisywanie tekstu, aby spełnić prośbę użytkownika.
- Przekazanie kontroli: asystent może przekazać kontrolę użytkownikowi, aby ten mógł ręcznie interweniować, lub pozwolić użytkownikowi ręcznie poprosić o przejęcie kontroli. Jest to przydatne na przykład w przypadku potwierdzenia transakcji lub treści, które wymagają potwierdzenia odbioru.
Stawanie się aplikacją docelową dla funkcji sterowania komputerem
Aby zintegrować aplikację docelową z automatyzacją zadań asystenta za pomocą platformy Computer Control, nie musisz wprowadzać żadnych dodatkowych zmian. Jeśli użytkownik przyznał uprawnienia, aplikacja asystująca określa sposób poruszania się po interfejsie aplikacji docelowej, analizując zrzuty ekranu. Aplikacja docelowa powinna być zgodna z dotychczasowymi sprawdzonymi metodami, takimi jak projektowanie adaptacyjne i zarządzanie cyklem życia.
Asystent AI może ograniczyć zestaw aplikacji docelowych, które automatyzuje.
Informacje o tworzeniu aplikacji asystenta AI
Wstępnie załadowana przez producenta aplikacja z asystentem AI może być zintegrowana z funkcją sterowania komputerem. Integracja będzie przebiegać zgodnie z procesem opisanym w sekcji „Jak działa sterowanie komputerem”.