Journeys w Android Studio

Funkcja Journeys w Android Studio wykorzystuje możliwości AI w zakresie rozpoznawania obrazu i wnioskowania, aby poruszać się po aplikacji i testować ją na podstawie instrukcji w języku naturalnym. Zestaw instrukcji, zwany ścieżką, jest przekształcany w działania, które AI wykonuje w aplikacji. Możesz też pisać i opisywać bardziej złożone asercje, które AI ocenia na podstawie tego, co widzi na urządzeniu.

Ponieważ Gemini wnioskuje, jakie działania należy wykonać, aby osiągnąć cele, ścieżki są bardziej odporne na subtelne zmiany w układzie lub działaniu aplikacji. Dzięki temu podczas testowania różnych wersji aplikacji i różnych konfiguracji urządzeń występuje mniej niestabilnych testów.

Możesz pisać i uruchamiać ścieżki bezpośrednio w Android Studio lub z wiersza poleceń na dowolnym lokalnym lub zdalnym urządzeniu z Androidem. IDE udostępnia nowy edytor do tworzenia ścieżek oraz wyniki z elementami rozszerzonymi, które pomagają lepiej zrozumieć rozumowanie Gemini i wykonanie ścieżki.

Pisanie ścieżki

Android Studio udostępnia szablon pliku i nowy edytor, który ułatwia tworzenie i edytowanie ścieżek. Ścieżki są pisane w składni XML, aby uporządkować opis i kroki ścieżki.

Aby utworzyć ścieżkę i rozpocząć jej edytowanie:

1. W panelu Projekt w Android Studio kliknij prawym przyciskiem myszy moduł aplikacji, dla którego chcesz napisać ścieżkę.
2. Wybierz Nowy > Test ścieżki.

3. W wyświetlonym oknie dialogowym podaj nazwę i opis ścieżki.

   

4. Kliknij Zakończ. Android Studio utworzy plik XML ścieżki o wybranej nazwie. Możesz użyć widoku Kod , aby bezpośrednio edytować kod XML, lub widoku Projekt , aby uprościć edycję.

5. Gdy wyświetlasz ścieżkę w widoku Projekt , użyj pola tekstowego, aby opisać każdy krok ścieżki. Każdy krok może zawierać opisowe działania, które chcesz, aby wykonał Gemini, lub asercje, które chcesz, aby ocenił Gemini.

6. Naciśnij Enter na klawiaturze, aby rozpocząć nowy krok w tej samej ścieżce. Możesz powtórzyć tę czynność w razie potrzeby dla każdego kroku ścieżki, którą chcesz zdefiniować.

Konfigurowanie wariantów kompilacji

Ścieżki są uruchamiane w przypadku określonych wariantów kompilacji aplikacji. Gdy po raz pierwszy utworzysz ścieżkę za pomocą kreatora, wygenerowany zestaw testów zostanie skonfigurowany do uruchamiania w przypadku wariantu kompilacji aktywnego w Android Studio.

Jeśli jednak później zmienisz aktywny wariant kompilacji w Android Studio (np. na inny wariant produktu, taki jak demoDebug) bez aktualizowania konfiguracji, uruchomienie ścieżki się nie powiedzie. Aby rozwiązać ten problem, musisz dodać nowy wariant do właściwości targetVariants w bloku testSuites pliku build.gradle.kts (lub build.gradle) na poziomie modułu.

Aby na przykład skonfigurować pakiet journeysTest dla wariantu demoDebug:

android {
    // ...
    testSuites {
        create("journeysTest") {
            // ...
            targetVariants += listOf("demoDebug")
        }
    }
}

Wskazówki dotyczące pisania ścieżek

Chociaż AI jest w stanie zrozumieć większość kroków napisanych w obsługiwanych językach, stosowanie się do tych wskazówek dotyczących pisania ścieżek może prowadzić do dokładniejszych i bardziej przewidywalnych wyników:

• Załóż, że aplikacja jest już na pierwszym planie: uruchomienie ścieżki automatycznie uruchamia aplikację. Kroki ścieżki powinny się rozpocząć po pełnym uruchomieniu aplikacji. Oznacza to, że nie musisz uwzględniać kroku „uruchom aplikację”.
• Używaj jednoznacznego języka: precyzyjność minimalizuje błędne interpretacje i zwiększa niezawodność.

• Uwzględnij kryteria sukcesu w ramach kroku: pomaga to Gemini lepiej zrozumieć Twoje intencje i wyjaśnia, kiedy działanie jest zakończone i można rozpocząć następne.

• Udoskonal ścieżkę: jeśli ścieżka nie działa zgodnie z oczekiwaniami, możesz wyświetlić wyniki i sprawdzić „Podjęte działanie” oraz odpowiednie „Uzasadnienie”, aby dowiedzieć się, dlaczego Gemini mogło nie wykonać kroków zgodnie z Twoimi oczekiwaniami. Wykorzystaj te informacje, aby dodać więcej szczegółów do instrukcji.
• Podziel ścieżkę na bardziej szczegółowe kroki: chociaż AI może interpretować kroki wieloetapowe, czasami bardziej szczegółowe kroki mogą zwiększyć dokładność i powtarzalność ścieżki.
  • „Błąd: nie udało się pomyślnie wykonać działania w maksymalnej dozwolonej liczbie prób”: jeśli wystąpi ten błąd, spróbuj podzielić nieudane kroki na 2 lub więcej mniejszych kroków. Ten błąd występuje, gdy AI nie może wykonać działania po maksymalnej liczbie interakcji z aplikacją.

Obsługiwane i nieobsługiwane funkcje

Oto omówienie obsługiwanych i nie w pełni obsługiwanych funkcji podczas pisania ścieżek. Poniższe listy nie są wyczerpujące.

W ramach ścieżek obsługiwane są te działania:

• Kliknięcie elementów interfejsu.
• Wpisywanie tekstu w polach tekstowych.
• Przesuwanie/przewijanie w określonym kierunku, aby poruszać się po interfejsie.

Te funkcje nie są obecnie w pełni obsługiwane lub mogą działać niespójnie:

• Gesty wielodotykowe (np. uszczypnięcie, aby powiększyć) – interakcje wymagające jednoczesnego dotykania ekranu w 2 lub więcej miejscach, np. uszczypnięcie, aby powiększyć lub pomniejszyć, albo przesunięcie 2 palcami.
• Długie naciśnięcie – naciśnięcie i przytrzymanie palca przez czas dłuższy niż standardowe kliknięcie.
• Dwukrotne kliknięcie – szybkie kliknięcie tego samego miejsca na ekranie 2 razy z rzędu.
• Obracanie/składanie ekranu – obsługa zmian orientacji urządzenia (np. między pionową a poziomą) lub stanu fizycznego urządzeń składanych (np. otwieranie lub zamykanie).
• Pamięć – zachowywanie i przywoływanie konkretnych informacji, kontekstu lub danych wprowadzonych przez użytkownika w poprzednich interakcjach lub krokach.
• Zliczanie – dokładne śledzenie ilości, częstotliwości lub postępu.
• Instrukcje warunkowe – wykonywanie działań na podstawie tego, czy spełnione są inne określone warunki.

Funkcje i możliwości są stale ulepszane. Zalecamy sprawdzenie tej strony później, aby dowiedzieć się więcej o dodatkowych funkcjach i możliwościach. Aby pomóc nam ulepszyć Journeys, podziel się swoją opinią.

Uruchamianie ścieżki

Ścieżkę możesz uruchomić na dowolnym dostępnym urządzeniu lokalnym lub zdalnym, podobnie jak każdy inny test instrumentowany. Android Studio generuje bogate wyniki, które pomagają zrozumieć wykonanie ścieżki.

Aby przetestować ścieżkę:

1. Na głównym pasku narzędzi wybierz urządzenie docelowe, tak jak w przypadku uruchamiania testu instrumentowanego.
2. Otwórz w edytorze plik XML ścieżki, którą chcesz przetestować.
3. W edytorze wykonaj jedną z tych czynności:
   1. Jeśli jesteś w widoku Projekt, kliknij Uruchom ścieżkę.
   2. Jeśli jesteś w widoku Kod, kliknij Uruchom „test” na marginesie obok miejsca, w którym w kodzie XML zdefiniowano nazwę ścieżki.

Android Studio utworzy konfigurację Test ścieżki i uruchomi ją na urządzeniu docelowym. Podczas wykonywania Android Studio kompiluje i wdraża aplikację oraz łączy się z Gemini, aby określić, jakie działania należy wykonać w każdym kroku ścieżki.

Uruchamianie ścieżek w przypadku dowolnej wstępnie zainstalowanej aplikacji

Ścieżkę możesz uruchomić w przypadku wstępnie zainstalowanej aplikacji na urządzeniu testowym. Jest to przydatne, jeśli chcesz przetestować wersję produkcyjną aplikacji lub jeśli nie masz jeszcze zaktualizowanej aplikacji do wtyczki Androida do obsługi Gradle w wersji 9.0.0 lub nowszej.

1. Otwórz lub utwórz nowy projekt zaktualizowany do wtyczki Androida do obsługi Gradle w wersji 9.0.0 lub nowszej.
2. Napisz ścieżkę.
3. Edytuj konfigurację uruchomienia dla ścieżki i dodaj te zmienne środowiskowe. Gdy spróbujesz uruchomić ścieżkę z Android Studio, konfiguracja uruchomienia zostanie utworzona automatycznie.
   • Ustaw JOURNEYS_CUSTOM_APP_ID na identyfikator pakietu aplikacji docelowej.
4. Uruchom edytowaną ścieżkę. Android Studio powinno wykonać kroki ścieżki w określonej aplikacji docelowej.

Uruchamianie ścieżki z wiersza poleceń

Aby uruchamiać ścieżki z wiersza poleceń, użyj interfejsu wiersza poleceń Androida.

Wyświetlanie wyników

Gdy Android Studio zakończy testowanie ścieżki, automatycznie pojawi się panel wyników testu.

W porównaniu z innymi testami instrumentowanymi, które możesz uruchamiać w Android Studio, istnieją pewne różnice w sposobie wyświetlania wyników ścieżek.

• Panel Testy dzieli ścieżkę na poszczególne kroki. Możesz kliknąć każdy krok, aby dowiedzieć się więcej o tym, jak Gemini go wykonało.
• Panel Wyniki zawiera szczegółowe informacje, które pomagają zrozumieć, jak Gemini interpretowało i wnioskowało na temat ścieżki oraz jak ją wykonało.
  • Zrzuty ekranu wysłane do Gemini są wyświetlane jako pomoc wizualna przy każdym działaniu w kroku.
  • Obok każdego zrzutu ekranu opisane jest każde podjęte działanie oraz uzasadnienie Gemini.
  • Każde działanie w kroku jest numerowane.

Znane problemy

• Problemy z pamięcią podręczną konfiguracji Gradle: gdy pamięć podręczna konfiguracji Gradle jest włączona, ścieżki mogą działać nieoczekiwanie. Może to na przykład spowodować uruchomienie nieprawidłowego pliku ścieżki, gdy dostępnych jest wiele plików ścieżek. Może to też powodować problemy z uwierzytelnianiem.

  Aby obejść ten problem, możesz wyłączyć pamięć podręczną konfiguracji, ustawiając org.gradle.configuration-cache=false w pliku gradle.properties projektu.

• Podczas testowania ścieżki domyślnie przyznawane są wszystkie uprawnienia aplikacji.

• Podczas testowania ścieżki na urządzeniu z Androidem 15 (poziom API 35) może się pojawić ostrzeżenie na urządzeniu, które brzmi "Zablokowano niebezpieczną aplikację" w przypadku "AndroidX Crawler". Aby pominąć to sprawdzenie, możesz kliknąć Zainstaluj mimo to. Możesz też skonfigurować opcje deweloperskie na urządzeniu i wyłączyć opcję „Weryfikuj aplikacje przez USB”.