Asystent Google na Androida

Asystent Google umożliwia sterowanie aplikacjami na Androida za pomocą głosu. Za pomocą Asystenta użytkownicy mogą uruchamiać aplikacje, wykonywać zadania, uzyskiwać dostęp do treści i nie tylko, mówiąc np. „OK Google, rozpocznij bieg w aplikacji Example App”.

Jako deweloper aplikacji na Androida możesz korzystać z platformy deweloperskiej Asystenta i narzędzi do testowania, aby łatwo włączyć zaawansowane sterowanie głosowe w swoich aplikacjach na urządzeniach z Androidem, takich jak telefony komórkowe, samochody i urządzenia do noszenia.

Akcje w aplikacji

Działania w aplikacjach Asystenta umożliwiają użytkownikom uruchamianie aplikacji na Androida i sterowanie nimi za pomocą głosu.





Działania w aplikacji umożliwiają bardziej zaawansowane sterowanie głosowe, dzięki czemu użytkownicy mogą uruchamiać aplikacje i wykonywać takie zadania jak:

  • Uruchamianie funkcji z poziomu Asystenta: połącz funkcje aplikacji z zapytaniami użytkowników, które pasują do predefiniowanych wzorców semantycznych lub wbudowanych intencji.
  • Wyświetlanie informacji o aplikacji w usługach Google: udostępnij widżety na Androida, które Asystent będzie mógł wyświetlać, aby oferować użytkownikom odpowiedzi w tekście, proste potwierdzenia i krótkie interakcje bez zmiany kontekstu.
  • Sugerowanie skrótów głosowych z Asystenta: Asystent może aktywnie sugerować zadania w odpowiednim kontekście, aby użytkownicy mogli je odkrywać lub odtwarzać.

Działania w aplikacji korzystają z wbudowanych intencji (BII), aby umożliwić te i dziesiątki innych zastosowań w popularnych kategoriach zadań. Szczegółowe informacje o obsłudze wbudowanych intencji w aplikacjach znajdziesz w sekcji Działania w aplikacji na tej stronie.

Tworzenie aplikacji na wiele urządzeń

Za pomocą działań w aplikacji możesz sterować urządzeniami głosowo, nie tylko na urządzeniach mobilnych. Na przykład dzięki interfejsom BII zoptymalizowanym pod kątem automatycznych przypadków użycia kierowcy mogą wykonywać te czynności za pomocą głosu:

Omówienie działań w aplikacji

Dzięki działaniom w aplikacji możesz zapewnić użytkownikom większe możliwości sterowania aplikacjami za pomocą głosu, umożliwiając im wykonywanie określonych zadań w aplikacji za pomocą poleceń głosowych. Jeśli użytkownik ma zainstalowaną Twoją aplikację, może po prostu wyrazić swoją intencję, używając frazy zawierającej nazwę aplikacji, np. „OK Google, rozpocznij ćwiczenie w aplikacji Example App”. Działania w aplikacji obsługują wbudowane intencje, które odzwierciedlają typowe sposoby, w jakie użytkownicy wyrażają zadania, które chcą wykonać, lub informacje, których szukają, np.:

  • rozpoczynać ćwiczenia, wysyłać wiadomości i wykonywać inne działania specyficzne dla danej kategorii.
  • otwieranie funkcji aplikacji;
  • Wyszukiwanie produktów lub treści za pomocą wyszukiwarki w aplikacji.

Dzięki działaniom w aplikacji Asystent może proaktywnie sugerować użytkownikom Twoje funkcje głosowe jako skróty, w zależności od kontekstu. Ta funkcja umożliwia użytkownikom łatwe odkrywanie i odtwarzanie działań w aplikacji. Możesz też sugerować te skróty w aplikacji za pomocą pakietu SDK do promocji w aplikacji.

Aby włączyć obsługę działań w aplikacji, zadeklaruj tagi <capability> w pliku shortcuts.xml. Możliwości informują Google, jak można semantycznie uzyskać dostęp do funkcji aplikacji za pomocą interfejsu BII, i umożliwiają obsługę głosową funkcji. Asystent realizuje intencje użytkowników, uruchamiając aplikację w celu wyświetlenia określonych treści lub wykonania określonego działania. W niektórych przypadkach możesz określić widżet Androida, który ma się wyświetlać w Asystencie, aby odpowiedzieć na zapytanie użytkownika.

Działania w aplikacji są obsługiwane na Androidzie 5 (poziom interfejsu API 21) i nowszym. Użytkownicy mogą korzystać z działań w aplikacji tylko na telefonach z Androidem. Asystent na Androidzie Go nie obsługuje działań w aplikacjach.

Jak działają działania w aplikacji

Działania w aplikacji rozszerzają funkcje aplikacji na Asystenta, dzięki czemu użytkownicy mogą uzyskiwać dostęp do funkcji aplikacji za pomocą głosu. Gdy użytkownik wywoła działanie w aplikacji, Asystent dopasuje zapytanie do wbudowanego zamiaru (BII) zadeklarowanego w zasobie shortcuts.xml, uruchamiając aplikację na żądanym ekranie lub wyświetlając widżet Androida.

Interfejsy BII deklaruje się w aplikacji za pomocą elementów funkcji Androida. Gdy prześlesz aplikację za pomocą Konsoli Google Play, Google zarejestruje możliwości zadeklarowane w aplikacji i udostępni je użytkownikom w Asystencie.

Możesz na przykład udostępnić w aplikacji funkcję rozpoczynania ćwiczeń. Gdy użytkownik powie „OK Google, rozpocznij bieg w aplikacji Przykład”, wykonane zostaną te czynności:

  • Asystent przeprowadza analizę zapytania w języku naturalnym, dopasowując semantykę żądania do predefiniowanego wzorca BII. W tym przypadku actions.intent.START_EXERCISE BII pasuje do zapytania.
  • Asystent sprawdza, czy w przypadku Twojej aplikacji zarejestrowano wcześniej wbudowaną intencję, i na podstawie tej konfiguracji określa, jak ją uruchomić.
  • Asystent generuje intencję Androida, aby uruchomić w aplikacji miejsce docelowe żądania, korzystając z informacji podanych w <capability>. Asystent wyodrębnia parametry zapytania i przekazuje je jako dodatki w wygenerowanej intencji Androida.
  • Asystent spełnia prośbę użytkownika, uruchamiając wygenerowany zamiar Androida. Możesz skonfigurować intent tak, aby uruchamiać ekran w aplikacji lub wyświetlać widżet w Asystencie.
Gdy użytkownik zada pytanie Asystentowi Google, Asystent odpowie, uruchamiając dla niego miejsce docelowe w aplikacji.
Rysunek 1. Przykładowy przepływ zapytania użytkownika dotyczącego działań w aplikacji.

Gdy użytkownik wykona zadanie, użyj biblioteki integracji skrótów Google, aby przesłać do Google dynamiczny skrót działania i jego parametry. Dzięki temu Asystent będzie mógł sugerować użytkownikowi skrót w odpowiednich kontekstowo momentach.

Korzystanie z tej biblioteki sprawia, że skróty mogą być wykrywane i odtwarzane w usługach Google, takich jak Asystent. Możesz na przykład przesłać do Google skrót dla każdego miejsca docelowego, o które użytkownik poprosi w aplikacji do wspólnych przejazdów, aby później szybko odtworzyć go jako sugestię skrótu.

Tworzenie działań w aplikacji

Działania w aplikacji korzystają z dotychczasowych funkcji aplikacji na Androida. Proces jest podobny w przypadku każdego działania w aplikacji, które wdrażasz. Działania w aplikacji kierują użytkowników bezpośrednio do określonych treści lub funkcji w aplikacji za pomocą elementów capability, które określasz w shortcuts.xml.

Pierwszym krokiem podczas tworzenia działania w aplikacji jest określenie aktywności, do której chcesz umożliwić użytkownikom dostęp z Asystenta. Następnie na podstawie tych informacji znajdź najbliżej pasujący BII w dokumentacji BII działań w aplikacji.

BII modelują niektóre z najczęstszych sposobów, w jakie użytkownicy wyrażają zadania, które chcą wykonać za pomocą aplikacji, lub informacje, których szukają. Na przykład wbudowane intencje istnieją w przypadku działań takich jak rozpoczęcie ćwiczenia, wysłanie wiadomości i wyszukiwanie w aplikacji. Są one najlepszym sposobem na rozpoczęcie korzystania z działań w aplikacji, ponieważ modelują typowe warianty zapytań użytkowników w wielu językach, co ułatwia szybkie włączenie obsługi głosowej w aplikacji.

Po określeniu funkcji w aplikacji i BII do wdrożenia dodaj lub zaktualizuj plik zasobów shortcuts.xml w aplikacji na Androida, który mapuje BII na funkcje aplikacji. Działania w aplikacji zdefiniowane jako elementy capabilityshortcuts.xml opisują, jak każde BII realizuje swoje zadanie, a także które parametry są wyodrębniane i przekazywane do aplikacji.

Znaczna część procesu tworzenia działań w aplikacji polega na mapowaniu parametrów BII na zdefiniowaną realizację. Proces ten zwykle polega na mapowaniu oczekiwanych danych wejściowych funkcji w aplikacji na parametry semantyczne wbudowanego działania.

Testowanie działań w aplikacji

Podczas tworzenia i testowania używasz wtyczki Asystenta Google do Androida Studio, aby utworzyć podgląd akcji w aplikacji w Asystencie na potrzeby Twojego konta Google. Ta wtyczka pomaga przetestować, jak działanie w aplikacji obsługuje różne parametry, zanim prześlesz je do wdrożenia. Po wygenerowaniu podglądu działania w narzędziu do testowania możesz wywołać działanie w aplikacji na urządzeniu testowym bezpośrednio z okna narzędzia do testowania.

Aplikacje multimedialne

Asystent ma też wbudowane funkcje, które pozwalają mu rozumieć polecenia dotyczące aplikacji multimedialnych, np. „OK Google, włącz coś Beyoncé”, oraz obsługuje sterowanie multimediami, np. pauza, przeskocz, przewiń do przodu i polub.

Dalsze kroki

Postępuj zgodnie z ścieżką działań w aplikacji, aby utworzyć działanie w aplikacji za pomocą naszej przykładowej aplikacji na Androida. Następnie zapoznaj się z naszym przewodnikiem po tworzeniu działań w aplikacji. Możesz też skorzystać z tych dodatkowych materiałów dotyczących tworzenia działań w aplikacji: