Google Assistant für Android

Google Assistant ermöglicht die Sprachsteuerung von Android-Apps. Mit Assistant können Nutzer unter anderem Apps starten, Aufgaben erledigen und auf Inhalte zugreifen, indem sie per Sprachbefehl z. B. „Hey Google, starte einen Lauf in der Beispiel-App“ sagen.

Als Android-Entwickler können Sie das Entwicklungs-Framework und die Testtools von Assistant verwenden, um auf Android-Geräten wie Mobilgeräten, Autos und Wearables ganz einfach eine umfassende Sprachsteuerung über Ihre Apps zu ermöglichen.

App Actions

Mit den App-Aktionen von Assistant können Nutzer Android-Apps per Sprachbefehl starten und steuern.





App-Aktionen ermöglichen eine umfassendere Sprachsteuerung, sodass Nutzer Ihre Apps starten und Aufgaben wie die folgenden ausführen können:

  • Funktionen von Assistant starten: Verbinden Sie die Funktionen Ihrer App mit Nutzerabfragen, die vordefinierten semantischen Mustern oder integrierten Intents entsprechen.
  • App-Informationen auf Google-Oberflächen anzeigen: Stellen Sie Android-Widgets bereit, die Assistant anzeigen können, mit Inline-Antworten, einfachen Bestätigungen und kurzen Interaktionen für Nutzer, ohne den Kontext zu verändern.
  • Sprachverknüpfungen von Assistant vorschlagen: Verwenden Sie Assistant, um proaktiv Aufgaben im richtigen Kontext vorzuschlagen, damit Nutzer sie entdecken oder noch einmal wiedergeben können.

App Actions verwenden integrierte Intents (BIIs), um diese und Dutzende weitere Anwendungsfälle in beliebten Aufgabenkategorien zu ermöglichen. Weitere Informationen zur Unterstützung von BIIs in Ihren Anwendungen finden Sie in der Übersicht zu App-Aktionen auf dieser Seite.

Entwicklung für mehrere Geräte

Mit App Actions können Sie eine Sprachsteuerung für Geräteoberflächen außerhalb von Mobilgeräten bereitstellen. Mit für die Auto-Anwendung optimierten BIIs können beispielsweise die folgenden Aufgaben per Sprachbefehl ausgeführt werden:

App Actions – Übersicht

Mit App Actions können Sie Nutzern eine bessere Sprachsteuerung Ihrer Apps ermöglichen, indem Sie ihnen die Möglichkeit geben, bestimmte Aufgaben in Ihrer App per Sprachbefehl auszuführen. Wenn ein Nutzer Ihre App installiert hat, kann er einfach seine Absicht angeben, indem er Ihren App-Namen enthält, z. B. „Hey Google, bestell in der Beispiel-App eine Pizza.“ App Actions unterstützt BIIs, die die gängigen Formen von Aufgaben modellieren, die Nutzer erledigen möchten, oder Informationen, die sie suchen, z. B.:

  • Essen bestellen, Fahrten buchen und andere kategoriespezifische Aktionen.
  • Eine Funktion deiner App öffnen
  • Abfragen von Produkten oder Inhalten über die In-App-Suche

Mit App Actions kann Assistant Nutzern basierend auf dem Kontext des Nutzers proaktiv Ihre Sprachfunktionen als Verknüpfungen vorschlagen. Mit dieser Funktion können Nutzer Ihre App-Aktionen ganz einfach finden und wiederholen. Sie können diese Verknüpfungen auch in Ihrer App mit dem In-App Promo SDK für App Actions vorschlagen.

Um die Unterstützung für App-Aktionen zu aktivieren, deklarieren Sie <capability>-Tags in shortcuts.xml. Funktionen informieren Google darüber, wie auf Ihre In-App-Funktionen mithilfe von BII zugegriffen werden kann, und ermöglichen die Sprachunterstützung für Ihre Funktionen. Assistant erfüllt Nutzer-Intents, indem er deine App bei den angegebenen Inhalten oder Aktionen startet. Für einige Anwendungsfälle kannst du ein Android-Widget angeben, das in Assistant angezeigt werden soll, um die Nutzeranfrage auszuführen.

App-Aktionen werden unter Android 5 (API-Level 21) und höher unterstützt. Nutzer können nur auf Android-Smartphones auf App Actions zugreifen. Assistant unter Android Go unterstützt keine App Actions.

So funktionieren App-Aktionen

Mit App Actions werden Ihre In-App-Funktionen auf Assistant erweitert, sodass Nutzer per Sprachbefehl auf die Funktionen Ihrer App zugreifen können. Wenn ein Nutzer eine App-Aktion aufruft, gleicht Assistant die Abfrage mit einer BII ab, die in Ihrer shortcuts.xml-Ressource deklariert ist, und startet Ihre App auf dem angeforderten Bildschirm oder zeigt ein Android-Widget an.

Sie deklarieren BIIs in Ihrer App mithilfe von Android-Funktionselementen. Wenn du deine App über die Google Play Console hochlädst, registriert Google die in der App deklarierten Funktionen und stellt sie Nutzern über Assistant zur Verfügung.

Sie haben beispielsweise die Möglichkeit, in Ihrer App Essen zu bestellen. Wenn ein Nutzer sagt „Hey Google, bestell eine Pizza über die Beispiel-App“, werden die folgenden Schritte ausgeführt:

  • Assistant führt für die Abfrage eine Analyse in natürlicher Sprache durch, wobei die Semantik der Anfrage dem vordefinierten Muster eines BII entspricht. In diesem Fall stimmt das BII von actions.intent.ORDER_MENU_ITEM mit der Abfrage überein.
  • Assistant prüft, ob die BII bereits für Ihre App registriert wurde, und ermittelt anhand dieser Konfiguration, wie sie gestartet wird.
  • Assistant generiert mithilfe von Informationen, die du in der <capability> bereitstellst, einen Android-Intent, um das In-App-Ziel der Anfrage zu starten. Assistant extrahiert die Parameter der Abfrage und übergibt sie als Extras in einem generierten Android-Intent.
  • Assistant führt die Nutzeranfrage durch Starten des generierten Android-Intents aus. Du konfigurierst intent so, dass ein Bildschirm in deiner App oder ein Widget in Assistant angezeigt wird.
Wenn ein Nutzer eine Anfrage an Google Assistant sendet, antwortet Assistant mit dem Starten eines App-Ziels für den Nutzer.
Abbildung 1. Beispiel für einen Nutzerabfrageablauf in App Actions

Nachdem ein Nutzer eine Aufgabe abgeschlossen hat, können Sie mithilfe der Google Shortcuts Integration Library eine dynamische Verknüpfung der Aktion und ihrer Parameter an Google senden. Assistant kann dem Nutzer dann die Verknüpfung zu kontextrelevanten Zeiten vorschlagen.

Wenn du diese Mediathek verwendest, können deine Verknüpfungen auf Google-Oberflächen wie Assistant gefunden und wiedergegeben werden. Du kannst beispielsweise für jedes Ziel, das ein Nutzer in deiner Mitfahrdienst-App anfordert, eine Verknüpfung an Google senden, damit es später schnell noch einmal wiedergegeben werden kann.

App Actions erstellen

App-Aktionen bauen auf vorhandenen Funktionen in Ihrer Android-App auf. Die Vorgehensweise für jede von Ihnen implementierte App-Aktion ist ähnlich. App Actions leitet Nutzer mithilfe von capability-Elementen, die Sie in shortcuts.xml angeben, direkt zu bestimmten Inhalten oder Funktionen in Ihrer App weiter.

Wenn Sie eine App-Aktion erstellen, müssen Sie zuerst die Aktivität identifizieren, auf die Nutzer über Assistant zugreifen können sollen. Suchen Sie dann anhand dieser Informationen nach der am besten passenden BII aus der BII-Referenz für App-Aktionen.

BIIs modellieren einige der gängigen Arten, wie Nutzer Aufgaben, die sie ausführen möchten, mit einer App oder nach Informationen ausdrücken, die sie suchen. BIIs gibt es beispielsweise für Aktionen wie Essen bestellen, eine Fahrt buchen und den Kontostand überprüfen. BIIs sind der beste Ausgangspunkt für den Einstieg in App Actions, da sie gängige Varianten von Nutzerabfragen in mehreren Sprachen modellieren und Ihnen so die schnelle Aktivierung Ihrer Anwendung per Sprachbefehl erleichtern.

Nachdem Sie die zu implementierende In-App-Funktion und BII ermittelt haben, fügen Sie die Ressourcendatei shortcuts.xml in Ihrer Android-App hinzu oder aktualisieren Sie sie, die die BII den Funktionen Ihrer App zuordnet. App-Aktionen, die in shortcuts.xml als capability-Elemente definiert sind, beschreiben, wie jede BII ihre Auftragsausführung auflöst und welche Parameter extrahiert und Ihrer App zur Verfügung gestellt werden.

Ein erheblicher Teil der Entwicklung von App-Aktionen besteht darin, der definierten Auftragsausführung BII-Parameter zuzuordnen. Dieser Prozess erfolgt in der Regel in Form der Zuordnung der erwarteten Eingaben der In-App-Funktionen zu den semantischen Parametern einer BII.

Test-App-Aktionen

Bei der Entwicklung und beim Testen verwenden Sie das Google Assistant-Plug-in für Android Studio, um eine Vorschau Ihrer App-Aktionen in Assistant für Ihr Google-Konto zu erstellen. Mit diesem Plug-in können Sie testen, wie die App-Aktion verschiedene Parameter verarbeitet, bevor Sie sie zur Bereitstellung senden. Nachdem Sie im Testtool eine Vorschau Ihrer App-Aktion generiert haben, können Sie direkt im Testtool-Fenster eine App-Aktion auf Ihrem Testgerät auslösen.

Medien-Apps

Assistant bietet auch integrierte Funktionen, um Befehle von Medien-Apps zu verstehen, z. B. „Hey Google, spiel etwas von Beyoncé“ und unterstützt Mediensteuerelemente wie Pause, Überspringen, Vorspulen und Daumen nach oben.

Nächste Schritte

Folgen Sie dem Pfad zu App-Aktionen, um mit unserer Beispiel-Android-App eine App-Aktion zu erstellen. Fahren Sie dann mit unserem Leitfaden zum Erstellen von App-Aktionen für Ihre eigene App fort. Sie können auch diese zusätzlichen Ressourcen zum Erstellen von App-Aktionen nutzen: