Google Assistant für Android

Mit Google Assistant lassen sich Android-Apps per Sprachbefehl steuern. Mit Assistant können Nutzer Apps starten, Aufgaben ausführen, auf Inhalte zugreifen und vieles mehr, indem sie z. B. „Hey Google, starte einen Lauf in der Beispiel-App“ sagen.

Als Android-Entwickler können Sie das Entwickler-Framework und die Testtools von Assistant verwenden, um die Sprachsteuerung Ihrer Apps auf Android-Geräten wie Smartphones, Autos und Wearables zu ermöglichen.

App Actions

Mit App Actions für Assistant können Nutzer Android-Apps per Sprachbefehl starten und steuern.





App Actions ermöglichen eine umfassendere Sprachsteuerung. Nutzer können Ihre Apps starten und Aufgaben wie die folgenden ausführen:

  • Funktionen über Assistant starten: Verknüpfen Sie die Funktionen Ihrer App mit Nutzeranfragen, die vordefinierten semantischen Mustern oder integrierten Intents entsprechen.
  • App-Informationen auf Google-Plattformen anzeigen: Stellen Sie Android-Widgets für Assistant bereit, um Inline-Antworten, einfache Bestätigungen und kurze Interaktionen für Nutzer zu ermöglichen, ohne dass der Kontext geändert werden muss.
  • Sprachverknüpfungen über Assistant vorschlagen: Assistant kann Nutzern proaktiv Aufgaben im richtigen Kontext vorschlagen, damit sie sie entdecken oder wiederholen können.

App Actions verwenden integrierte Intents (Built-in Intents, BIIs), um diese und Dutzende weitere Anwendungsfälle in beliebten Aufgabenkategorien zu ermöglichen. Weitere Informationen zur Unterstützung von BIIs in Ihren Apps finden Sie auf dieser Seite unter App Actions.

Entwicklung für mehrere Geräte

Mit App Actions können Sie die Sprachsteuerung auf Geräteoberflächen außerhalb von Mobilgeräten ermöglichen. Mit BIIs, die für Auto-Anwendungsfälle optimiert sind, können Fahrer beispielsweise die folgenden Aufgaben per Sprachbefehl ausführen:

App Actions – Übersicht

Mit App Actions können Sie Nutzern eine umfassendere Sprachsteuerung Ihrer Apps bieten, indem Sie ihnen ermöglichen, bestimmte Aufgaben in Ihrer App per Sprachbefehl auszuführen. Wenn ein Nutzer Ihre App installiert hat, kann er seine Absicht einfach mit einem Satz äußern, der den Namen Ihrer App enthält, z. B. Hey Google, starte ein Training in der Beispiel-App. App Actions unterstützt BIIs, die die gängigen Arten modellieren, wie Nutzer Aufgaben ausdrücken, die sie erledigen möchten, oder Informationen, die sie suchen, z. B.:

  • Training starten, Nachrichten senden und andere kategoriespezifische Aktionen ausführen.
  • Öffnen einer Funktion Ihrer App.
  • Abfrage von Produkten oder Inhalten über die In-App-Suche

Mit App Actions kann Assistant Nutzern basierend auf dem jeweiligen Kontext proaktiv Sprachfunktionen als Verknüpfungen vorschlagen. Mit dieser Funktion können Nutzer Ihre App Actions ganz einfach entdecken und wiedergeben. Sie können diese Verknüpfungen auch in Ihrer App mit dem In-App Promo SDK für App Actions vorschlagen.

Sie aktivieren die Unterstützung für App Actions, indem Sie <capability>-Tags in shortcuts.xml deklarieren. Funktionen teilen Google mit, wie auf Ihre In-App-Funktionen semantisch über BIIs zugegriffen werden kann, und ermöglichen die Sprachunterstützung für Ihre Funktionen. Assistant erfüllt Nutzer-Intents, indem Ihre App mit den angegebenen Inhalten oder Aktionen gestartet wird. In einigen Anwendungsfällen können Sie ein Android-Widget angeben, das in Assistant angezeigt werden soll, um die Nutzeranfrage zu erfüllen.

App Actions werden ab Android 5 (API-Level 21) unterstützt. Nutzer können nur auf Android-Smartphones auf App Actions zugreifen. Assistant unter Android Go unterstützt keine App Actions.

So funktionieren App Actions

Mit App Actions können Sie die Funktionen Ihrer App auf Assistant ausweiten, sodass Nutzer per Spracheingabe auf die Funktionen Ihrer App zugreifen können. Wenn ein Nutzer eine App Action aufruft, ordnet Assistant die Anfrage einem BII zu, das in Ihrer shortcuts.xml-Ressource deklariert ist. Ihre App wird dann auf dem angeforderten Bildschirm gestartet oder ein Android-Widget wird angezeigt.

Sie deklarieren BIIs in Ihrer App mit Android-capability-Elementen. Wenn Sie Ihre App über die Google Play Console hochladen, registriert Google die in Ihrer App deklarierten Funktionen und stellt sie Nutzern für den Zugriff über Assistant zur Verfügung.

Sie könnten beispielsweise eine Funktion zum Starten eines Trainings in Ihrer App bereitstellen. Wenn ein Nutzer Hey Google, starte einen Lauf in der Beispiel-App sagt, passieren die folgenden Schritte:

  • Der Assistant führt eine Analyse der Anfrage in natürlicher Sprache durch und gleicht die Semantik der Anfrage mit dem vordefinierten Muster eines BII ab. In diesem Fall entspricht das actions.intent.START_EXERCISE-BII der Anfrage.
  • Assistant prüft, ob der BII bereits für Ihre App registriert wurde, und verwendet diese Konfiguration, um zu bestimmen, wie die App gestartet werden soll.
  • Assistant generiert einen Android-Intent, um das In-App-Ziel der Anfrage zu starten. Dazu werden die Informationen verwendet, die Sie in <capability> bereitstellen. Assistant extrahiert die Parameter der Anfrage und übergibt sie als Extras in einem generierten Android-Intent.
  • Assistant führt die Nutzeranfrage aus, indem der generierte Android-Intent gestartet wird. Sie konfigurieren intent so, dass ein Bildschirm in Ihrer App gestartet oder ein Widget in Assistant angezeigt wird.
Wenn ein Nutzer eine Anfrage an Google Assistant richtet, antwortet Assistant, indem er ein App-Ziel für den Nutzer startet.
Abbildung 1: Beispiel für den Ablauf einer Nutzeranfrage für App Actions.

Nachdem ein Nutzer eine Aufgabe abgeschlossen hat, verwenden Sie die Google Shortcuts Integration Library, um eine dynamische Verknüpfung der Aktion und ihrer Parameter an Google zu senden. So kann Assistant dem Nutzer die Verknüpfung zu kontextuell relevanten Zeiten vorschlagen.

Wenn Sie diese Bibliothek verwenden, können Ihre Verknüpfungen in Google-Produkten wie Assistant gefunden und wiedergegeben werden. So können Sie beispielsweise für jedes Ziel, das ein Nutzer in Ihrer Mitfahr-App anfordert, ein Shortcut an Google senden, damit es später als Shortcut-Vorschlag schnell wieder aufgerufen werden kann.

App Actions erstellen

App Actions basieren auf vorhandenen Funktionen in Ihrer Android-App. Der Prozess ist für jede App Action, die Sie implementieren, ähnlich. Mit App Actions werden Nutzer direkt zu bestimmten Inhalten oder Funktionen in Ihrer App weitergeleitet. Dazu werden capability-Elemente verwendet, die Sie in shortcuts.xml angeben.

Wenn Sie eine App Action erstellen, müssen Sie zuerst die Aktivität identifizieren, auf die Nutzer über Assistant zugreifen können sollen. Suchen Sie dann anhand dieser Informationen in der BII-Referenz für App Actions nach dem am besten passenden BII.

BIIs bilden einige der gängigen Möglichkeiten ab, wie Nutzer Aufgaben ausdrücken, die sie mit einer App erledigen möchten, oder Informationen, die sie suchen. Es gibt beispielsweise BIIs für Aktionen wie das Starten eines Trainings, das Senden einer Nachricht und die Suche in einer App. BIIs sind der beste Einstieg in App Actions, da sie gängige Varianten von Nutzeranfragen in mehreren Sprachen modellieren. So kannst du deine App schnell für die Sprachsteuerung optimieren.

Nachdem du die In‑App-Funktion und den zu implementierenden BII ermittelt hast, fügst du die shortcuts.xml-Ressourcendatei in deiner Android-App hinzu oder aktualisierst sie, um den BII deiner App-Funktion zuzuordnen. App Actions, die als capability-Elemente in shortcuts.xml definiert sind, beschreiben, wie die Ausführung der einzelnen BIIs erfolgt und welche Parameter extrahiert und an Ihre App übergeben werden.

Ein wichtiger Teil der Entwicklung von App Actions ist die Zuordnung von BII-Parametern zu Ihrer definierten Auftragsausführung. Dabei werden die erwarteten Eingaben Ihrer In-App-Funktion den semantischen Parametern eines BII zugeordnet.

App Actions testen

Während der Entwicklung und beim Testen verwenden Sie das Google Assistant-Plug‑in für Android Studio, um für Ihr Google-Konto eine Vorschau Ihrer App Actions in Assistant zu erstellen. Mit diesem Plug-in können Sie testen, wie Ihre App Action verschiedene Parameter verarbeitet, bevor Sie sie zur Bereitstellung einreichen. Nachdem Sie eine Vorschau Ihrer App Action im Testtool generiert haben, können Sie eine App Action auf Ihrem Testgerät direkt über das Testtool-Fenster auslösen.

Medien-Apps

Assistant bietet auch integrierte Funktionen zum Verarbeiten von Befehlen für Media-Apps, z. B. „Hey Google, spiel etwas von Beyoncé“, und unterstützt Mediensteuerungen wie Pause, Überspringen, Vorspulen und Gefällt mir.

Nächste Schritte

Folgen Sie dem App Actions-Pfad, um eine App Action mit unserer Android-Beispiel-App zu erstellen. Fahren Sie dann mit unserem Leitfaden zum Erstellen von App Actions für Ihre eigene App fort. Sie können auch diese zusätzlichen Ressourcen zum Erstellen von App Actions nutzen: