Assistant Google pour Android

L'Assistant Google permet de contrôler les applications Android par commande vocale. Grâce à l'Assistant, les utilisateurs peuvent lancer des applications, effectuer des tâches, accéder à des contenus et plus encore à l'aide de commandes vocales, par exemple en disant : "Hey Google, lance <nom de l'application>".

En tant que développeur Android, vous pouvez utiliser le framework de développement et les outils de test de l'Assistant pour permettre aux utilisateurs d'utiliser vos applications avec la voix sur les surfaces Android (appareils mobiles, voitures, accessoires connectés, etc.).

Actions dans les applications

Les actions dans les applications de l'Assistant permettent aux utilisateurs de lancer et de contrôler des applications Android par commande vocale.





Grâce aux actions dans les applications, les utilisateurs peuvent lancer vos applications et effectuer diverses tâches à l'aide de commandes vocales avancées :

  • Lancer des fonctionnalités à partir de l'Assistant : associez les fonctionnalités de votre application à des requêtes utilisateur qui correspondent à des modèles sémantiques prédéfinis (ou intents intégrés).
  • Afficher des informations de l'application sur les surfaces Google : fournissez des widgets Android pour que l'Assistant affiche des réponses intégrées, des confirmations simples et de brèves interactions avec les utilisateurs sans qu'ils aient à changer de page.
  • Suggérer des raccourcis vocaux à partir de l'Assistant : utilisez l'Assistant pour suggérer de manière proactive des tâches que les utilisateurs peuvent découvrir ou relancer, dans le contexte approprié.

Les actions dans les applications utilisent des intents intégrés pour activer ces fonctionnalités et des dizaines d'autres tâches courantes. Pour savoir comment prendre en charge les intents intégrés dans vos applications, consultez la section Actions dans les applications sur cette page.

Développement multi-appareil

Vous pouvez utiliser les actions dans les applications pour permettre aux utilisateurs d'utiliser des commandes vocales sur des surfaces autres que les appareils mobiles. Par exemple, avec les intents intégrés optimisés pour une utilisation en voiture, les conducteurs peuvent effectuer les tâches suivantes par commande vocale :

Présentation des actions dans les applications

Les actions dans les applications vous permettent d'offrir aux utilisateurs un contrôle vocal plus avancé sur vos applications en en leur permettant d'utiliser des commandes vocales pour effectuer des tâches spécifiques dans votre application. Si un qui a installé votre application, il peut simplement indiquer son intention à l'aide d'une expression incluant le nom de votre application, par exemple "Hey Google, commence un exercice sur Exemple d'application." Les actions dans les applications sont compatibles avec les intents intégrés qui modélisent les formulations couramment employées pour effectuer une tâche ou rechercher une information, par exemple pour :

  • Démarrez un exercice, envoyez des messages et effectuez d'autres actions spécifiques à une catégorie.
  • ouvrir une fonctionnalité de votre application ;
  • poser des questions sur des produits ou du contenu à l'aide de la fonction de recherche dans l'application.

Grâce aux actions dans les applications, l'Assistant peut suggérer de manière proactive des fonctionnalités vocales en tant que raccourcis, en fonction du contexte de l'utilisateur. Cette fonctionnalité permet aux utilisateurs de découvrir et de relancer facilement vos actions dans les applications. Vous pouvez également suggérer ces raccourcis dans votre application à l'aide du SDK de promotion intégré à l'application.

Vous activez la compatibilité avec les actions dans l'application en déclarant des balises <capability> dans le fichier shortcuts.xml. Ces balises indiquent à Google comment accéder sémantiquement aux fonctionnalités de votre application à l'aide de l'intent intégré. Elles permettent également de contrôler vos fonctionnalités par la voix. L'Assistant répond aux intents de l'utilisateur en affichant le contenu indiqué ou en déclenchant l'action spécifiée dans votre application. Dans certains cas d'utilisation, vous pouvez spécifier un widget Android à afficher dans l'Assistant pour répondre à la requête de l'utilisateur.

Les actions dans les applications sont compatibles avec Android 5 (niveau d'API 21) ou version ultérieure. Seuls les téléphones Android permettent d'accéder aux actions dans les applications. L'Assistant sur Android Go n'est pas compatible avec cette fonctionnalité.

Fonctionnement des actions dans les applications

Les actions dans les applications permettent d'intégrer l'Assistant à votre application, ce qui permet aux utilisateurs d'accéder aux fonctionnalités de votre application par commande vocale. Lorsqu'un utilisateur appelle une action dans l'application, l'Assistant associe la requête à un intent intégré déclaré dans votre ressource shortcuts.xml, qui lance alors l'application sur l'écran demandé ou affiche un widget Android.

Pour déclarer les intents intégrés dans votre application, vous devez utiliser des éléments "capability" Android. Lorsque vous importez votre application via la Google Play Console, Google enregistre les fonctionnalités déclarées dans votre application et les rend accessibles aux utilisateurs depuis l'Assistant.

Par exemple, vous pouvez fournir une fonctionnalité permettant de commencer un exercice dans votre application. Lorsqu'un utilisateur dit "Hey Google, lance l'appli XXX" : étapes:

  • L'Assistant analyse le langage naturel dans la requête, en faisant correspondre la sémantique de la requête avec le modèle prédéfini d'un intent intégré. Dans le cas présent, l'intent intégré actions.intent.START_EXERCISE correspond à la requête.
  • L'Assistant vérifie si l'intent intégré a été enregistré précédemment pour votre application et utilise cette configuration pour déterminer comment le lancer.
  • L'Assistant génère un intent Android pour lancer la destination de la requête dans l'application à l'aide des informations que vous avez fournies dans <capability>. L'Assistant extrait les paramètres de la requête et les transmet en tant qu'extras dans un intent Android généré.
  • L'Assistant répond à la requête de l'utilisateur en lançant l'intent Android généré. Vous configurez l'intent pour lancer un écran dans votre application ou afficher un widget dans l'Assistant.
Lorsqu&#39;un utilisateur envoie une requête à l&#39;Assistant Google, l&#39;Assistant lui répond en lançant une destination dans l&#39;application.
Figure 1. Exemple de flux de requêtes utilisateur pour les actions dans les applications

Une fois qu'un utilisateur a terminé une tâche, vous pouvez utiliser la bibliothèque d'intégration de raccourcis Google pour envoyer à Google un raccourci dynamique de l'action et de ses paramètres, ce qui permet à l'Assistant de suggérer le raccourci à des moments pertinents, en fonction du contexte.

Grâce à cette bibliothèque, vos raccourcis peuvent être découverts et relancés sur les surfaces Google, comme l'Assistant. Par exemple, vous pouvez envoyer un raccourci à Google pour chaque destination demandée par un utilisateur dans votre application de partage de course, ce qui permettra de la relancer rapidement par la suite sous forme de suggestion de raccourci.

Créer des actions dans les applications

Les actions dans l'application s'appuient sur les fonctionnalités existantes de votre application Android, et le processus est similaire pour chaque action dans l'application que vous implémentez. Elles redirigent les utilisateurs directement vers des contenus ou des fonctionnalités spécifiques de votre application à l'aide des éléments capability que vous spécifiez dans le fichier shortcuts.xml.

Lorsque vous créez une action dans l'application, la première étape consiste à identifier l'activité à laquelle les utilisateurs peuvent accéder depuis l'Assistant. Ensuite, à l'aide de ces informations, trouvez l'intent intégré correspondant le plus proche dans la documentation de référence sur l'intent intégré des actions dans les applications.

Les intents intégrés modélisent certaines des méthodes les plus courantes utilisées par les utilisateurs pour exprimer les tâches qu'ils souhaitent effectuer à l'aide d'une application ou des informations qu'ils recherchent. Par exemple, les intents intégrés comme commencer un exercice, envoyer un message et effectuer une recherche Appli. Les intents intégrés constituent le meilleur moyen de débuter avec les actions dans les applications, car ils modélisent des variantes de requêtes dans plusieurs langues, ce qui vous permet les commandes vocales pour activer votre application.

Une fois que vous avez identifié la fonctionnalité de votre application et l'intent intégré à implémenter, vous pouvez ajouter ou mettre à jour le fichier de ressources shortcuts.xml dans votre application Android afin de mapper l'intent intégré à cette fonctionnalité. Les actions dans les applications définies en tant qu'éléments capability dans shortcuts.xml décrivent comment chaque intent intégré résout son traitement, ainsi que les paramètres extraits et fournis à votre application.

Une partie importante du développement des actions dans les applications consiste à mettre en correspondance les paramètres d'intent intégré dans le traitement que vous avez défini. Ce processus prend généralement la forme d'une mise en correspondance des entrées attendues de la fonctionnalité intégrée à l'application avec les paramètres sémantiques d'un intent intégré.

Tester les actions dans l'application

Lors du développement et des tests, vous utilisez le plug-in Assistant Google pour Android Studio afin de créer un aperçu des actions dans l'application dans l'Assistant pour votre compte Google. Ce plug-in vous aide à tester la manière dont votre action dans l'application gère différents paramètres avant de l'envoyer pour le déploiement. Une fois que vous avez généré un aperçu de votre action dans l'outil de test, vous pouvez déclencher une action sur votre appareil de test directement depuis la fenêtre de l'outil de test.

Applications multimédias

L'Assistant intègre aussi des fonctionnalités permettant d'interpréter les commandes des applications multimédias, comme "Hey Google, mets Beyoncé". De plus, il est compatible avec les commandes multimédias telles que Mettre en pause, Passer, Avancer et J'aime.

Étapes suivantes

Suivez le parcours sur les actions dans les applications pour créer une action dans l'application à l'aide de notre exemple d'application Android. Vous pouvez ensuite consulter notre guide pour créer des actions pour votre propre application. Vous pouvez également explorer ces ressources supplémentaires pour créer des actions dans les applications :