Assistente Google per Android

L'Assistente Google consente di controllare le app per Android con la modalità di inoltro vocale. Utilizzando l'assistente, gli utenti possono avviare app, eseguire attività, accedere a contenuti e altro ancora usando la voce per dire, ad esempio, "Hey Google, avvia una corsa sull'app di esempio".

In qualità di sviluppatore Android, puoi utilizzare il framework di sviluppo e gli strumenti di test dell'assistente per attivare facilmente un controllo vocale avanzato delle tue app su piattaforme Android, ad esempio dispositivi mobili, auto e indossabili.

Azioni app

La funzionalità Azioni app dell'assistente consente agli utenti di avviare e controllare le app Android tramite comandi vocali.





Le Azioni app consentono un controllo vocale più approfondito, consentendo agli utenti di avviare le app ed eseguire attività come:

  • Avvio di funzionalità dall'assistente: collega le funzionalità della tua app alle query degli utenti che corrispondono a pattern semantici predefiniti o intent integrati.
  • Visualizzazione di informazioni sulle app sulle piattaforme Google: fornisci widget Android che l'assistente può mostrare, offrendo risposte in linea, semplici conferme e brevi interazioni agli utenti senza cambiare contesto.
  • Suggerisci scorciatoie vocali dall'assistente: usa l'assistente per suggerire proattivamente le attività nel contesto giusto che gli utenti potranno scoprire o riprodurre di nuovo.

Le Azioni app utilizzano gli intent integrati (BII) per abilitare questi e decine di altri casi d'uso nelle categorie di attività più comuni. Consulta la panoramica Azioni app in questa pagina per informazioni dettagliate sul supporto degli BII nelle tue app.

Sviluppo multidispositivo

Puoi utilizzare Azioni app per fornire il controllo dell'inoltro vocale sulle piattaforme dei dispositivi oltre ai dispositivi mobili. Ad esempio, con gli BII ottimizzati per i casi d'uso Auto, i conducenti possono eseguire le seguenti attività tramite comandi vocali:

Panoramica di Azioni app

Puoi utilizzare Azioni app per offrire agli utenti un controllo vocale più approfondito delle tue app consentendo loro di utilizzare i comandi vocali per svolgere attività specifiche nell'app. Se un utente ha installato la tua app, può semplicemente dichiararne l'intento utilizzando una frase che include il nome dell'app, ad esempio "Hey Google, ordina una pizza sull'app di esempio". Azioni app supporta gli BII, che modellano i modi comuni in cui gli utenti esprimono le attività che vogliono svolgere o le informazioni che cercano, ad esempio:

  • Ordinare cibo, prenotare corse e altre azioni specifiche per categoria.
  • Apertura di una funzionalità dell'app in corso...
  • Eseguire query per prodotti o contenuti utilizzando la ricerca in-app.

Con Azioni app, l'assistente può suggerire in modo proattivo le tue funzionalità vocali come scorciatoie agli utenti, in base al contesto dell'utente. Questa funzionalità consente agli utenti di trovare e riprodurre facilmente le azioni app. Puoi anche suggerire queste scorciatoie nell'app con l'SDK promozione in-app di Azioni app.

Puoi attivare il supporto per Azioni app dichiarando i tag <capability> in shortcuts.xml. Le funzionalità indicano a Google come è possibile accedere semanticamente alle funzionalità in-app tramite BII e abilitano il supporto vocale per le tue funzionalità. L'assistente soddisfa le intenzioni dell'utente lanciando l'app con l'azione o i contenuti specificati. Per alcuni casi d'uso, puoi specificare un widget Android da visualizzare all'interno dell'assistente per soddisfare la query dell'utente.

La funzionalità Azioni app è supportata su Android 5 (livello API 21) e versioni successive. Gli utenti possono accedere ad Azioni app solo su telefoni Android. L'assistente su Android Go non supporta Azioni app.

Come funzionano le azioni app

Le azioni app estendono la funzionalità in-app all'assistente, consentendo agli utenti di accedere alle funzionalità dell'app tramite comandi vocali. Quando un utente richiama un'azione app, l'assistente abbina la query a un BII dichiarato nella risorsa shortcuts.xml, avviando l'app nella schermata richiesta o mostrando un widget Android.

Per dichiarare gli oggetti BII nella tua app, puoi utilizzare gli elementi di funzionalità Android. Quando carichi la tua app utilizzando Google Play Console, Google registra le funzionalità dichiarate nell'app e le rende disponibili per l'accesso dall'assistente agli utenti.

Ad esempio, nella tua app potresti fornire la funzionalità per ordinare cibo. Quando un utente dice "Hey Google, ordina una pizza dall'app Esempio", si verificano i seguenti passaggi:

  • L'assistente esegue analisi del linguaggio naturale sulla query, abbinando la semantica della richiesta al pattern predefinito di uno BII. In questo caso, lo standard BII di actions.intent.ORDER_MENU_ITEM corrisponde alla query.
  • L'assistente controlla se lo standard BII è stato precedentemente registrato per la tua app e utilizza questa configurazione per determinare come avviarlo.
  • L'assistente genera un intent Android per lanciare la destinazione in-app della richiesta, utilizzando le informazioni che fornisci in <capability>. L'assistente estrae i parametri della query e li passa come extra in un intent Android generato.
  • L'assistente soddisfa la richiesta dell'utente avviando l'intent Android generato. Configuri intent per avviare una schermata nell'app o per visualizzare un widget all'interno dell'assistente.
Quando un utente fornisce una query all&#39;Assistente Google, quest&#39;ultimo risponde avviando una destinazione dell&#39;app per l&#39;utente.
Figura 1. Esempio di flusso di query utente di Azioni app.

Dopo che un utente ha completato un'attività, puoi utilizzare la libreria di integrazione delle scorciatoie Google per inviare a Google una scorciatoia dinamica dell'azione e dei relativi parametri, consentendo all'assistente di suggerire la scorciatoia all'utente in momenti contestualmente pertinenti.

L'uso di questa raccolta rende le scorciatoie idonee alla scoperta e alla riproduzione sulle piattaforme Google, come l'assistente. Ad esempio, puoi eseguire il push di una scorciatoia a Google per ogni destinazione richiesta da un utente nella tua app di ride sharing per riprodurla rapidamente in un secondo momento come suggerimento di scorciatoia.

Crea azioni app

La funzionalità Azioni app si basa sulle funzionalità esistenti della tua app per Android. La procedura è simile per ogni Azione app implementata. Le azioni app indirizzano gli utenti direttamente a funzionalità o contenuti specifici nella tua app utilizzando gli elementi capability specificati in shortcuts.xml.

Quando crei un'Azione app, la prima cosa da fare è identificare l'attività a cui vuoi consentire agli utenti di accedere dall'assistente. Quindi, utilizzando queste informazioni, individua lo BII più vicino nel riferimento BII di Azioni app.

Gli BII modellano alcuni dei modi comuni con cui gli utenti esprimono le attività che vogliono svolgere utilizzando un'app o le informazioni che cercano. Ad esempio, le BII esistono per azioni come ordinare un pasto, prenotare una corsa e verificare il saldo dell'account. Le azioni BII sono il modo migliore per iniziare con le azioni app, in quanto modellano varianti comuni di query degli utenti in più lingue, semplificando l'attivazione rapida dell'app tramite comandi vocali.

Dopo aver identificato la funzionalità in-app e lo BII da implementare, puoi aggiungere o aggiornare il file di risorse shortcuts.xml nella tua app per Android che mappa lo BII alla funzionalità dell'app. Le azioni app definite come elementi capability in shortcuts.xml descrivono in che modo ogni BII risolve il proprio fulfillment, nonché quali parametri vengono estratti e forniti alla tua app.

Una parte significativa dello sviluppo di Azioni app è la mappatura dei parametri BII nel fulfillment definito. Questo processo in genere assume la forma di mappatura degli input previsti della funzionalità in-app ai parametri semantici di uno BII.

Testa azioni app

Durante lo sviluppo e i test, puoi utilizzare il plug-in dell'Assistente Google per Android Studio per creare un'anteprima delle azioni app nell'assistente per il tuo Account Google. Questo plug-in ti consente di verificare in che modo l'Azione app gestisce i vari parametri prima di inviarla per il deployment. Dopo aver generato un'anteprima dell'Azione app nello strumento di test, puoi attivare un'Azione app sul dispositivo di test direttamente dalla finestra dello strumento di test.

App multimediali

L'assistente offre anche funzionalità integrate per capire i comandi dell'app di contenuti multimediali, come "Hey Google, fammi sentire qualcosa di Beyonce" e supporta controlli multimediali come pausa, salta, avanzamento veloce e pollice su.

Passaggi successivi

Segui il percorso Azioni app per creare un'Azione app utilizzando la nostra app Android di esempio, poi passa alla nostra guida per creare azioni app per la tua app. Puoi anche esplorare queste risorse aggiuntive per la creazione di Azioni app: