Google Ассистент для Android

Google Assistant обеспечивает голосовое управление приложениями Android. С помощью Ассистента пользователи могут запускать приложения, выполнять задачи, получать доступ к контенту и т. д., используя свой голос, говоря такие вещи, как «Эй, Google, начни запуск примера приложения».

Как разработчик Android, вы можете использовать среду разработки и инструменты тестирования Assistant, чтобы легко обеспечить глубокое голосовое управление вашими приложениями на устройствах под управлением Android, таких как мобильные устройства, автомобили и носимые устройства.

Действия приложения

Действия приложения Assistant позволяют пользователям запускать приложения Android и управлять ими с помощью голоса.





Действия приложения обеспечивают более глубокое голосовое управление, позволяя пользователям запускать ваши приложения и выполнять такие задачи, как:

  • Запуск функций из Ассистента . Подключите возможности вашего приложения к пользовательским запросам, которые соответствуют предопределенным семантическим шаблонам или встроенным намерениям.
  • Отображение информации о приложении на поверхностях Google . Предоставьте виджеты Android для отображения Ассистентом, предлагая пользователям встроенные ответы, простые подтверждения и краткое взаимодействие без изменения контекста.
  • Предложение голосовых ярлыков от Ассистента . Используйте Ассистент, чтобы заранее предлагать задачи в нужном контексте, чтобы пользователи могли их найти или воспроизвести.

Действия приложения используют встроенные намерения (BII), чтобы реализовать эти и десятки других вариантов использования в популярных категориях задач. Подробную информацию о поддержке BII в ваших приложениях см. в обзоре действий приложений на этой странице.

Мультидевайсная разработка

Вы можете использовать Действия приложения, чтобы обеспечить голосовое управление на поверхностях устройства за пределами мобильных устройств. Например, благодаря BII, оптимизированным для автоматических вариантов использования, водители могут выполнять следующие задачи с помощью голоса:

Обзор действий приложения

Вы используете Действия приложения, чтобы предложить пользователям более глубокое голосовое управление вашими приложениями, позволяя им использовать свой голос для выполнения определенных задач в вашем приложении. Если у пользователя установлено ваше приложение, он может просто заявить о своем намерении, используя фразу, включающую название вашего приложения, например «Окей, Google, начни упражнение с примером приложения». App Actions поддерживает BII, которые моделируют общие способы выражения пользователями задач, которые они хотят выполнить, или информацию, которую они ищут, например:

  • Запуск упражнения, отправка сообщений и другие действия, специфичные для категории.
  • Открытие функции вашего приложения.
  • Запрос продуктов или контента с помощью поиска в приложении.

С помощью действий приложения Ассистент может заранее предлагать пользователям ваши голосовые возможности в качестве ярлыков в зависимости от контекста пользователя. Эта функция позволяет пользователям легко находить и воспроизводить действия вашего приложения. Вы также можете предложить эти ярлыки в своем приложении с помощью встроенного в приложение промо SDK App Actions.

Вы включаете поддержку действий приложения, объявляя теги <capability> в shortcuts.xml . Возможности сообщают Google, как можно получить семантический доступ к функциям вашего приложения с помощью BII, и обеспечивают голосовую поддержку ваших функций. Ассистент выполняет намерения пользователя, запуская ваше приложение для указанного контента или действия. В некоторых случаях вы можете указать виджет Android, который будет отображаться в Ассистенте для выполнения запроса пользователя.

Действия приложения поддерживаются на Android 5 (уровень API 21) и выше. Пользователи могут получить доступ к действиям приложения только на телефонах Android. Ассистент на Android Go не поддерживает действия приложения.

Как работают действия приложения

Действия приложения расширяют функциональность вашего приложения до Ассистента, позволяя пользователям получать доступ к функциям вашего приложения с помощью голоса. Когда пользователь вызывает действие приложения, Ассистент сопоставляет запрос с BII, объявленным в вашем ресурсе shortcuts.xml , запуская ваше приложение на запрошенном экране или отображая виджет Android.

Вы объявляете BII в своем приложении, используя элементы возможностей Android. Когда вы загружаете свое приложение с помощью консоли Google Play , Google регистрирует возможности, заявленные в вашем приложении, и делает их доступными для пользователей из Ассистента.

Например, вы можете предоставить возможность начинать упражнения в своем приложении. Когда пользователь говорит: «Окей, Google, запусти пример приложения», происходят следующие шаги:

  • Помощник выполняет анализ запроса на естественном языке, сопоставляя семантику запроса с предопределенным шаблоном BII. В этом случае actions.intent.START_EXERCISE BII соответствует запросу.
  • Ассистент проверяет, был ли ранее зарегистрирован BII для вашего приложения, и использует эту конфигурацию, чтобы определить, как его запустить.
  • Ассистент генерирует намерение Android запустить пункт назначения запроса в приложении, используя информацию, которую вы предоставляете в <capability> . Ассистент извлекает параметры запроса и передает их как дополнительные элементы в сгенерированном намерении Android.
  • Ассистент выполняет запрос пользователя, запуская сгенерированное намерение Android. Вы настраиваете intent запустить экран в своем приложении или отобразить виджет в Ассистенте.
Когда пользователь отправляет запрос Google Assistant, Assistant отвечает, запуская для пользователя пункт назначения приложения.
Рис. 1. Пример потока пользовательских запросов App Actions.

После того, как пользователь выполнит задачу, вы используете библиотеку интеграции ярлыков Google , чтобы передать динамический ярлык действия и его параметров в Google, что позволяет Ассистенту предлагать ярлык пользователю в контекстно-зависимое время.

Использование этой библиотеки позволяет вашим ярлыкам обнаруживаться и воспроизводиться на платформах Google, таких как Ассистент. Например, вы можете отправить в Google ярлык для каждого пункта назначения, который пользователь запрашивает в вашем приложении для совместного использования поездок, чтобы позже быстро воспроизвести его в качестве предложения по ярлыку.

Создание действий приложения

Действия приложения основаны на существующих функциях вашего приложения Android. Процесс аналогичен для каждого действия приложения, которое вы реализуете. Действия приложения направляют пользователей непосредственно к определенному содержимому или функциям вашего приложения, используя элементы capability , указанные вами в shortcuts.xml .

Когда вы создаете действие приложения, первым шагом является определение действия, к которому вы хотите предоставить пользователям доступ из Ассистента. Затем, используя эту информацию, найдите ближайший соответствующий BII из справочника BII действий приложения .

BII моделируют некоторые распространенные способы, с помощью которых пользователи выражают задачи, которые они хотят выполнить, используя приложение или информацию, которую они ищут. Например, BII существуют для таких действий, как начало упражнения, отправка сообщения и поиск в приложении. BII — лучший способ начать с действий приложения, поскольку они моделируют общие варианты пользовательских запросов на нескольких языках, что упрощает быстрое голосовое включение вашего приложения.

После того как вы определите функциональные возможности приложения и BII, которые необходимо реализовать, вы добавляете или обновляете файл ресурсов shortcuts.xml в своем приложении Android, который сопоставляет BII с функциональностью вашего приложения. Действия приложения, определенные как элементы capability в shortcuts.xml описывают, как каждый BII решает свою задачу, а также какие параметры извлекаются и предоставляются вашему приложению.

Значительная часть разработки действий приложения – это сопоставление параметров BII с заданными вами задачами. Этот процесс обычно принимает форму сопоставления ожидаемых входных данных функциональности вашего приложения с семантическими параметрами BII.

Действия тестового приложения

Во время разработки и тестирования вы используете плагин Google Assistant для Android Studio, чтобы создать предварительный просмотр действий вашего приложения в Assistant для вашей учетной записи Google. Этот плагин помогает вам проверить, как ваше действие приложения обрабатывает различные параметры, прежде чем отправлять его на развертывание. Создав предварительный просмотр действия приложения в инструменте тестирования, вы можете запустить действие приложения на тестовом устройстве непосредственно из окна инструмента тестирования.

Медиа-приложения

Assistant также предлагает встроенные возможности для понимания команд мультимедийных приложений, таких как «Эй, Google, включи что-нибудь Бейонсе», и поддерживает элементы управления мультимедиа, такие как пауза , пропуск , перемотка вперед и палец вверх .

Следующие шаги

Следуйте инструкциям по действиям приложения , чтобы создать действие приложения, используя наш пример приложения для Android. Затем перейдите к нашему руководству по созданию действий приложения для вашего собственного приложения . Вы также можете изучить эти дополнительные ресурсы для создания действий приложения: