Google Ассистент для Android

Google Ассистент позволяет управлять приложениями Android с помощью голоса. Используя Ассистента, пользователи могут запускать приложения, выполнять задачи, получать доступ к контенту и многое другое, произнося, например: «Привет, Google, запусти пробежку в приложении Example».

Как разработчик Android, вы можете использовать среду разработки и инструменты тестирования Assistant, чтобы легко обеспечить расширенное голосовое управление вашими приложениями на платформах Android, таких как мобильные устройства, автомобили и носимые устройства.

Действия приложения

Функция App Actions в Google Assistant позволяет пользователям запускать и управлять приложениями Android с помощью голоса.





Функция App Actions обеспечивает более глубокое голосовое управление, позволяя пользователям запускать ваши приложения и выполнять такие задачи, как:

  • Запуск функций из Ассистента : свяжите возможности вашего приложения с запросами пользователей, соответствующими предопределенным семантическим шаблонам или встроенным интентам.
  • Отображение информации о приложении на устройствах Google : Предоставьте виджеты Android для отображения в Google Assistant, предлагающие встроенные ответы, простые подтверждения и краткие взаимодействия с пользователями без изменения контекста.
  • Предложение голосовых ярлыков от Ассистента : Используйте Ассистента, чтобы заблаговременно предлагать пользователям задачи в нужном контексте, чтобы они могли их обнаружить или воспроизвести.

Действия приложений используют встроенные интенты (BII) для реализации этих и десятков других сценариев использования в популярных категориях задач. Подробную информацию о поддержке BII в ваших приложениях см. в обзоре действий приложений на этой странице.

Разработка для нескольких устройств

С помощью действий приложения можно обеспечить голосовое управление на устройствах, выходящих за рамки мобильных устройств. Например, с помощью BII, оптимизированных для автомобильных сценариев использования, водители могут выполнять следующие задачи, используя свой голос:

Обзор действий приложения

Вы используете App Actions, чтобы предоставить пользователям более расширенные возможности голосового управления вашими приложениями, позволяя им использовать свой голос для выполнения определенных задач в вашем приложении. Если у пользователя установлено ваше приложение, он может просто сформулировать свое намерение, используя фразу, включающую название вашего приложения, например: «Привет, Google, начни упражнение в приложении Example». App Actions поддерживают BII (Background Insights), которые моделируют распространенные способы выражения пользователями задач, которые они хотят выполнить, или информации, которую они ищут, например:

  • Начать упражнение, отправить сообщения и выполнить другие действия, специфичные для данной категории.
  • Открытие функции вашего приложения.
  • Поиск товаров или контента с помощью встроенного поиска в приложении.

С помощью App Actions Ассистент может заблаговременно предлагать пользователям ваши голосовые функции в качестве ярлыков, основываясь на контексте действий пользователя. Эта функция позволяет пользователям легко находить и воспроизводить ваши действия в приложении. Вы также можете предлагать эти ярлыки в своем приложении с помощью SDK для продвижения приложений App Actions.

Поддержка действий приложения включается путем объявления тегов <capability> в shortcuts.xml . Возможности сообщают Google, как можно семантически получить доступ к функциям вашего приложения с помощью BII (Background Institutional Interaction), и включают голосовую поддержку для ваших функций. Ассистент выполняет намерения пользователя, запуская ваше приложение с указанным контентом или действием. В некоторых случаях вы можете указать виджет Android для отображения в Ассистенте, чтобы выполнить запрос пользователя.

Функции App Actions поддерживаются на Android 5 (уровень API 21) и выше. Пользователи могут получить доступ к функциям App Actions только на телефонах Android. Ассистент на Android Go не поддерживает функции App Actions.

Как работают действия приложения

Действия приложения расширяют функциональность вашего приложения для Ассистента, позволяя пользователям получать доступ к функциям вашего приложения с помощью голоса. Когда пользователь вызывает действие приложения, Ассистент сопоставляет запрос с BII, объявленным в ресурсе shortcuts.xml , запуская ваше приложение на запрошенном экране или отображая виджет Android.

В приложении вы объявляете BII (Background Insights) с помощью элементов возможностей Android. Когда вы загружаете приложение через консоль Google Play , Google регистрирует объявленные в приложении возможности и делает их доступными для пользователей через Google Ассистент.

Например, вы можете добавить в свое приложение возможность запуска тренировки. Когда пользователь говорит: «Привет, Google, начни пробежку в приложении Example», происходят следующие шаги:

  • Ассистент выполняет анализ естественного языка запроса, сопоставляя семантику запроса с предопределенным шаблоном BII. В данном случае BII actions.intent.START_EXERCISE соответствует запросу.
  • Ассистент проверяет, был ли BII ранее зарегистрирован для вашего приложения, и использует эту конфигурацию для определения способа его запуска.
  • Ассистент генерирует Android-интент для запуска внутриигрового приложения, используя информацию, предоставленную вами в <capability> . Ассистент извлекает параметры запроса и передает их в качестве дополнительных параметров в сгенерированный Android-интент.
  • Ассистент выполняет запрос пользователя, запуская сгенерированный Android-интент. Вы настраиваете intent для запуска экрана в вашем приложении или для отображения виджета внутри Ассистента.
Когда пользователь отправляет запрос в Google Ассистент, Ассистент отвечает, запуская для пользователя приложение, находящееся в указанном месте.
Рисунок 1. Пример схемы взаимодействия пользователя с действиями приложения.

После того, как пользователь выполнит задачу, вы используете библиотеку интеграции Google Shortcuts, чтобы передать в Google динамический ярлык действия и его параметров, что позволит Ассистенту предлагать пользователю этот ярлык в контекстно релевантные моменты.

Использование этой библиотеки позволяет находить и воспроизводить ваши ярлыки на платформах Google, таких как Google Assistant. Например, вы можете отправлять ярлык в Google для каждого пункта назначения, который пользователь запрашивает в вашем приложении для совместных поездок, чтобы позже быстро воспроизвести его в качестве предложения.

Создание действий приложения

Действия приложения (App Actions) основаны на существующей функциональности вашего Android-приложения. Процесс аналогичен для каждого реализованного вами действия приложения. Действия приложения перенаправляют пользователей непосредственно к определенному контенту или функциям вашего приложения, используя элементы capability которые вы указываете в shortcuts.xml .

При создании действия приложения первым шагом является определение действия, к которому вы хотите разрешить пользователям доступ из Ассистента. Затем, используя эту информацию, найдите наиболее подходящий BII в справочнике BII действий приложения .

BII-модели моделируют некоторые распространенные способы, которыми пользователи выражают задачи, которые они хотят выполнить с помощью приложения, или информацию, которую они ищут. Например, BII-модели существуют для таких действий, как начало тренировки, отправка сообщения и поиск внутри приложения. BII-модели — лучший способ начать работу с действиями приложения, поскольку они моделируют распространенные варианты пользовательских запросов на разных языках, что позволяет быстро активировать голосовое управление в вашем приложении.

После определения функциональности приложения и BII, которые необходимо реализовать, добавьте или обновите файл ресурсов shortcuts.xml в вашем Android-приложении, который сопоставляет BII с функциональностью вашего приложения. Действия приложения, определенные как элементы capability в shortcuts.xml описывают, как каждый BII обрабатывает свое действие, а также какие параметры извлекаются и предоставляются вашему приложению.

Значительная часть разработки действий приложения заключается в сопоставлении параметров BII с определенным вами механизмом выполнения. Этот процесс обычно принимает форму сопоставления ожидаемых входных данных вашей внутриприложной функциональности с семантическими параметрами BII.

Тестирование действий приложения

В процессе разработки и тестирования вы используете плагин Google Assistant для Android Studio, чтобы создать предварительный просмотр действий вашего приложения в Ассистенте для вашей учетной записи Google. Этот плагин помогает проверить, как ваше действие приложения обрабатывает различные параметры, прежде чем отправлять его на развертывание. После создания предварительного просмотра действия приложения в инструменте тестирования вы можете запустить действие приложения на тестовом устройстве непосредственно из окна инструмента тестирования.

медиаприложения

Ассистент также предлагает встроенные возможности для понимания команд медиаприложений, таких как «Привет, Google, включи что-нибудь от Бейонсе» , и поддерживает элементы управления воспроизведением мультимедиа, такие как пауза , пропуск , перемотка вперед и лайк .

Следующие шаги

Чтобы создать действие приложения, воспользуйтесь руководством по созданию действий приложения, используя наш пример приложения для Android. Затем перейдите к руководству по созданию действий приложения для вашего собственного приложения . Вы также можете ознакомиться с дополнительными ресурсами по созданию действий приложения: