Google Ассистент для Android

Google Ассистент позволяет управлять приложениями Android с помощью голоса. С помощью Ассистента пользователи могут запускать приложения, выполнять задачи, получать доступ к контенту и многое другое, используя голосовые команды, например: «Окей, Google, начни пробежку в приложении Example».

Как разработчик Android, вы можете использовать фреймворк разработки и инструменты тестирования Assistant, чтобы легко реализовать голосовое управление вашими приложениями на устройствах под управлением Android, таких как мобильные устройства, автомобили и носимые устройства.

Действия приложения

Действия приложений Помощника позволяют пользователям запускать и управлять приложениями Android с помощью голоса.





Действия приложений обеспечивают более глубокое голосовое управление, позволяя пользователям запускать ваши приложения и выполнять такие задачи, как:

  • Запуск функций из Помощника : подключите возможности вашего приложения к запросам пользователей, которые соответствуют предопределенным семантическим шаблонам или встроенным намерениям.
  • Отображение информации о приложении на устройствах Google : предоставьте помощнику виджеты Android для отображения, предлагая встроенные ответы, простые подтверждения и краткие взаимодействия с пользователями без изменения контекста.
  • Предложение голосовых сочетаний клавиш от Помощника : используйте Помощника, чтобы заблаговременно предлагать пользователям задачи в правильном контексте для поиска или воспроизведения.

Действия приложения используют встроенные намерения (BII), чтобы реализовать эти и десятки других вариантов использования в популярных категориях задач. Подробнее о поддержке BII в ваших приложениях см. в обзоре действий приложения на этой странице.

Разработка нескольких устройств

Вы можете использовать действия приложения для голосового управления на устройствах, выходящих за рамки мобильных. Например, благодаря оптимизированным для использования в автомобилях интеллектуальным интеллектуальным системам (BII) водители могут выполнять следующие задачи с помощью голоса:

Обзор действий приложения

Вы используете App Actions, чтобы предоставить пользователям более расширенное голосовое управление вашими приложениями, позволяя им использовать голос для выполнения определенных задач в вашем приложении. Если у пользователя установлено ваше приложение, он может просто выразить свое намерение, используя фразу, включающую название приложения, например: «Окей, Google, начни упражнение на примере приложения». App Actions поддерживает BII, которые моделируют распространённые способы, которыми пользователи выражают задачи, которые они хотят выполнить, или информацию, которую они ищут, например:

  • Запустите упражнение, отправьте сообщения и выполните другие действия, относящиеся к определенной категории.
  • Открытие функции вашего приложения.
  • Поиск продуктов или контента с помощью поиска в приложении.

Благодаря функциям App Actions, Ассистент может заранее предлагать пользователям голосовые команды в качестве быстрых команд, исходя из контекста пользователя. Эта функция позволяет пользователям легко находить и воспроизводить ваши действия в приложении. Вы также можете предлагать эти быстрые команды в своём приложении с помощью встроенного SDK App Actions.

Поддержка действий приложения включается объявлением тегов <capability> в файле shortcuts.xml . Возможности сообщают Google, как семантически обращаться к функциям вашего приложения с помощью BII, и включают голосовую поддержку ваших функций. Помощник выполняет намерения пользователя, запуская приложение для выполнения указанного контента или действия. В некоторых случаях можно указать виджет Android, который будет отображаться в Помощнике для выполнения запроса пользователя.

Действия в приложении поддерживаются на устройствах Android 5 (уровень API 21) и выше. Пользователи могут получить доступ к действиям в приложении только на телефонах Android. Помощник на Android Go не поддерживает действия в приложении.

Как работают действия приложения

Действия приложения расширяют функциональность вашего приложения, позволяя пользователям управлять функциями вашего приложения с помощью голосового управления. Когда пользователь вызывает действие приложения, Помощник сопоставляет запрос с BII, объявленным в вашем ресурсе shortcuts.xml , запуская ваше приложение на указанном экране или отображая виджет Android.

Вы объявляете BII в своём приложении с помощью элементов возможностей Android. При загрузке приложения через консоль Google Play Google регистрирует заявленные в нём возможности и делает их доступными для пользователей через Ассистента.

Например, вы можете предоставить возможность начать тренировку в своём приложении. Когда пользователь говорит: «Окей, Google, начни пробежку в приложении Example», выполняются следующие шаги:

  • Помощник анализирует запрос на естественном языке, сопоставляя его семантику с предопределенным шаблоном BII. В данном случае, действие actions.intent.START_EXERCISE BII соответствует запросу.
  • Помощник проверяет, был ли BII ранее зарегистрирован для вашего приложения, и использует эту конфигурацию, чтобы определить, как его запустить.
  • Помощник генерирует намерение Android для запуска внутриприкладного назначения запроса, используя информацию, предоставленную вами в теге <capability> . Помощник извлекает параметры запроса и передает их как дополнительные данные в сгенерированном намерении Android.
  • Помощник выполняет запрос пользователя, запуская сгенерированное намерение Android. Вы можете настроить intent на открытие экрана в вашем приложении или отображение виджета в Помощнике.
Когда пользователь отправляет запрос Google Ассистенту, Ассистент отвечает, запуская приложение для пользователя.
Рисунок 1. Пример потока запросов пользователя «Действия приложения».

После того как пользователь завершит задачу, вы используете интеграционную библиотеку Google Shortcuts , чтобы отправить в Google динамический ярлык действия и его параметры, что позволяет Ассистенту предлагать пользователю ярлык в соответствующие контексту моменты.

Использование этой библиотеки позволяет находить и воспроизводить ваши быстрые команды на платформах Google, таких как Google Assistant. Например, вы можете отправлять в Google быстрые команды для каждого пункта назначения, запрашиваемого пользователем в вашем приложении для совместных поездок, чтобы затем быстро воспроизвести их в качестве предложения.

Действия по созданию приложения

Действия приложения дополняют существующую функциональность вашего приложения Android. Процесс аналогичен для каждого реализуемого вами действия приложения. Действия приложения перенаправляют пользователей непосредственно к определённому контенту или функциям вашего приложения, используя элементы capability указанные в файле shortcuts.xml .

При создании действия в приложении первым шагом является определение активности, к которой вы хотите предоставить пользователям доступ из Помощника. Затем, используя эту информацию, найдите наиболее подходящий BII в справочнике BII действий в приложении .

BII моделируют некоторые распространённые способы, которыми пользователи выражают свои задачи, используя приложение, или запросы информации. Например, BII предназначены для таких действий, как запуск упражнения, отправка сообщения и поиск в приложении. BII — лучший способ начать работу с действиями в приложении, поскольку они моделируют распространённые варианты пользовательских запросов на разных языках, что позволяет быстро активировать голосовое управление в приложении.

После определения функциональности приложения и BII для реализации вы добавляете или обновляете файл ресурсов shortcuts.xml в своём приложении для Android, который сопоставляет BII с функциональными возможностями вашего приложения. Действия приложения, определяемые как элементы capability в shortcuts.xml описывают, как каждое BII выполняет свою задачу, а также какие параметры извлекаются и передаются в ваше приложение.

Значительная часть разработки действий приложения — это сопоставление параметров BII с заданным выполнением. Этот процесс обычно представляет собой сопоставление ожидаемых входных данных функциональности вашего приложения с семантическими параметрами BII.

Действия тестового приложения

Во время разработки и тестирования вы используете плагин Google Assistant для Android Studio, чтобы создать предварительный просмотр действий приложения в Ассистенте для вашего аккаунта Google. Этот плагин помогает проверить, как ваше действие приложения обрабатывает различные параметры, перед отправкой его на развёртывание. После создания предварительного просмотра действия приложения в инструменте тестирования вы можете запустить действие приложения на тестовом устройстве непосредственно из окна инструмента тестирования.

Медиа-приложения

Помощник также предлагает встроенные возможности для понимания команд медиаприложений, таких как «Окей, Google, включи что-нибудь из песен Бейонсе», и поддерживает элементы управления мультимедиа, такие как пауза , пропуск , перемотка вперед и «Нравится» .

Следующие шаги

Следуйте инструкциям по созданию действий в приложении , чтобы создать действие в приложении на основе нашего примера приложения для Android. Затем перейдите к нашему руководству по созданию действий в приложении для вашего собственного приложения . Вы также можете ознакомиться со следующими дополнительными ресурсами по созданию действий в приложении: