Как улучшить приложение Android XR с помощью ИИ, используя Gemini API

Поддерживаемые XR-устройства
Это руководство поможет вам создавать продукты для таких XR-устройств.
XR-шлемы
Проводные XR-очки
Аудио- и
видеоочки

Android XR – первая платформа Android, созданная в эпоху Gemini. Она поддерживает экосистему шлемов, очков и других устройств расширенной реальности. Gemini упрощает использование Android XR и добавляет уникальные возможности, помогая пользователям понимать, что они видят, и выполняя действия от их имени.

Вы можете получить доступ к Gemini API с помощью Firebase AI Logic. Этот инструмент доступен как для нативных приложений Android (с Kotlin), так и для Unity. Используйте эти API, чтобы создавать функции на основе ИИ, которые интегрируются с облачными моделями Gemini.

Выберите модель

Для начала сравните возможности каждой модели, доступной в Firebase. Затем вы можете оценить результаты различных запросов для разных моделей в AI Studio, чтобы определить, какая модель подходит для вашего случая использования.

Другие способы улучшить приложение с помощью Gemini

Выбрав модель, которая подходит для вашего случая, подумайте, как ещё можно улучшить приложение:

  • Голосовой интерфейс. Для навигации в Android XR используются естественные способы ввода, такие как руки, взгляд и голос. Чтобы пользователи могли перемещаться по приложению с помощью голосовых команд, используйте Gemini Live API вместе с вызовом функций.
  • Генерировать изображения с мультимодальной поддержкой. Создавайте изображения с помощью моделей Gemini, используя Gemini Developer API.
  • Расширяйте возможности взаимодействия в играх на Unity. Генерируйте структурированные выходные данные с помощью Gemini Developer API или Vertex AI Gemini API.