Создавайте приложения для ИИ-очков с помощью Android XR SDK предварительной версии для разработчиков 3 и открывайте новые возможности для погружения в виртуальный мир

В октябре компания Samsung выпустила Galaxy XR – первое устройство на базе Android XR. Нам очень нравится то, что вы создаете. Вот что говорят некоторые из наших разработчиков о своем опыте работы с Android XR.

Android XR открыла для нас совершенно новый мир, в котором мы можем создавать приложения. Командам следует спросить себя: "Какую самую большую и смелую версию своего продукта мы могли бы создать?" Это ваш шанс наконец-то воплотить в жизнь то, что вы всегда хотели сделать, потому что теперь у вас есть платформа, которая может сделать это реальностью. – Кристен Коук (Kristen Coke), ведущий менеджер по продукту, Calm

Мы также показали вам другие устройства, которые будут работать с Android XR, например Project Aura от XREAL и стильные очки от Gentle Monster и Warby Parker.

Чтобы поддержать растущий выбор устройств XR, мы объявляем о выпуске Android XR SDK Developer Preview 3.

В Android XR SDK Developer Preview 3 можно создавать не только иммерсивные приложения для таких устройств, как Galaxy XR, но и приложения с дополненной реальностью для будущих ИИ-очков с Android XR. 

Новые инструменты и библиотеки для дополненной реальности

В третьей предварительной версии для разработчиков мы открываем доступ к инструментам и библиотекам, которые нужны для создания умных функций дополненной реальности с голосовым управлением для ИИ-очков. ИИ-очки легкие и портативные, поэтому их можно носить весь день. Вы можете расширить возможности своего мобильного приложения, используя встроенные динамики, камеру и микрофон, чтобы обеспечить новые, продуманные и полезные способы взаимодействия с пользователями. Дополнительный небольшой экран на ИИ-очках позволяет показывать пользователям информацию, которую будут видеть только они. ИИ-очки идеально подходят для ситуаций, когда пользователю нужно сосредоточиться на реальном мире.

Чтобы вы могли создавать приложения дополненной реальности для ИИ-очков, мы добавили в Jetpack XR SDK две новые библиотеки:

• Jetpack Projected – библиотека, которая позволяет связать мобильные устройства и ИИ-очки, чтобы получить доступ к датчикам, динамикам и дисплеям на очках.
• Jetpack Compose Glimmer – новая система дизайна и компоненты интерфейса для создания и оформления дополненной реальности на ИИ-очках.

Jetpack Compose Glimmer демонстрирует лучшие практики дизайна для создания красивых, оптически прозрачных дополненных впечатлений. Компоненты пользовательского интерфейса оптимизированы для модальности ввода и требований к стилю умных очков с дисплеем. Jetpack Compose Glimmer разработан для ясности, удобочитаемости и минимального отвлечения внимания.

Чтобы вам было проще визуализировать и тестировать интерфейс Glimmer на основе Jetpack Compose, мы добавили в Android Studio эмулятор ИИ-очков. Новый эмулятор ИИ-очков позволяет имитировать взаимодействие с ними, например с помощью сенсорной панели и голосового ввода. 

Помимо новых библиотек Jetpack Projected и Jetpack Compose Glimmer, мы также расширяем ARCore для Jetpack XR, чтобы добавить поддержку ИИ-очков. Мы начинаем с отслеживания движения и геопространственных возможностей для дополненной реальности. Именно эти функции позволяют создавать удобные инструменты навигации, которые идеально подходят для устройств, предназначенных для ношения в течение всего дня, таких как ИИ-очки.

Расширение поддержки иммерсивных функций

Мы продолжаем развивать библиотеки и инструменты, которые обеспечивают работу XR-шлемов, таких как Samsung Galaxy XR, и проводных XR-очков, например Project Aura от XREAL. Мы прислушались к вашим отзывам и добавили в Jetpack XR SDK несколько функций, о которых вы просили, начиная с предварительной версии для разработчиков 2.

В Jetpack SceneCore  теперь есть динамическая загрузка моделей glTF через URI и улучшенная поддержка материалов для создания новых материалов PBR во время выполнения. Кроме того, компонент SurfaceEntity теперь полностью поддерживает Widevine Digital Rights Management (DRM) и новые формы, что позволяет воспроизводить панорамные видео (360 и 180 градусов) в сферах и полусферах.

В Jetpack Compose для XR вы найдете новые функции, такие как компонент UserSubspace для отслеживания поведения, который гарантирует, что контент останется в поле зрения пользователя независимо от того, куда он смотрит. Кроме того, теперь вы можете использовать пространственную анимацию для плавных переходов, таких как скольжение или затухание. Чтобы поддерживать расширяющуюся экосистему устройств с эффектом присутствия и разными возможностями отображения, теперь вы можете указывать размеры макета как доли от комфортной зоны обзора пользователя.

В Material Design для XR новые компоненты автоматически адаптируются к пространству с помощью переопределений. К ним относятся диалоговые окна, которые поднимаются в пространстве, и панели навигации, которые выдвигаются в Orbiter. Кроме того, появился новый компонент SpaceToggleButton, который позволяет легко переключаться между полным пространством и другими режимами.

А в ARCore для Jetpack XR добавлены новые возможности восприятия, включая отслеживание лица с 68 значениями BlendShape, что открывает мир мимических жестов. Вы также можете использовать отслеживание взгляда для управления виртуальными аватарами и карты глубины для более реалистичного взаимодействия с окружением пользователя.

Для таких устройств, как Project Aura от XREAL, мы представляем эмулятор XR-очков в Android Studio. Этот инструмент позволяет точно визуализировать контент и сопоставлять его с реальными характеристиками устройств, такими как зона обзора, разрешение и DPI, чтобы ускорить разработку.

Если вы создаете иммерсивные продукты с помощью Unity, то можете использовать расширенные возможности восприятия в Android XR SDK для Unity. Помимо исправления ошибок и других улучшений, мы расширяем возможности отслеживания, добавляя QR-коды и коды ArUco, плоские изображения и отслеживание тела (экспериментальная функция). Мы также представляем функцию, о которой нас часто просили, – создание сетки сцены. Это позволяет гораздо глубже взаимодействовать с окружением пользователя – ваш цифровой контент теперь может отскакивать от стен и забираться на диваны!

И это только начало! Подробную информацию вы найдете на странице Иммерсивные возможности.

Действуйте!

Третья предварительная версия Android XR SDK для разработчиков уже доступна. Скачайте последнюю версию Android Studio Canary (Otter 3, Canary 4 или более позднюю) и обновите эмулятор до последней версии (36.4.3 Canary или более поздней). Затем перейдите на сайт developer.android.com/xr, чтобы получить доступ к последним версиям библиотек и примерам, которые помогут вам создавать приложения для растущего числа устройств Android XR. Мы создаем Android XR вместе с вами! Не забывайте делиться с нами отзывами, предложениями и идеями по мере того, как вы осваиваете Android XR.