Im Oktober hat Samsung das Galaxy XR auf den Markt gebracht – das erste Gerät mit Android XR. Es ist beeindruckend zu sehen, was einige von euch damit entwickelt haben. Hier erzählen einige unserer Entwickler von ihren Erfahrungen mit Android XR.

Android XR hat uns eine völlig neue Welt eröffnet, in der wir unsere App entwickeln konnten. Teams sollten sich fragen: Was ist die größte und kühnste Version eurer App, die ihr entwickeln könnt? Das ist eure Chance, endlich das umzusetzen, was ihr schon immer tun wolltet. Denn jetzt habt ihr die Plattform, die es möglich macht. _Kristen Coke, Calm, Lead Product Manager_

Wir haben euch auch einen ersten Blick auf andere kommende Geräte mit Android XR gewährt, z. B. Project Aura von XREAL und stilvolle Brillen von Gentle Monster und Warby Parker.

Um die wachsende Auswahl an XR-Geräten zu unterstützen, stellen wir die Entwicklervorschau 3 für das Android XR SDK vor.

Mit der Entwicklervorschau 3 für das Android XR SDK könnt ihr nicht nur immersive Erlebnisse für Geräte wie das Galaxy XR entwickeln, sondern auch erweiterte Erlebnisse für kommende KI-Brillen mit Android XR. 

Neue Tools und Bibliotheken für erweiterte Erlebnisse

Mit der Entwicklervorschau 3 stellen wir die Tools und Bibliotheken bereit, die ihr für die Entwicklung intelligenter und freihändiger erweiterter Erlebnisse für KI-Brillen benötigt. KI-Brillen sind leicht und tragbar und können den ganzen Tag getragen werden. Ihr könnt eure vorhandene mobile App erweitern, um die integrierten Lautsprecher, die Kamera und das Mikrofon zu nutzen und neue, durchdachte und hilfreiche Nutzerinteraktionen zu ermöglichen. Mit einem kleinen Display auf der KI-Brille könnt ihr Nutzern private Informationen präsentieren. KI-Brillen eignen sich perfekt für Erlebnisse, die die Konzentration und Präsenz des Nutzers in der realen Welt verbessern können.

Um erweiterte Erlebnisse auf KI-Brillen zu ermöglichen, führen wir zwei neue, speziell entwickelte Bibliotheken für das Jetpack XR SDK ein:

• Jetpack Projected: Diese Bibliothek wurde entwickelt, um eine Verbindung zwischen Mobilgeräten und KI-Brillen herzustellen. Sie bietet Funktionen, mit denen ihr auf Sensoren, Lautsprecher und Displays von Brillen zugreifen könnt.
• Jetpack Compose Glimmer: Diese Bibliothek enthält eine neue Designsprache und UI-Komponenten zum Erstellen und Gestalten erweiterter Erlebnisse auf KI-Brillen mit Display.

Jetpack Compose Glimmer ist eine Demonstration von Best Practices für das Design schöner, optisch durchsichtiger erweiterter Erlebnisse. Mit UI-Komponenten, die für die Eingabemodalität und die Stylinganforderungen von KI-Brillen mit Display optimiert sind, ist Jetpack Compose Glimmer auf Klarheit, Lesbarkeit und minimale Ablenkung ausgelegt.

Um die Jetpack Compose Glimmer-UI zu visualisieren und zu testen, führen wir in Android Studio den KI-Brillen-Emulator ein. Mit dem neuen KI-Brillen-Emulator können brillenspezifische Interaktionen wie Touchpad- und Spracheingabe simuliert werden. 

Neben den neuen Bibliotheken Jetpack Projected und Jetpack Compose Glimmer erweitern wir auch ARCore for Jetpack XR, um KI-Brillen zu unterstützen. Wir beginnen mit Bewegungserkennung und Geodaten-Funktionen für erweiterte Erlebnisse. Mit diesen Funktionen könnt ihr hilfreiche Navigationserlebnisse erstellen, die sich perfekt für Geräte eignen, die den ganzen Tag getragen werden, wie z. B. KI-Brillen.

Erweiterte Unterstützung für immersive Erlebnisse

Wir investieren weiterhin in die Bibliotheken und Tools, die immersive Erlebnisse für XR-Headsets wie das Samsung Galaxy XR und kabelgebundene XR-Brillen wie das kommende Project Aura von XREAL ermöglichen. Wir haben auf euer Feedback gehört und seit der Entwicklervorschau 2 mehrere häufig angeforderte Funktionen zum Jetpack XR SDK hinzugefügt.

Jetpack SceneCore bietet jetzt dynamisches Laden von glTF-Modellen über URIs und verbesserte Materialunterstützung zum Erstellen neuer PBR-Materialien zur Laufzeit. Außerdem wurde die SurfaceEntity-Komponente um die vollständige Unterstützung von Widevine Digital Rights Management (DRM) und neue Formen erweitert, sodass 360°- und 180°-Videos in Kugeln und Halbkugeln gerendert werden können.

In Jetpack Compose for XR findet ihr neue Funktionen wie die UserSubspace-Komponente für das Follow-Verhalten, mit der sichergestellt wird, dass Inhalte im Blickfeld des Nutzers bleiben, unabhängig davon, wohin er schaut. Außerdem könnt ihr jetzt räumliche Animationen für reibungslose Übergänge wie das Ein- und Ausblenden verwenden. Um ein wachsendes Ökosystem immersiver Geräte mit unterschiedlichen Displayfunktionen zu unterstützen, könnt ihr jetzt Layoutgrößen als Bruchteile des komfortablen Sichtfelds des Nutzers angeben.

In Material Design for XR werden neue Komponenten automatisch räumlich via overrides angepasst. Dazu gehören Dialogfelder, die räumlich hervorgehoben werden, und Navigationsleisten, die in einen Orbiter eingeblendet werden. Außerdem gibt es eine neue SpaceToggleButton-Komponente, mit der ihr ganz einfach zwischen dem Full Space und anderen Ansichten wechseln könnt.

In ARCore for Jetpack XR wurden neue Wahrnehmungsfunktionen hinzugefügt, darunter die Mimik-Erkennung mit 68 Blendshape-Werten, die eine Vielzahl von Gesichtsausdrücken ermöglicht. Ihr könnt auch die Blickverfolgung verwenden, um virtuelle Avatare zu steuern, und Tiefenkarten, um realistischere Interaktionen mit der Umgebung des Nutzers zu ermöglichen.

Für Geräte wie das Project Aura von XREAL führen wir in Android Studio den XR-Brillen-Emulator ein. Dieses wichtige Tool bietet euch eine genaue Visualisierung von Inhalten und entspricht den Spezifikationen echter Geräte in Bezug auf Sichtfeld, Auflösung und DPI, um die Entwicklung zu beschleunigen.

Wenn ihr immersive Erlebnisse mit Unity entwickelt, erweitern wir auch die Wahrnehmungsfunktionen im Android XR SDK for Unity. Neben vielen Fehlerkorrekturen und anderen Verbesserungen erweitern wir die Trackingfunktionen um QR- und ArUco-Codes, planare Bilder und Body-Tracking (experimentell). Außerdem führen wir eine viel gewünschte Funktion ein: das Szenen-Meshing. Damit könnt ihr viel intensiver mit der Umgebung eurer Nutzer interagieren. Eure digitalen Inhalte können jetzt von Wänden abprallen und auf Sofas klettern.

Aber das ist nur die Spitze des Eisbergs. Weitere Informationen findet ihr auf unserer Seite zu immersiven Erlebnissen.

Startet noch heute!

Die Entwicklervorschau 3 für das Android XR SDK ist ab heute verfügbar. Ladet die neueste Android Studio Canary-Version (Otter 3, Canary 4 oder höher) herunter und aktualisiert auf die neueste Emulatorversion (36.4.3 Canary oder höher). Unter developer.android.com/xr findet ihr die neuesten Bibliotheken und Beispiele, die ihr für die Entwicklung für die wachsende Auswahl an Android XR-Geräten benötigt. Wir entwickeln Android XR gemeinsam mit euch. Teilt unserem Team euer Feedback, eure Vorschläge und Ideen mit, während ihr euch mit Android XR vertraut macht.