Mit der Entwicklervorschau 3 des Android XR SDK können Sie Apps für KI-Brillen entwickeln und neue Funktionen für immersive Erlebnisse freischalten.

Im Oktober hat Samsung das Galaxy XR auf den Markt gebracht – das erste Gerät mit Android XR. Es ist beeindruckend, was einige von euch bereits entwickelt haben. Hier sind einige Aussagen von Entwicklern, die bereits Erfahrungen mit Android XR gesammelt haben.

Android XR hat uns eine ganz neue Welt eröffnet, in der wir unsere App entwickeln können. Teams sollten sich fragen: Was ist die größte, kühnste Version Ihrer Erfahrung, die Sie möglicherweise entwickeln könnten? Das ist deine Chance, endlich das umzusetzen, was du schon immer tun wolltest, denn jetzt hast du die Plattform, die es möglich macht. – Kristen Coke, Calm, Lead Product Manager

Wir haben auch einen ersten Blick auf andere kommende Geräte gewährt, die mit Android XR funktionieren, wie Project Aura von XREAL und stylische Brillen von Gentle Monster und Warby Parker.

Um die wachsende Auswahl an XR-Geräten zu unterstützen, kündigen wir die Entwicklervorschau 3 für das Android XR SDK an.

Mit der Entwicklervorschau 3 für das Android XR SDK können Sie nicht nur immersive Erlebnisse für Geräte wie das Galaxy XR entwickeln, sondern auch Augmented-Reality-Erlebnisse für kommende KI-Brillen mit Android XR. 

Neue Tools und Bibliotheken für Augmented-Reality-Anwendungen

Mit der Entwicklervorschau 3 stellen wir die Tools und Bibliotheken bereit, die Sie benötigen, um intelligente und per Sprachbefehl bedienbare Augmented-Reality-Funktionen für KI-Brillen zu entwickeln. KI-Brillen sind leicht und können den ganzen Tag getragen werden. Sie können Ihre bestehende mobile App erweitern, um die integrierten Lautsprecher, die Kamera und das Mikrofon zu nutzen und so neue, durchdachte und hilfreiche Nutzerinteraktionen zu ermöglichen. Durch das Hinzufügen eines kleinen Displays auf KI-Brillen mit Display können Sie Nutzern Informationen privat präsentieren. KI-Brillen sind ideal für Anwendungen, die die Konzentration und Präsenz der Nutzer in der realen Welt verbessern können.

Um Augmented-Reality-Erlebnisse auf KI-Brillen zu ermöglichen, führen wir zwei neue, speziell entwickelte Bibliotheken im Jetpack XR SDK ein:

• Jetpack Projected – entwickelt, um Mobilgeräte und KI-Brillen zu verbinden, mit Funktionen, die den Zugriff auf Sensoren, Lautsprecher und Displays auf Brillen ermöglichen
• Jetpack Compose Glimmer: Neue Designsprache und UI-Komponenten zum Erstellen und Gestalten von Augmented-Reality-Inhalten auf KI-Brillen mit Display.

Jetpack Compose Glimmer ist eine Demonstration von Best Practices für das Design von ansprechenden, optischen See-Through-Augmented-Reality-Erlebnissen. Die UI-Komponenten sind für die Eingabemodalität und die Stilanforderungen von KI-Brillen mit Display optimiert. Jetpack Compose Glimmer ist auf Klarheit, Lesbarkeit und minimale Ablenkung ausgelegt.

Damit Sie Ihre Jetpack Compose Glimmer-UI visualisieren und testen können, führen wir den Emulator für KI-Brillen in Android Studio ein. Der neue Emulator für KI-Brillen kann brillenspezifische Interaktionen wie Touchpad- und Spracheingabe simulieren. 

Neben den neuen Jetpack Projected- und Jetpack Compose Glimmer-Bibliotheken erweitern wir auch ARCore für Jetpack XR, um KI-Brillen zu unterstützen. Wir beginnen mit Bewegungserkennung und georäumlichen Funktionen für Augmented-Reality-Anwendungen. Mit genau diesen Funktionen können Sie hilfreiche Navigationsfunktionen erstellen, die sich perfekt für Geräte eignen, die den ganzen Tag getragen werden, wie z. B. KI-Brillen.

Erweiterte Unterstützung für immersive Erlebnisse

Wir investieren weiterhin in die Bibliotheken und Tools, die immersive Erlebnisse für XR-Headsets wie das Samsung Galaxy XR und kabelgebundene XR-Datenbrillen wie das kommende Project Aura von XREAL ermöglichen. Wir haben Ihr Feedback berücksichtigt und seit der Entwicklervorschau 2 mehrere häufig gewünschte Funktionen zum Jetpack XR SDK hinzugefügt.

Jetpack SceneCore  bietet jetzt dynamisches Laden von glTF-Modellen über URIs und verbesserte Unterstützung für Materialien, um neue PBR-Materialien zur Laufzeit zu erstellen. Außerdem wurde die Komponente SurfaceEntity um die vollständige Unterstützung der digitalen Rechteverwaltung (DRM) von Widevine und neue Formen erweitert, sodass 360-Grad- und 180-Grad-Videos in Kugeln und Halbkugeln gerendert werden können.

In Jetpack Compose for XR finden Sie neue Funktionen wie die Komponente UserSubspace für das Follow-Verhalten, mit der Inhalte im Sichtfeld des Nutzers bleiben, egal wohin er blickt. Außerdem können Sie jetzt räumliche Animationen für flüssige Übergänge wie Einblenden oder Ausblenden verwenden. Um ein wachsendes Ökosystem von immersiven Geräten mit unterschiedlichen Displayfunktionen zu unterstützen, können Sie jetzt Layoutgrößen als Bruchteile des angenehmen Sichtfelds des Nutzers angeben.

In Material Design für XR werden neue Komponenten automatisch über Überschreibungen räumlich angepasst. Dazu gehören Dialogfelder, die sich räumlich hervorheben, und Navigationsleisten, die in einem Orbiter angezeigt werden. Außerdem gibt es eine neue SpaceToggleButton-Komponente, mit der sich ganz einfach in den Full Space und wieder zurück wechseln lässt.

Und in ARCore für Jetpack XR wurden neue Wahrnehmungsfunktionen hinzugefügt, darunter die Mimik-Erkennung mit 68 Blendshape-Werten, die eine Vielzahl von Gesichtsbewegungen ermöglichen. Sie können auch Eye-Tracking für virtuelle Avatare und Tiefenkarten für realistischere Interaktionen mit der Umgebung eines Nutzers verwenden.

Für Geräte wie Project Aura von XREAL führen wir den XR-Datenbrillen-Emulator in Android Studio ein. Dieses wichtige Tool bietet eine genaue Visualisierung von Inhalten und entspricht den tatsächlichen Gerätespezifikationen für Sichtfeld, Auflösung und DPI, um die Entwicklung zu beschleunigen.

Wenn Sie immersive Erlebnisse mit Unity entwickeln, erweitern wir auch die Wahrnehmungsfunktionen im Android XR SDK für Unity. Neben zahlreichen Fehlerkorrekturen und anderen Verbesserungen erweitern wir die Tracking-Funktionen um QR- und ArUco-Codes, planare Bilder und Body-Tracking (experimentell). Außerdem führen wir eine Funktion ein, die sich viele gewünscht haben: Szenen-Meshing. Sie ermöglicht eine viel tiefere Interaktion mit der Umgebung des Nutzers – Ihre digitalen Inhalte können jetzt von Wänden abprallen und auf Sofas klettern.

Und das ist nur die Spitze des Eisbergs. Weitere Informationen finden Sie auf der Seite Immersive Erlebnisse.

Starten Sie noch heute!

Die Entwicklervorschau 3 für das Android XR SDK ist jetzt verfügbar. Laden Sie die neueste Version von Android Studio Canary (Otter 3, Canary 4 oder höher) herunter und führen Sie ein Upgrade auf die neueste Emulatorversion (36.4.3 Canary oder höher) durch. Rufen Sie dann developer.android.com/xr auf, um mit den neuesten Bibliotheken und Beispielen zu beginnen, die Sie für die Entwicklung für die wachsende Auswahl an Android XR-Geräten benötigen. Wir entwickeln Android XR gemeinsam mit Ihnen. Vergessen Sie nicht, unserem Team Feedback, Vorschläge und Ideen mitzuteilen, während Sie sich mit Android XR vertraut machen.