Android XR unterstützt Apps, die mit OpenXR entwickelt wurden, da es die OpenXR 1.1-Spezifikation und ausgewählte Anbietererweiterungen unterstützt. OpenXR ist ein offener Standard, mit dem Sie immersive und interaktive Erlebnisse mit einer gemeinsamen Reihe von APIs auf einer Vielzahl von XR-Geräten erstellen können.
Funktionen
Android XR unterstützt Funktionen, mit denen Sie Apps entwickeln können, die die einzigartigen Funktionen von XR-Geräten mithilfe von OpenXR voll ausschöpfen. Dazu gehören:
- Trackables
- Unterstützt die Ebenenerkennung, mit der flache Oberflächen in der Umgebung erkannt und verfolgt werden können. So lassen sich virtuelle Objekte in Bezug auf die reale Welt platzieren. Außerdem werden Anker unterstützt, also virtuelle Referenzpunkte, die an realen Objekten oder Orten angebracht werden können. So bleibt der virtuelle Inhalt auch dann genau positioniert und ausgerichtet, wenn sich der Nutzer bewegt.
- Raycasting
- Eine Technik, mit der der Schnittpunkt zwischen einem virtuellen Strahl und Objekten in der Szene bestimmt wird. Dies ermöglicht Interaktionen wie das Auswählen und Bearbeiten virtueller Elemente.
- Ankerpersistenz
- Die Möglichkeit, Anker über mehrere Sitzungen hinweg zu speichern und wiederherzustellen, ermöglicht eine dauerhafte und konsistente Platzierung virtueller Inhalte in der Umgebung.
- Objekt-Tracking
- Maus, Tastatur und andere Objekte in der realen Welt verfolgen.
- Tiefentexturen
- Generierung von Tiefenkarten, die Informationen zum Abstand zwischen der Kamera und Objekten in der Szene liefern und so realistischere Verdeckungs- und Interaktionseffekte ermöglichen.
- Passthrough
- Die Möglichkeit, reale Kameraaufnahmen mit virtuellen Inhalten zu kombinieren und so ein Mixed Reality-Erlebnis zu schaffen, das die physische und die digitale Welt nahtlos miteinander verbindet.
- Szenen-Meshing
- Die Möglichkeit, ein 3D-Mesh der Umgebung zu erstellen, das für Physik, Verdeckung und andere weltbezogene Interaktionen verwendet werden kann.
- Passthrough für Kompositionsebene
- Ermöglicht das Ausschneiden von Polygonen in der Kompositionsebene, um reale Objekte in eine Szene einzufügen.
- Gesichtstracking
- Die Möglichkeit, die Gesichtszüge des Nutzers zu erfassen, um realistischere und ausdrucksstärkere Avatare und virtuelle Charaktere zu erstellen.
- Eye-Tracking
- Liefert die Position und Ausrichtung des Auges des Nutzers, um die Augenposition für Avatare realistischer zu gestalten.
- Hand tracking
- Die Möglichkeit, die Position und Bewegung der Hände des Nutzers zu erfassen.
- Hand-Mesh
- Stellt die Hände des Nutzers als Low-Poly-Mesh dar. Für die Übermittlung von der Plattform zur Anwendung optimiert, um die bestmögliche Leistung zu erzielen. Das ist eine Alternative zu anderen Erweiterungen, die eine Bind-Pose und Blend-Gewichtungen verwenden.
- Lichtschätzung
- Wird für Beleuchtungsmodelle verwendet, um die Beleuchtungsbedingungen in der realen Welt des Nutzers zu berücksichtigen.
Unterstützte Eingabegeräte
Android XR unterstützt auch die folgenden Eingabegeräte.
- Handinteraktion
- Die Erkennung bestimmter Handgesten wie Zusammenziehen, Wischen und Zeigen, die es Nutzern ermöglichen, mit virtuellen Objekten durch Gesten und Handbewegungen zu interagieren.
- Blicksteuerung
- Die Möglichkeit, die Augenbewegungen des Nutzers zu verfolgen, sodass er virtuelle Objekte mit seinem Blick auswählen und mit ihnen interagieren kann.
- 6DoF‑Bewegungscontroller
- Die Möglichkeit, die Position und Bewegung der Controller sowie die D-Pad- und Schaltflächenzuweisungen zum Auslösen von Aktionen oder Hover-Ereignissen in der Anwendung zu verfolgen.
- Mausinteraktion
- Die Möglichkeit für Nutzer, über einen Mauszeiger im 3D-Raum mit Objekten zu interagieren
Unterstützte Leistungsfunktionen
Android XR unterstützt die folgenden leistungsbezogenen Funktionen.
- Foveation mit Eye-Tracking
- Ermöglicht einer App, Inhalte mit höherer Auflösung nur am Fokuspunkt der Augen zu rendern.
- Space Warp
- Verwendet Geschwindigkeitsvektoren und Informationen zur Tiefenstruktur, um Zwischenbilder zu generieren, wodurch die Framerate effektiv erhöht wird, die erforderlich ist, um Nutzer in Ihre Erlebnisse einzutauchen
- Leistungsmesswerte
- Stellt Android XR-Leistungsmesswerte zur Laufzeit des aktuellen XR-Geräts, Compositors und der XR-Anwendung bereit. Dazu gehören die CPU-Frame-Zeit, die GPU-Frame-Zeit, die GPU-Auslastung, die CPU-Frequenz, die Frames pro Sekunde und mehr.
Eine vollständige Liste der unterstützten Funktionen und Erweiterungen finden Sie unter OpenXR-Funktionsübersicht.
Unterstützte Engines
Unity
Die auf OpenXR basierende Unity-Unterstützung von Android XR ermöglicht es Entwicklern, mit Unity 6 Erlebnisse zu schaffen. Weitere Informationen zum Erstellen von XR-Apps mit Unity
OpenXR™ und das OpenXR-Logo sind Marken von The Khronos Group Inc. und sind in China, der Europäischen Union, Japan und dem Vereinigten Königreich als Marke eingetragen.