Erste Schritte mit dem Android XR Interaction Framework für Unity

Das Android XR Interaction Framework (AXRIF) bietet vertraute, allgemeine, meinungsbasierte Interaktionen für OpenXR-Anwendungen unter Android XR. AXRIF schließt die Lücke zwischen Interaktionen auf Systemebene und In-App-Interaktionen und bietet eine intuitive und einheitliche Möglichkeit, Nutzereingaben zu verarbeiten.

In diesem Leitfaden erfahren Sie, wie Sie AXRIF mit Unity einrichten und verwenden.

Vorbereitung

Bevor Sie beginnen, sollten Sie prüfen, ob Ihre Entwicklungsumgebung die folgenden Anforderungen erfüllt:

• Unity-Version: Unity 6 Version 6000.3.12f1 oder höher.
• Projekteinrichtung: Führen Sie alle Schritte im Leitfaden zur Einrichtung von Unity-Projekten aus.

Unity einrichten und konfigurieren

Bevor Sie die Beispielszenen ausprobieren können, müssen Sie Unity für AXRIF einrichten und konfigurieren. Führen Sie dazu die Schritte in den folgenden Abschnitten aus.

AXRIF-Paket importieren

Installieren Sie zuerst das AXRIF-Paket und seine Abhängigkeiten:

1. Klicken Sie auf Window > Package Manager (Fenster > Paketmanager).
2. Öffnen Sie das Menü „Hinzufügen“ in der Symbolleiste des Paket-Managers.
3. Klicken Sie in den Optionen zum Hinzufügen von Paketen auf das + (Pluszeichen).

4. Wählen Sie im Drop-down-Menü Install package from git URL (Paket über Git-URL installieren) aus.

   

5. Gib die folgende URL ein:

   https://github.com/android-xr/android-xr-interaction-framework-unity-package.git

6. Klicken Sie auf Installieren.

   

Version des XR Interaction Toolkits prüfen

Das AXRIF-Paket funktioniert zusammen mit dem Unity XR Interaction Toolkit (XRIT) und ersetzt es nicht. Da das AXRIF-Paket eine Abhängigkeit von XRIT definiert, sollte Unity XRIT installiert haben, als Sie das AXRIF-Paket in den vorherigen Schritten installiert haben. Sie sollten jedoch prüfen, ob Version 3.3.1 oder höher installiert ist. Gehen Sie dazu im Unity-Editor zu Window > Package Manager > Unity Registry > XR Interaction Toolkit.

Android XR-Build-Profil auswählen

Wählen Sie das Android XR-Build-Profil aus, um die entsprechenden OpenXR-Erweiterungen und Build-Einstellungen für Android XR zu aktivieren:

1. Rufen Sie Datei > Build-Profile auf.

2. Klicken Sie auf Android XR und dann auf Plattform wechseln.

   

OpenXR-Einstellungen konfigurieren

Konfigurieren Sie die OpenXR-Einstellungen von Unity so, dass Unity auf die erforderlichen OpenXR-Daten zugreifen kann:

1. Gehen Sie zu Bearbeiten > Projekteinstellungen > XR-Plug-in-Verwaltung > OpenXR.
2. Klicken Sie auf dem Android-Tab im Bereich Aktivierte Interaktionsprofile auf + (Pluszeichen).

3. Fügen Sie je nach den Anforderungen Ihrer App eines der folgenden Profile hinzu:

   • Interaktionsprofil für Blicksteuerung
   • Hand-Interaktionsprofil
   • Oculus Touch-Controller-Profil
   • Android XR-Mausinteraktionsprofil

4. Aktivieren Sie in der Liste der Funktionen unter XR Plug-in Management > OpenXR die folgenden Funktionen:

   • Android XR (Extensions): Passthrough Composition Layer
   • Android XR (Erweiterungen): Sitzungsverwaltung
   • Android XR-Support
   • Android XR: AR-Kamera
   • Android XR: AR-Sitzung
   • Android XR: AR-Hand-Mesh-Daten
   • Unterstützung von Kompositionsebenen
   • Handtracking-Subsystem

Projekt validieren

Führen Sie die Projektvalidierung durch, um OpenXR-Fehler in der Konfiguration Ihres Projekts zu beheben:

1. Klicken Sie auf Edit > Project Settings > XR Plug-in Management > Project Validation.

2. Beheben Sie alle ausstehenden Benachrichtigungen oder Warnungen, damit sich Laufzeitfehler nicht auf die Kompilierung auswirken.

   

Beispielszenen verwenden

Nachdem Sie die vorläufige Einrichtung und Konfiguration abgeschlossen haben, können Sie die AXRIF-Beispielszenen verwenden. Folgen Sie der Anleitung in den folgenden Abschnitten, um die Beispielszene zu erhalten und auszuprobieren.

XRIT-Beispielpakete und AXRIF-Beispiel importieren

Die AXRIF-Beispielszenen hängen von den Starter-Assets des XR Interaction Toolkit (XRIT) von Unity und den Beispielpaketen für die Hands Interaction Demo ab.

XRIT-Beispielpakete importieren

Importieren Sie die XRIT-Beispielpakete, von denen das AXRIF-Beispiel abhängt:

1. Klicken Sie auf Window > Package Manager (Fenster > Paketmanager).
2. Wählen Sie XR Interaction Toolkit aus der Paketliste aus.

3. Klicken Sie auf dem Tab Samples (Beispiele) neben Starter Assets (Starter-Assets) und Hands Interaction Demo (Demo zur Interaktion mit Händen) auf Import (Importieren).

   

AXRIF-Beispiel importieren

Importieren Sie das AXRIF-Beispiel, um die Beispielszenen zu erhalten:

1. Klicken Sie auf Window > Package Manager (Fenster > Paketmanager).
2. Wählen Sie Android XR Interaction Framework aus der Paketliste aus.

3. Klicken Sie auf dem Tab Samples neben Axrif Sample auf Import.

   

Szene öffnen

Nachdem Sie die erforderlichen Beispielpakete importiert haben, können Sie die Szene öffnen:

1. Gehen Sie zu Assets > Samples > Android XR Interaction Framework > [AXRIF-Versionsnummer] > Axrif Sample.

2. Öffnen Sie AxrifDemoScene.

   

Prefabs ansehen

Die Szene ist mit modularen Prefabs vorkonfiguriert, die sich unter Packages > Android XR Interaction Framework > Prefabs befinden.

Interactor-Prefabs

Die Axrif Interactor-Prefabs steuern die Unity XRIT-Interactor-Mechanismen mithilfe der entsprechenden Eingabemodalitäten aus der folgenden Liste:

• Hand-/Controller-Ray:
  • Axrif Left Interactor: Verwendet den Raycast oder Controller der linken Hand.
  • Axrif Right Interactor: Verwendet Raycast oder Controller der rechten Hand.
• Blick-Pinch:
  • Axrif Left GazePinch Interactor: Verwendet Blickrichtung und Bewegung der linken Hand beim Zupacken.
  • Axrif Right GazePinch Interactor: Verwendet Blickrichtung und Bewegung der rechten Hand beim Zupacken.
  • Axrif Gaze Interactor: Verwendet Blickrichtung nur zum Zeigen.
• Hand Poke:
  • Axrif Left Poke Interactor: Verwendet den linken Zeigefinger beim Berühren von interaktiven Elementen.
  • Axrif Right Poke Interactor: Verwendet den rechten Zeigefinger beim Berühren von interaktiven Elementen.
• Maus:
  • Axrif Mouse Interactor: Verwendet die räumliche Maus von Android XR.

Axrif Interaction Manager- und Origin-Prefabs

• Axrif Interaction Manager: Dieses Prefab ist der zentrale Hub für AXRIF in der Szene. Das Prefab enthält die Komponente „Axrif Interaction Manager“, die für die Zusammenarbeit mit dem XRIT XR Interaction Manager entwickelt wurde. Dieses Prefab ist für Folgendes verantwortlich:

  • Initialisierung und Verwaltung der AXRIF-Kernsubsysteme zur Laufzeit.
  • Verarbeitung und Weiterleitung von Eingabedaten aus OpenXR mithilfe des Interaction Framework Input Adapter.
  • UI- und Collider-Zustände mit dem Scene Integrator des Interaction Framework beobachten.

• Axrif XR Origin: Dient als Hauptfigur und Kameratreiber und verwaltet die Visualisierung von Hand-Meshes.

Eingabeaktionen konfigurieren

Um die OpenXR-Laufzeitdaten mit den Unity-Eingabeaktionen zu verknüpfen, registrieren Sie projektweite Map-Bindungen:

1. Gehen Sie zu Packages > Android XR Interaction Framework > InputActions.
2. Suchen Sie nach AndroidXRInteractionFramework Input Actions.

3. Klicken Sie auf Als projektweite Eingabeaktionen zuweisen.

   

Interaktionen ändern

Mit dem Axrif Interaction Manager-Prefab können Sie verschiedene Eingabemodalitäten aktivieren oder deaktivieren. AXRIF unterstützt die folgenden Eingabemodalitäten:

• Controller-Raycasting
• Zusammenziehen und Blick
• Hand-Raycasting
• Direkte Hand
• Mausinteraktionen.

Sie können Eingabemodalitäten direkt im Inspector im Bereich Configurations der Komponente Interaction Framework Manager konfigurieren.

Beispiel erstellen

Wenn Sie das Beispiel erstellen möchten, klicken Sie im Unity-Editor auf Build (Erstellen) oder Build and Run (Erstellen und ausführen).