Android XR obsługuje aplikacje utworzone za pomocą OpenXR dzięki obsłudze specyfikacji OpenXR 1.1 i wybranych rozszerzeń dostawców. OpenXR to otwarty standard, który umożliwia tworzenie realistycznych i interaktywnych doświadczeń przy użyciu wspólnego zestawu interfejsów API na wielu różnych urządzeniach z XR.
Funkcje
Android XR obsługuje funkcje, które umożliwiają tworzenie aplikacji w pełni wykorzystujących unikalne możliwości urządzeń z XR przy użyciu OpenXR. Oto niektóre z nich:
- Platforma encji przestrzennych
- Ujednolicona podstawa do rozumienia scen i rozumowania przestrzennego. Umożliwia aplikacjom wykrywanie, wyszukiwanie i śledzenie fizycznych elementów przestrzennych w środowisku (w tym płaszczyzn, siatek 3D, ramek ograniczających, obrazów, znaczników i adnotacji), filtrowanie wykrywania za pomocą granic przestrzennych, wyszukiwanie archetypów elementów, tworzenie kotwic przestrzennych dołączonych do elementów, rzutowanie promieni na elementy przestrzenne i siatki oraz zachowywanie elementów przestrzennych między sesjami aplikacji.
- Kontenery przestrzenne
- Interfejs API do obsługi okien przestrzennych na wielu platformach (
XR_EXT_spatial_containeriXR_EXT_spatial_container_self_rendering), który umożliwia aplikacjom tworzenie i renderowanie wyświetlanych kontenerów przestrzennych 3D (zarówno ograniczonych, jak i immersyjnych) za pomocą łańcuchów wymiany i warstw kompozycji OpenXR, dzięki czemu użytkownicy mogą korzystać z wielu kontenerów przestrzennych jednocześnie. - Kotwice geoprzestrzenne i geoprzestrzenne
- Umożliwia aplikacjom śledzenie pozycji względem Ziemi za pomocą usługi Visual Positioning Service (VPS) i GPS, uwierzytelnianie w usługach Google Cloud oraz umieszczanie kotwic geoprzestrzennych i kotwic powierzchniowych na określonych szerokościach i długościach geograficznych oraz wysokościach.
- Urządzenia śledzące
- Obsługuje wykrywanie płaszczyzn, czyli możliwość identyfikowania i śledzenia płaskich powierzchni w otoczeniu, co pozwala na umieszczanie obiektów wirtualnych w odniesieniu do świata rzeczywistego, oraz kotwice, czyli wirtualne punkty odniesienia, które można dołączać do obiektów lub lokalizacji w świecie rzeczywistym, dzięki czemu treści wirtualne pozostają dokładnie umiejscowione i zorientowane, nawet gdy użytkownik się porusza.
- Raycasting
- Technika używana do określania punktu przecięcia między wirtualnym promieniem a obiektami lub siatkami świata w scenie, ułatwiająca interakcje, takie jak wybieranie wirtualnych elementów i manipulowanie nimi.
- Trwałość kotwicy
- Możliwość zapisywania i przywracania kotwic w ramach wielu sesji, co pozwala na trwałe i spójne umieszczanie treści wirtualnych w środowisku.
- Śledzenie obiektów
- Możliwość śledzenia myszy, klawiatury i innych obiektów fizycznych w świecie rzeczywistym.
- Śledzenie obrazów i znaczników
- Możliwość wykrywania i śledzenia płaskich obrazów referencyjnych i fizycznych znaczników (takich jak AprilTags i ArUco) w otoczeniu.
- Śledzenie za pomocą kodu QR
- Możliwość śledzenia kodów QR w środowisku fizycznym i dekodowania ich danych.
- Tekstury głębi
- Generowanie map głębi, które dostarczają informacji o odległości między aparatem a obiektami w scenie, co umożliwia uzyskanie bardziej realistycznych efektów okluzji i interakcji.
- Przekazywanie
- Możliwość łączenia nagrań z kamery z treściami wirtualnymi, co pozwala tworzyć rzeczywistość mieszaną, która płynnie łączy świat fizyczny i cyfrowy.
- Globalne przyciemnianie trybu passthrough
- Umożliwia aplikacjom ustawianie i sprawdzanie globalnego poziomu przyciemniania, aby łączyć treści wirtualne z otoczeniem fizycznym, oraz otrzymywanie zdarzeń, gdy poziom przyciemniania się zmienia.
- Zmiękczanie krawędzi widocznego obszaru
- Udostępnia obszar obwodowy z efektem wtapiania zastosowany przez środowisko wykonawcze, dzięki czemu aplikacje mogą rozmieszczać elementy interfejsu w bezpiecznym obszarze, na który nie ma wpływu wtapianie obwodowe.
- Siatka sceny
- Możliwość uzyskania siatki 3D otoczenia, którą można wykorzystać do fizyki, okluzji i innych interakcji uwzględniających świat.
- Przekazywanie warstwy kompozycji
- Umożliwia wycięcie warstwy kompozycji wielokąta, co pozwala na wprowadzanie obiektów ze świata rzeczywistego do sceny.
- Śledzenie twarzy
- Możliwość śledzenia cech twarzy użytkownika na podstawie wizualnych i dźwiękowych źródeł danych, co pozwala na tworzenie bardziej realistycznych i ekspresyjnych awatarów oraz postaci wirtualnych.
- Śledzenie wzroku
- Udostępnia pozycję i orientację oka użytkownika, co ma na celu zwiększenie realizmu pozycji oczu awatarów.
- Śledzenie rąk
- Możliwość śledzenia pozycji i ruchu dłoni użytkownika.
- Siatka dłoni
- Zapewnia dokładne odwzorowanie dłoni użytkownika w postaci siatki o niskiej liczbie wielokątów. Zoptymalizowany pod kątem dostarczania z platformy do aplikacji, aby zapewnić najlepszą możliwą wydajność. Jest to alternatywa dla innych rozszerzeń, które używają pozy wiązania i wag mieszania.
- Śledzenie ciała
- Szacuje pozycje i proporcje stawów użytkownika na podstawie danych ze śledzenia głowy i rąk.
- Szacowanie oświetlenia
- Służy do dopasowywania modeli oświetlenia (w tym oświetlenia kierunkowego, otoczenia, sferycznego i mapy sześciennej) do rzeczywistych warunków oświetleniowych użytkownika.
Obsługiwane urządzenia wejściowe
Android XR obsługuje też te urządzenia wejściowe.
- Interakcja za pomocą dłoni
- Rozpoznawanie określonych gestów dłoni, takich jak szczypanie, przesuwanie i wskazywanie, umożliwia użytkownikom interakcję z wirtualnymi obiektami za pomocą gestów i ruchów dłoni.
- Interakcja za pomocą wzroku
- Możliwość śledzenia ruchów oczu użytkownika, co pozwala mu wybierać obiekty wirtualne i wchodzić z nimi w interakcję za pomocą wzroku.
- Kontrolery ruchu 6DoF
- Możliwość śledzenia pozycji i ruchu kontrolerów oraz powiązania przycisków i pada kierunkowego z wywoływaniem działań lub zdarzeń najechania kursorem w aplikacji.
- Interakcja z myszą
- Możliwość interakcji użytkowników z obiektami za pomocą wskaźnika myszy w przestrzeni 3D
Obsługiwane funkcje dotyczące wydajności
Android XR obsługuje te funkcje związane z wydajnością.
- Śledzenie wzroku i fowiacja
- Zezwala aplikacji na renderowanie treści o wyższej rozdzielczości tylko w punkcie skupienia wzroku.
- Zakrzywienie przestrzeni
- Wykorzystuje wektory prędkości i informacje o teksturze głębi do generowania klatek pośrednich, co skutecznie zwiększa liczbę klatek wymaganą do zapewnienia użytkownikom wrażeń na najwyższym poziomie
- Synteza klatek
- Wykorzystuje wektory ruchu i dane klatek dostarczane przez aplikację do syntezy klatek pośrednich, co poprawia płynność obrazu i liczbę klatek.
- Wskaźniki dotyczące skuteczności
- Zapewnia wskaźniki wydajności Androida XR w czasie działania bieżącego urządzenia z XR, kompozytora i aplikacji XR. Obejmuje to czas renderowania klatki przez procesor i GPU, wykorzystanie GPU, częstotliwość procesora, liczbę klatek na sekundę i inne dane.
Pełną listę obsługiwanych funkcji i rozszerzeń znajdziesz w artykule OpenXR Feature Overview (Omówienie funkcji OpenXR).
Obsługiwane wyszukiwarki
W przypadku programowania w OpenXR na Androidzie XR obsługiwane są te silniki.
Unity
Obsługa Unity w Androidzie XR, oparta na OpenXR, umożliwia deweloperom tworzenie treści za pomocą Unity 6. Więcej informacji o tworzeniu aplikacji XR za pomocą Unity znajdziesz w omówieniu Unity.
Unreal Engine
Unreal Engine obsługuje Androida XR za pomocą standardu OpenXR, co pozwala na korzystanie ze standardowych narzędzi i procesów w Unreal Engine 5. Więcej informacji o tworzeniu aplikacji XR za pomocą Unreal Engine znajdziesz w omówieniu Unreal Engine.
Godot
Godot obsługuje Androida XR dzięki integracji z OpenXR, co umożliwia tworzenie i eksportowanie aplikacji XR na Androida przy użyciu standardowego przepływu pracy Godot. Więcej informacji o tworzeniu aplikacji XR za pomocą Godot znajdziesz w omówieniu Godot.
OpenXR™ i logo OpenXR są znakami towarowymi należącymi do firmy The Khronos Group Inc. i są zarejestrowane jako znaki towarowe w Chinach, Japonii, Unii Europejskiej i Wielkiej Brytanii.