Twórz aplikacje na okulary z AI za pomocą pakietu SDK Android XR w wersji przedpremierowej dla programistów 3 i odblokowuj nowe funkcje, które zapewnią wciągające wrażenia

W październiku firma Samsung wprowadziła na rynek Galaxy XR – pierwsze urządzenie z Androidem XR. Z przyjemnością obserwujemy, co tworzycie. Oto, co niektórzy z naszych deweloperów mówią o swojej przygodzie z Androidem XR.

Android XR dał nam zupełnie nowy świat, w którym mogliśmy stworzyć naszą aplikację. Zespoły powinny zadać sobie pytanie: jaka jest największa i najbardziej śmiała wersja Twojego produktu, którą możesz stworzyć? To Twoja szansa, aby wreszcie zrealizować to, o czym zawsze marzyłeś(-aś), ponieważ masz teraz platformę, która Ci to umożliwi. - Kristen Coke, Calm, Lead Product Manager

Pokazaliśmy też pierwsze spojrzenie na inne nadchodzące urządzenia, które będą współpracować z Androidem XR, takie jak Project Aura od XREAL i stylowe okulary od Gentle Monster i Warby Parker.

Aby wspierać rosnącą ofertę urządzeń z XR, udostępniamy trzecią wersję przedpremierową dla programistów pakietu SDK Android XR.

Dzięki trzeciej wersji przedpremierowej pakietu SDK Android XR dla programistów możesz nie tylko tworzyć wciągające aplikacje na urządzenia takie jak Galaxy XR, ale też aplikacje wykorzystujące rzeczywistość rozszerzoną na nadchodzące okulary z AI z Androidem XR. 

Nowe narzędzia i biblioteki do tworzenia rozszerzonych doświadczeń

W wersji przedpremierowej 3 udostępniamy narzędzia i biblioteki potrzebne do tworzenia inteligentnych i bezobsługowych rozszerzonych doświadczeń dla okularów z AI. Okulary AI są lekkie i poręczne, więc można je nosić przez cały dzień. Możesz rozszerzyć istniejącą aplikację mobilną, aby wykorzystać wbudowane głośniki, aparat i mikrofon do zapewnienia nowych, przemyślanych i przydatnych interakcji z użytkownikiem. Dzięki niewielkiemu wyświetlaczowi na okularach AI możesz prywatnie prezentować informacje użytkownikom. Okulary AI doskonale sprawdzają się w przypadku funkcji, które pomagają użytkownikowi skupić się na otaczającym go świecie i w nim uczestniczyć.

Aby umożliwić korzystanie z rozszerzonej rzeczywistości na okularach z AI, wprowadzamy 2 nowe, specjalnie opracowane biblioteki do pakietu Jetpack XR SDK:

• Jetpack Projected – zaprojektowany, aby łączyć urządzenia mobilne i okulary AI za pomocą funkcji, które umożliwiają dostęp do czujników, głośników i wyświetlaczy w okularach.
• Jetpack Compose Glimmer – nowy język projektowania i komponenty interfejsu do tworzenia i stylizowania rozszerzonych doświadczeń na wyświetlaczu okularów AI.

Jetpack Compose Glimmer to demonstracja sprawdzonych metod projektowania pięknych, optycznie przezroczystych doświadczeń rozszerzonej rzeczywistości. Jetpack Compose Glimmer zawiera komponenty interfejsu zoptymalizowane pod kątem sposobu wprowadzania danych i wymagań dotyczących stylu wyświetlania okularów AI. Zapewnia przejrzystość, czytelność i minimalne rozpraszanie uwagi.

Aby ułatwić wizualizację i testowanie interfejsu Glimmer w Jetpack Compose, wprowadzamy w Android Studio emulator okularów AI. Nowy emulator okularów AI może symulować interakcje charakterystyczne dla okularów, takie jak touchpad i głosowe wprowadzanie tekstu. 

Oprócz nowych bibliotek Jetpack Projected i Jetpack Compose Glimmer rozszerzamy też ARCore dla Jetpack XR, aby obsługiwać okulary AI. Zaczynamy od śledzenia ruchu i funkcji geoprzestrzennych, które umożliwiają tworzenie rozszerzonych doświadczeń, czyli funkcji, które pozwalają tworzyć przydatne rozwiązania nawigacyjne idealne do urządzeń noszonych przez cały dzień, takich jak okulary AI.

Rozszerzanie obsługi realistycznych doświadczeń

Nadal inwestujemy w biblioteki i narzędzia, które umożliwiają immersyjne doświadczenia na goglach XR, takich jak Samsung Galaxy XR, oraz przewodowych okularach XR, takich jak nadchodzący Project Aura od XREAL. Wysłuchaliśmy Waszych opinii i od czasu wersji Developer Preview 2 dodaliśmy do pakietu Jetpack XR SDK kilka bardzo oczekiwanych funkcji.

Jetpack SceneCore  obsługuje teraz dynamiczne wczytywanie modeli glTF za pomocą identyfikatorów URI i ulepszone materiały, co umożliwia tworzenie nowych materiałów PBR w czasie działania. Dodatkowo komponent SurfaceEntity został wzbogacony o pełną obsługę zarządzania prawami cyfrowymi Widevine (DRM) i nowe kształty, dzięki czemu może renderować filmy 360° i 180° w postaci kul i półkul.

W Jetpack Compose na potrzeby XR znajdziesz nowe funkcje, takie jak komponent UserSubspace, który umożliwia śledzenie zachowań użytkowników i zapewnia, że treści pozostaną w polu widzenia użytkownika niezależnie od tego, gdzie patrzy. Możesz też teraz używać animacji przestrzennych, aby uzyskać płynne przejścia, takie jak przesuwanie czy zanikanie. Aby obsługiwać rosnący ekosystem urządzeń immersyjnych o różnych możliwościach wyświetlania, możesz teraz określać rozmiary układu jako ułamki wygodnego pola widzenia użytkownika.

W Material Design for XR nowe komponenty automatycznie dostosowują się przestrzennie za pomocą zastąpień. Obejmują one okna dialogowe, które są wyświetlane w przestrzeni, oraz paski nawigacyjne, które wysuwają się w Orbiterze. Dodatkowo dostępny jest nowy komponent SpaceToggleButton, który ułatwia przełączanie się między pełną przestrzenią a innymi widokami.

W ARCore dla Jetpack XR dodaliśmy nowe funkcje percepcji, w tym śledzenie twarzy z 68 wartościami kształtu, które otwierają świat gestów twarzy. Możesz też używać śledzenia wzroku do sterowania wirtualnymi awatarami oraz map głębi, aby umożliwić bardziej realistyczne interakcje ze środowiskiem użytkownika.

W przypadku urządzeń takich jak Project Aura od XREAL wprowadzamy w Androidzie Studio emulator okularów XR. To niezbędne narzędzie zostało zaprojektowane, aby zapewnić dokładną wizualizację treści przy jednoczesnym dopasowaniu specyfikacji rzeczywistego urządzenia do pola widzenia, rozdzielczości i DPI, co przyspiesza proces tworzenia.

Jeśli tworzysz wciągające rozwiązania za pomocą Unity, rozszerzamy też możliwości percepcji w Android XR SDK for Unity. Oprócz wielu poprawek błędów i innych ulepszeń rozszerzamy możliwości śledzenia o kody QR i ArUco, obrazy płaskie i śledzenie ciała (eksperymentalne). Wprowadzamy też bardzo oczekiwaną funkcję: siatkę sceny. Umożliwia to znacznie głębsze interakcje ze środowiskiem użytkownika – Twoje treści cyfrowe mogą teraz odbijać się od ścian i wspinać się na kanapy.

A to dopiero wierzchołek góry lodowej. Więcej informacji znajdziesz na stronie elementów wprowadzających w błąd.

Zacznij już dziś!

Dziś udostępniamy trzecią wersję przedpremierową pakietu Android XR SDK dla programistów. Pobierz najnowszą wersję Android Studio Canary (Otter 3, Canary 4 lub nowszą) i zaktualizuj ją do najnowszej wersji emulatora (36.4.3 Canary lub nowszej), a następnie wejdź na stronę developer.android.com/xr, aby zacząć korzystać z najnowszych bibliotek i przykładowych aplikacji potrzebnych do tworzenia aplikacji na rosnącą liczbę urządzeń z Androidem XR. Tworzymy Androida XR razem z Tobą. Nie zapomnij podzielić się z naszym zespołem opiniami, sugestiami i pomysłami w trakcie korzystania z Androida XR.