Twórz aplikacje na okulary z AI za pomocą pakietu SDK Android XR w wersji przedpremierowej dla programistów 3 i odblokuj nowe funkcje, które zapewnią użytkownikom realistyczne wrażenia

W październiku firma Samsung wprowadziła na rynek Galaxy XR – pierwsze urządzenie z Androidem XR. Z przyjemnością obserwujemy, co niektórzy z Was tworzą. Oto co niektórzy z naszych deweloperów mówią o swojej przygodzie z Androidem XR.

Android XR dał nam zupełnie nowy świat, w którym możemy tworzyć naszą aplikację. Zespoły powinny zadać sobie pytanie: jaka jest największa, najbardziej odważna wersja doświadczenia, którą można stworzyć? To Twoja szansa, aby wreszcie zrealizować to, co zawsze było Twoim marzeniem, ponieważ teraz masz platformę, która może Ci w tym pomóc. - Kristen Coke, Calm, Lead Product Manager

Pokazaliśmy też pierwsze urządzenia, które będą działać z Androidem XR, takie jak Project Aura od XREAL oraz stylowe okulary od Gentle Monster i Warby Parker.

Aby ułatwić obsługę coraz większej liczby urządzeń z XR, ogłaszamy trzecią wersję przedpremierową dla programistów pakietu SDK Android XR.

Dzięki pakietowi Android XR SDK w wersji przedpremierowej dla programistów 3 możesz nie tylko tworzyć funkcje immersyjne na urządzenia takie jak Galaxy XR, ale także funkcje rozszerzone na nadchodzące okulary z AI z Androidem XR. 

Nowe narzędzia i biblioteki do tworzenia rozszerzonych doświadczeń

W trzeciej wersji przedpremierowej dla programistów udostępniamy narzędzia i biblioteki, które są potrzebne do tworzenia inteligentnych i obsługiwanych bez użycia rąk funkcji rozszerzonych na okulary z AI. Okulary z AI są lekkie i poręczne, dzięki czemu można je nosić przez cały dzień. Możesz rozszerzyć istniejącą aplikację mobilną, aby wykorzystać wbudowane głośniki, kamerę i mikrofon do zapewnienia nowych, przemyślanych i pomocnych interakcji z użytkownikiem. Dzięki dodaniu małego wyświetlacza do okularów AI z wyświetlaczem możesz prywatnie prezentować informacje użytkownikom. Okulary AI doskonale nadają się do zastosowań, które mogą pomóc użytkownikowi skupić się i być obecnym w prawdziwym świecie.

Aby zapewnić lepsze wrażenia podczas korzystania z okularów z AI, wprowadzamy do pakietu SDK Jetpack XR 2 nowe, specjalnie zaprojektowane biblioteki:

• Jetpack Projected – stworzony, aby połączyć urządzenia mobilne i okulary z AI za pomocą funkcji, które umożliwiają dostęp do czujników, głośników i wyświetlaczy w okularach.
• Jetpack Compose Glimmer – nowy język projektowania i komponenty interfejsu do tworzenia i stylizowania rozszerzonych funkcji na okularach AI z wyświetlaczem.

Jetpack Compose Glimmer to demonstracja sprawdzonych metod projektowania pięknych, optycznych, przezroczystych doświadczeń rozszerzonych. Dzięki komponentom interfejsu zoptymalizowanym pod kątem sposobu wprowadzania danych i wymagań dotyczących stylu okularów AI z wyświetlaczem Jetpack Compose Glimmer zapewnia przejrzystość, czytelność i minimalną liczbę elementów rozpraszających uwagę.

Aby ułatwić wizualizację i testowanie interfejsu Glimmer w Jetpack Compose, wprowadzamy emulator okularów z AI w Android Studio. Nowy emulator okularów AI może symulować interakcje charakterystyczne dla okularów, takie jak wprowadzanie głosowe i za pomocą panelu dotykowego. 

Oprócz nowych bibliotek Jetpack Projected i Jetpack Compose Glimmer rozszerzamy też ARCore for Jetpack XR, aby obsługiwać okulary AI. Zaczynamy od śledzenia ruchu i funkcji geoprzestrzennych, które umożliwiają tworzenie przydatnych funkcji nawigacji idealnych dla urządzeń noszonych przez cały dzień, takich jak okulary z AI.

Rozszerzanie obsługi realistycznych doświadczeń

Nadal inwestujemy w biblioteki i narzędzia, które umożliwiają korzystanie z immersyjnych funkcji na goglach XR, takich jak Samsung Galaxy XR, oraz na przewodowych okularach XR, takich jak nadchodzący Project Aura od XREAL. Wysłuchaliśmy Waszych opinii i od wersji przedpremierowej dla programistów 2 dodaliśmy do pakietu SDK Jetpack XR kilka funkcji, o które prosiliście.

Jetpack SceneCore  obsługuje teraz dynamiczne ładowanie modeli glTF za pomocą identyfikatorów URI i ulepszone materiały do tworzenia nowych materiałów PBR w czasie działania. Dodatkowo komponent SurfaceEntity został ulepszony o pełną obsługę zarządzania prawami cyfrowymi (DRM) i nowe kształty, co pozwala mu renderować filmy 360° i 180° w sferach i półkulach.

W Jetpack Compose for XR znajdziesz nowe funkcje, takie jak komponent UserSubspace do śledzenia zachowania, który zapewnia, że treści pozostają w polu widzenia użytkownika niezależnie od tego, gdzie patrzy. Możesz też używać animacji przestrzennych, aby uzyskać płynne przejścia, takie jak przesuwanie czy zanikanie. Aby wspierać rozwijający się ekosystem urządzeń immersyjnych o różnych możliwościach wyświetlania, możesz teraz określać rozmiary układu jako ułamki wygodnego pola widzenia użytkownika.

W Material Design for XR nowe komponenty automatycznie dostosowują się przestrzennie za pomocą zastąpień. Są to m.in. okna dialogowe, które rozszerzają się przestrzennie, oraz paski nawigacyjne, które wyskakują w Orbiterze. Dodatkowo dostępny jest nowy komponent SpaceToggleButton, który ułatwia przechodzenie do trybu pełnej przestrzeni i wychodzenie z niego.

W ARCore for Jetpack XR dodaliśmy nowe funkcje percepcji, w tym śledzenie twarzy z 68 wartościami blendshape, co otwiera świat gestów mimicznych. Możesz też używać śledzenia wzroku do sterowania wirtualnymi awatarami oraz map głębi, aby umożliwić bardziej realistyczne interakcje ze środowiskiem użytkownika.

W przypadku urządzeń takich jak Project Aura firmy XREAL wprowadzamy w Android Studio emulator okularów XR. To niezbędne narzędzie zostało zaprojektowane tak, aby zapewniać dokładną wizualizację treści, a jednocześnie dopasowywać rzeczywiste specyfikacje urządzenia pod kątem pola widzenia, rozdzielczości i DPI, co przyspiesza proces tworzenia.

Jeśli tworzysz immersyjne środowiska za pomocą Unity, rozszerzamy też możliwości percepcji w pakiecie Android XR SDK for Unity. Oprócz wielu poprawek błędów i innych ulepszeń rozszerzamy możliwości śledzenia, aby obejmowały kody QR i ArUco, obrazy planarne oraz śledzenie ciała (eksperymentalne). Wprowadzamy też funkcję, o którą często prosili użytkownicy: siatkę sceny. Umożliwia znacznie głębsze interakcje ze środowiskiem użytkownika – treści cyfrowe mogą teraz odbijać się od ścian i wspinać po kanapach.

A to tylko wierzchołek góry lodowej. Więcej informacji znajdziesz na stronie poświęconej funkcjom immersyjnym.

Zacznij już dziś!

Trzecia wersja przedpremierowa pakietu SDK Android XR dla programistów jest już dostępna. Pobierz najnowszą wersję Android Studio Canary (Otter 3, Canary 4 lub nowszą) i zaktualizuj emulator do najnowszej wersji (36.4.3 Canary lub nowszej), a następnie wejdź na developer.android.com/xr, aby zacząć korzystać z najnowszych bibliotek i przykładów, które są potrzebne do tworzenia aplikacji na coraz większą liczbę urządzeń z Androidem XR. Tworzymy Androida XR razem z Tobą. Nie zapomnij podzielić się z naszym zespołem opiniami, sugestiami i pomysłami, gdy będziesz poznawać Androida XR.