产品资讯

使用 Android XR SDK 开发者预览版 3 为 AI 眼镜打造应用,解锁新功能,带来沉浸式体验

阅读用时:3 分钟
查看 Matthew McCullough 的个人资料
Matthew McCullough Android 开发者团队产品管理副总裁

10 月,三星推出了首款搭载 Android XR 的设备 Galaxy XR。看到大家开发出的成果,我们感到非常惊艳!以下是一些开发者对 Android XR 探索之旅的评价。

Android XR 为我们提供了一个全新的世界,让我们可以在其中构建应用。团队应该问问自己:你们能打造出的最大胆、最宏大的体验是什么?现在,你终于有机会将一直想做的事情付诸行动,因为你拥有了可以实现这一目标的平台。- Kristen Coke,Calm,首席产品经理

此外,我们还率先展示了其他即将推出的支持 Android XR 的设备,例如 XREAL 的 Project Aura,以及 Gentle Monster 和 Warby Parker 的时尚眼镜。

为了支持不断增加的 XR 设备,我们宣布推出 Android XR SDK 开发者预览版 3!

image.png

借助 Android XR SDK 开发者预览版 3,您不仅可以为 Galaxy XR 等设备打造沉浸式体验,现在还可以为即将推出的搭载 Android XR 的 AI 眼镜打造增强体验。

用于增强体验的新工具和库

借助开发者预览版 3,我们为您提供了所需的工具和库,助您为 AI 眼镜打造智能且免触摸的增强现实体验。AI 眼镜轻巧便携,适合全天佩戴。您可以扩展现有移动应用,利用内置扬声器、摄像头和麦克风,提供全新、贴心且实用的用户互动体验。显示型 AI 眼镜额外提供一块小型显示屏,让您能够以私密方式向用户呈现信息。AI 眼镜非常适合用于帮助用户在现实世界中提高专注度和临场感的体验。

image.png

为了在 AI 眼镜上实现增强体验,我们在 Jetpack XR SDK 中引入了两个全新的专用库:

Jetpack Compose Glimmer 演示了如何运用设计最佳实践,打造精美、光学透视的增强体验。Jetpack Compose Glimmer 针对 AI 带屏眼镜的输入模式和样式要求优化了界面组件,旨在提供清晰、易读且干扰最小的体验。

image.png

为了帮助您直观呈现和测试 Jetpack Compose Glimmer 界面,我们在 Android Studio 中推出了 AI 眼镜模拟器。全新的 AI 眼镜模拟器可以模拟眼镜特有的互动方式,例如触控板和语音输入。

AI Glasses Emulator.gif

除了新的 Jetpack Projected 和 Jetpack Compose Glimmer 库之外,我们还扩展了 ARCore for Jetpack XR,以支持 AI 眼镜。我们首先推出了动作追踪和地理空间功能,以打造增强体验。这些功能可让您创建实用的导航体验,非常适合 AI 眼镜等全天佩戴的设备。

navigation.webp

扩大对沉浸式体验的支持

我们持续投资于库和工具,为 Samsung Galaxy XR 等 XR 头戴设备以及 XREAL 即将推出的 Project Aura 等有线 XR 眼镜提供沉浸式体验。我们一直在倾听您的反馈,并自开发者预览版 2 以来,在 Jetpack XR SDK 中添加了多项呼声很高的功能。

Jetpack SceneCore  现在支持通过 URI 动态加载 glTF 模型,并改进了材质支持,以便在运行时创建新的 PBR 材质。此外,SurfaceEntity 组件也得到了增强,现在可提供全面的 Widevine 数字版权管理 (DRM) 支持和新形状,从而能够在球体和半球体中渲染 360 度和 180 度视频。

在 Jetpack Compose for XR 中,您会发现一些新功能,例如用于实现跟随行为的 UserSubspace 组件,可确保内容始终位于用户的视野中,无论用户看向何处。此外,您现在可以使用空间动画实现平滑过渡,例如滑动或淡入淡出。为了支持具有各种显示功能的沉浸式设备生态系统不断扩大,您现在可以将布局大小指定为用户舒适视野范围的分数。

在 Material Design for XR 中,新组件会通过替换自动适应空间。其中包括在空间上提升的对话框,以及弹出到轨道器中的导航栏。此外,还新增了 SpaceToggleButton 组件,可轻松切换到全沉浸空间或从中退出。


在 ARCore for Jetpack XR 中,我们新增了感知功能,包括支持 68 个混合形状值的面部追踪,可解锁各种面部动作。您还可以使用眼动追踪功能来驱动虚拟形象,并使用深度图功能来实现与用户环境更逼真的互动。

对于 XREAL 的 Project Aura 等设备,我们将在 Android Studio 中推出 XR 眼镜模拟器。这款重要工具旨在为您提供准确的内容可视化效果,同时匹配真实设备的视野范围 (FoV)、分辨率和 DPI 规格,从而加快开发速度。

xrglasses-emulator-haxr-cropped.webp

如果您使用 Unity 构建沉浸式体验,我们还会在 Android XR SDK for Unity 中扩展您的感知功能。除了大量问题修复和其他改进之外,我们还扩展了跟踪功能,使其支持:二维码和 ArUco 码、平面图像和身体跟踪(实验性)。我们还推出了备受期待的功能:场景网格化。它让您能够与用户的环境进行更深入的互动,您的数字内容现在可以从墙壁上弹起,甚至爬上沙发!

而这仅仅是冰山一角!请务必查看我们的沉浸式体验页面,了解更多信息。

立即开始使用!

Android XR SDK 开发者预览版 3 现已推出!下载最新的 Android Studio Canary(Otter 3、Canary 4 或更高版本),并升级到最新的模拟器版本(36.4.3 Canary 或更高版本),然后访问 developer.android.com/xr,获取最新的库和示例,开始为日益丰富的 Android XR 设备构建应用。我们正在与您携手打造 Android XR!在探索 Android XR 的过程中,别忘了与我们的团队分享您的反馈、建议和想法。

作者:
继续阅读