ติดตามท่าทางของอุปกรณ์โดยใช้ ARCore สำหรับ Jetpack XR

อุปกรณ์ XR ที่รองรับ
คำแนะนำนี้จะช่วยคุณสร้างประสบการณ์การใช้งานสำหรับอุปกรณ์ XR ประเภทนี้
ดูข้อมูลเกี่ยวกับประเภทอุปกรณ์ XR →
ชุดหูฟัง XR
แว่นตา XR แบบมีสาย
แว่นตา AI
ดูข้อมูลเกี่ยวกับประเภทอุปกรณ์ XR →

ARCore สำหรับ Jetpack XR ช่วยให้แอปดึงท่าทางของอุปกรณ์ได้ ซึ่งก็คือ การวางแนว (ระดับเสียง การหมุน การม้วน) และตำแหน่ง (X, Y, Z) ของอุปกรณ์ที่สัมพันธ์ กับจุดกำเนิดของโลก

ใช้ข้อมูลนี้เพื่อแสดงเนื้อหาดิจิทัลในโลกแห่งความเป็นจริง หรือแปลงท่าทางของอุปกรณ์เป็นท่าทางเชิงพื้นที่เพื่อสร้างข้อมูลที่รับรู้ตำแหน่ง

เข้าถึงเซสชัน

เข้าถึงข้อมูลท่าทางของอุปกรณ์ผ่าน Jetpack XR Runtime Session ซึ่งแอปของคุณต้องสร้าง

กำหนดค่าเซสชัน

ระบบไม่ได้เปิดใช้ข้อมูลท่าทางของอุปกรณ์ในเซสชัน XR โดยค่าเริ่มต้น หากต้องการเปิดใช้แอปเพื่อดึงข้อมูลท่าทางของอุปกรณ์ ให้กำหนดค่าเซสชันและตั้งค่าโหมด DeviceTrackingMode.LAST_KNOWN ดังนี้

// Define the configuration object to enable tracking device pose.
val newConfig = session.config.copy(
    deviceTracking = DeviceTrackingMode.LAST_KNOWN
)
// Apply the configuration to the session.
try {
    when (val configResult = session.configure(newConfig)) {
        is SessionConfigureSuccess -> {
            // The session is now configured to track the device's pose.
        }
        else -> {
            // Catch-all for other configuration errors returned using the result class.
        }
    }
} catch (e: UnsupportedOperationException) {
    // Handle configuration failure. For example, if the specific mode is not supported on the current device or API version.
}
DevicePose.kt

อุปกรณ์ XR บางรุ่นไม่รองรับโหมด DeviceTrackingMode.LAST_KNOWN หาก Session.configure() สำเร็จ แสดงว่าอุปกรณ์รองรับโหมดนี้

รับท่าทางของอุปกรณ์

หลังจากกำหนดค่าเซสชันแล้ว คุณจะรับท่าทางของอุปกรณ์ภายใน ระบบพิกัด AR ได้โดยใช้ออบเจ็กต์ ArDevice

// Get the ArDevice instance
val arDevice = ArDevice.getInstance(session)
// There are two ways to get the device pose.

// 1. Get the current device pose once.
// This is the device's position and orientation relative to the tracking origin.
val devicePose = arDevice.state.value.devicePose
processDevicePose(devicePose)

// 2. Continuously receive updates for the device pose.
// `collect` is a suspending function that will run indefinitely and process new poses.
arDevice.state.collect { state ->
    processDevicePose(state.devicePose)
}
DevicePose.kt

รับการแปลและการหมุนของท่าทางอุปกรณ์

อุปกรณ์ Pose แสดงตำแหน่ง (การแปล) และการวางแนว (การหมุน) ของอุปกรณ์เทียบกับจุดเริ่มต้นของการติดตาม ใช้ข้อมูลนี้ในแอปเพื่อปรับปรุงประสบการณ์การใช้งานแอป ดังนี้

  1. ระบุวิธีการนำทางที่ถูกต้องตามตำแหน่ง: ข้อมูลตำแหน่ง สามารถใช้เพื่อช่วยให้ผู้ใช้ทราบตำแหน่งของตนเองและนำทางในสภาพแวดล้อมรอบตัว ด้วยความช่วยเหลือจากเนื้อหาดิจิทัลที่ซ้อนทับ

  2. คำนวณการจัดแนวโลกขั้นกลาง: ท่าทางนี้ใช้โดย Geospatial API เพื่อคำนวณตำแหน่งในโลกจริง

fun processDevicePose(pose: Pose) {
    // Extract Translation and Rotation
    val translation = pose.translation // Vector3(x, y, z)
    val rotation = pose.rotation // Quaternion (x, y, z, w)
    TODO(/* Use the translation and rotation in your app. */)
}
DevicePose.kt

แปลงท่าทางของอุปกรณ์เป็นท่าทางเชิงพื้นที่

เมื่อได้ท่าทางของอุปกรณ์แล้ว คุณจะขอท่าทางเชิงพื้นที่จากท่าทางนั้นได้ การแปลงเป็นท่าทางเชิงพื้นที่จะเปลี่ยนเนื้อหา AR จากประสบการณ์ชั่วคราวที่แยกจากกัน ให้กลายเป็นฟีเจอร์ถาวรที่แชร์กันทั่วโลกและรับรู้บริบทในโลกแห่งความจริง

ดูวิธีแปลงท่าทางของอุปกรณ์เป็นท่าทางเชิงพื้นที่ในเอกสารประกอบของ Geospatial API