Android XR รองรับแอปที่สร้างด้วย OpenXR ผ่านการรองรับ ข้อกำหนด OpenXR 1.1 และส่วนขยายของผู้ให้บริการบางราย OpenXR เป็นมาตรฐานแบบเปิดที่ช่วยให้คุณสร้างประสบการณ์การใช้งานที่สมจริงและโต้ตอบได้โดยใช้ชุด API ทั่วไปในอุปกรณ์ XR ที่หลากหลาย
ฟีเจอร์
Android XR รองรับฟีเจอร์ที่ช่วยให้คุณสร้างแอปที่ใช้ประโยชน์จากความสามารถเฉพาะของอุปกรณ์ XR ได้อย่างเต็มที่โดยใช้ OpenXR ฟีเจอร์เหล่านี้มีดังนี้
- เฟรมเวิร์กเอนทิตีเชิงพื้นที่
- รากฐานที่รวมเป็นหนึ่งเดียวสำหรับการทำความเข้าใจฉากและการให้เหตุผลเชิงพื้นที่ ช่วยให้แอปพลิเคชันค้นพบ สอบถาม และติดตามเอนทิตีเชิงพื้นที่ทางกายภาพในสภาพแวดล้อม สร้าง Anchor เชิงพื้นที่ที่แนบกับเอนทิตี ทำการ Raycasting เอนทิตีเชิงพื้นที่ และเก็บรักษาเอนทิตีเชิงพื้นที่ไว้ในเซสชันแอปพลิเคชันต่างๆ
- Trackables
- รองรับ การตรวจจับระนาบ ซึ่งเป็นความสามารถในการระบุและ ติดตามพื้นผิวเรียบภายในสภาพแวดล้อม ทำให้สามารถวาง ออบเจ็กต์เสมือนจริงที่สัมพันธ์กับโลกจริง และ Anchor ซึ่งเป็น จุดอ้างอิงเสมือนจริงที่สามารถแนบกับออบเจ็กต์หรือ ตำแหน่งในโลกจริงได้ เพื่อให้เนื้อหาเสมือนจริงยังคงอยู่ในตำแหน่งและ ทิศทางที่ถูกต้องแม้ว่าผู้ใช้จะเคลื่อนที่ไปรอบๆ
- Raycasting
- เทคนิคที่ใช้ในการกำหนดจุดตัดระหว่างรังสีเสมือนจริงกับออบเจ็กต์ในฉาก ซึ่งช่วยให้เกิดการโต้ตอบ เช่น การเลือกและการจัดการองค์ประกอบเสมือนจริง
- การเก็บรักษา Anchor
- ความสามารถในการบันทึกและกู้คืน Anchor ในหลายเซสชัน ทำให้สามารถวางเนื้อหาเสมือนจริงภายในสภาพแวดล้อมได้อย่างต่อเนื่องและสม่ำเสมอ
- การติดตามออบเจ็กต์
- ความสามารถในการติดตามเมาส์ แป้นพิมพ์ และออบเจ็กต์อื่นๆ ในโลกจริง
- การติดตามคิวอาร์โค้ด
- ความสามารถในการติดตามคิวอาร์โค้ดในสภาพแวดล้อมจริงและถอดรหัสข้อมูลของคิวอาร์โค้ด
- พื้นผิว Depth
- การสร้างแผนที่ Depth ที่ให้ข้อมูลเกี่ยวกับระยะห่างระหว่างกล้องกับออบเจ็กต์ในฉาก ทำให้เกิดเอฟเฟกต์การบดบังและการโต้ตอบที่สมจริงยิ่งขึ้น
- โปร่ง
- ความสามารถในการผสมผสานฟุตเทจจากกล้องในโลกจริงกับเนื้อหาเสมือนจริง สร้างประสบการณ์การใช้งานแบบ Mixed Reality ที่ผสานรวมโลกจริงและโลกดิจิทัลเข้าด้วยกันอย่างราบรื่น
- การสร้าง Mesh ของฉาก
- ความสามารถในการรับ Mesh 3 มิติของสภาพแวดล้อม ซึ่งสามารถใช้สำหรับการจำลองทางฟิสิกส์ การบดบัง และการโต้ตอบอื่นๆ ที่รับรู้ถึงสภาพแวดล้อม
- การแสดงผลแบบโปร่งของเลเยอร์การเรียบเรียง
- ช่วยให้สามารถตัดเลเยอร์การเรียบเรียงแบบโปร่งของรูปหลายเหลี่ยม ซึ่งสามารถใช้ในการนำออบเจ็กต์ในโลกจริงเข้ามาในฉากได้
- การติดตามใบหน้า
- ความสามารถในการติดตามฟีเจอร์ของใบหน้าผู้ใช้ ทำให้สามารถสร้างอวาตาร์และตัวละครเสมือนจริงที่สมจริงและแสดงอารมณ์ได้มากขึ้น
- การติดตามดวงตา
- ระบุตำแหน่งและการวางแนวของดวงตาผู้ใช้ ซึ่งออกแบบมาเพื่อให้ท่าทางของดวงตาสำหรับอวาตาร์สมจริงยิ่งขึ้น
- การติดตามการเคลื่อนไหวของมือ
- ความสามารถในการติดตามตำแหน่งและการเคลื่อนไหวของมือผู้ใช้
- Mesh ของมือ
- แสดงมือของผู้ใช้เป็น Mesh แบบ Low Poly ได้อย่างถูกต้องแม่นยำ ปรับให้เหมาะกับการแสดงผลจากแพลตฟอร์มไปยังแอปพลิเคชันเพื่อให้มั่นใจว่าคุณจะได้รับประสิทธิภาพที่ดีที่สุด ซึ่งเป็นทางเลือกแทนส่วนขยายอื่นๆ ที่ใช้ท่าทางผูกมัดและน้ำหนักการผสม
- การประมาณแสง
- ใช้สำหรับโมเดลแสงเพื่อให้ตรงกับสภาพแสงในโลกจริงของผู้ใช้
อุปกรณ์ป้อนข้อมูลที่รองรับ
Android XR ยังรองรับอุปกรณ์ป้อนข้อมูลต่อไปนี้ด้วย
- การโต้ตอบด้วยมือ
- การจดจำท่าทางมือที่เฉพาะเจาะจง เช่น การบีบ การปัด และการชี้ ช่วยให้ผู้ใช้โต้ตอบกับออบเจ็กต์เสมือนจริงโดยใช้ท่าทางและการเคลื่อนไหวของมือ
- การโต้ตอบด้วยการจ้องด้วยตา
- ความสามารถในการติดตามการเคลื่อนไหวของดวงตาผู้ใช้ ทำให้ผู้ใช้เลือกและโต้ตอบกับออบเจ็กต์เสมือนจริงได้โดยใช้การจ้องด้วยตา
- คอนโทรลเลอร์การเคลื่อนไหว 6DoF
- ความสามารถในการติดตามตำแหน่งและการเคลื่อนไหวของคอนโทรลเลอร์ รวมถึงการผูก D-pad และปุ่มเพื่อทริกเกอร์การดำเนินการหรือเหตุการณ์การวางเมาส์เหนือภายในแอป
- การโต้ตอบด้วยเมาส์
- ความสามารถของผู้ใช้ในการโต้ตอบกับออบเจ็กต์ผ่านเคอร์เซอร์เมาส์ในพื้นที่ 3 มิติ
ฟีเจอร์ด้านประสิทธิภาพที่รองรับ
Android XR รองรับฟีเจอร์ที่เกี่ยวข้องกับประสิทธิภาพต่อไปนี้
- Foveation ที่ติดตามด้วยตา
- ช่วยให้แอปแสดงเนื้อหาที่มีความละเอียดสูงขึ้นเฉพาะที่จุดโฟกัสของดวงตา
- Space Warp
- ใช้เวกเตอร์ความเร็วและข้อมูลพื้นผิว Depth เพื่อสร้างเฟรม Tween ซึ่งช่วยเพิ่มอัตราเฟรมที่จำเป็นเพื่อให้ผู้ใช้ได้รับประสบการณ์การใช้งานที่สมจริง
- การสังเคราะห์เฟรม
- ใช้เวกเตอร์การเคลื่อนไหวและข้อมูลเฟรมที่แอปพลิเคชันให้มาเพื่อสังเคราะห์เฟรมกลาง ซึ่งช่วยปรับปรุงความราบรื่นของภาพและอัตราเฟรม
- เมตริกประสิทธิภาพ
- ระบุเมตริกประสิทธิภาพของ Android XR ในรันไทม์ของ อุปกรณ์ XR ปัจจุบัน คอมโพสิเตอร์ และแอป XR ซึ่งรวมถึงเวลาเฟรม CPU, เวลาเฟรม GPU, การใช้ GPU, ความถี่ CPU, เฟรมต่อวินาที และ อื่นๆ
ดูรายการฟีเจอร์และส่วนขยายที่รองรับทั้งหมดได้ที่ ภาพรวมฟีเจอร์ OpenXR และ ส่วนขยาย
เครื่องมือที่รองรับ
Android XR รองรับเครื่องมือต่อไปนี้สำหรับการพัฒนา OpenXR
Unity
การรองรับ Unity ของ Android XR ซึ่งสร้างขึ้นบน OpenXR ช่วยให้นักพัฒนาแอปสร้างประสบการณ์การใช้งานโดยใช้ Unity 6 ได้ ดูข้อมูลเพิ่มเติมเกี่ยวกับการสร้างแอป XR ด้วย Unity ได้ใน ภาพรวมของ Unity
OpenXR™ และโลโก้ OpenXR เป็นเครื่องหมายการค้าของ The Khronos Group Inc. และจดทะเบียนเป็นเครื่องหมายการค้าในจีน สหภาพยุโรป ญี่ปุ่น และสหราชอาณาจักร