Android XR, Geospatial API, और Gemini की मदद से, मिक्स्ड-रिएलिटी टूर गाइड बनाना

इस साल के Google I/O में, हमने स्पेशल एक्सपीरियंस के लिए एक अपडेट का एलान किया था: Geospatial API अब Jetpack XR के लिए ARCore में झलक के तौर पर उपलब्ध है. Android XR में Google का विज़ुअल पोज़िशनिंग सिस्टम (वीपीए) उपलब्ध है. इससे Android XR, डिजिटल कॉन्टेंट को असल दुनिया से जोड़ पाता है. साथ ही, यह कॉन्टेंट को एक मीटर से भी कम की दूरी पर सटीक तरीके से दिखाता है. यह सुविधा, उन इलाकों में उपलब्ध है जहां यह काम करती है.* जियोस्पेशल एपीआई की मदद से क्या-क्या किया जा सकता है, यह दिखाने के लिए हमारी टीम ने एक डेमो बनाया है: XR जियोस्पेशल टूर.

कल्पना करें कि आप किसी नए शहर में हैं और आपने वायर वाले एक्सआर के स्मार्ट ग्लास (जैसे कि आने वाला XREAL Project Aura) पहने हैं. इसके बाद, आपको तुरंत एक जानकार लोकल गाइड मिलता है, जो आपको शहर की सैर कराता है. आपको 2D मैप को देखने की ज़रूरत नहीं है. इसके बजाय, 3D मॉडल आपको रास्ते के बारे में बताते हैं. साथ ही, एक स्मार्ट वॉइस आपको ऐतिहासिक जगहों के बारे में जानकारी देती है. हमने जियोस्पेशल एपीआई, Firebase AI Logic का इस्तेमाल करने वाला Gemini API, Google Maps Grounding, और Jetpack XR SDK को मिलाकर, बोलकर इस्तेमाल करने वाला, चलने के दौरान टूर का शानदार अनुभव देने वाला ऐप्लिकेशन बनाया है.

डिसक्लेमर: वीडियो और टूर गाइड ऐप्लिकेशन सिर्फ़ दिखाने के लिए हैं. कुछ सीक्वेंस की अवधि कम की गई है. दिखाया गया कोई भी हार्डवेयर, डेवलपमेंट के फ़ेज़ में हो सकता है. इसलिए, फ़ाइनल प्रॉडक्ट की जानकारी अलग हो सकती है.

आइए, इसे लागू करने के बारे में ज़्यादा जानें. साथ ही, यह देखें कि हमने इन एपीआई को एक साथ जोड़कर, दुनिया भर में स्पेशल एक्सपीरियंस कैसे उपलब्ध कराया.

1. ARCore Geospatial API (VPS) की मदद से उपयोगकर्ता की सटीक जगह की जानकारी पाना

जीपीएस और वीपीएस की मदद से, XR पर नेविगेशन के अनुभव को बेहतर बनाएं. वीपीएस की मदद से, जगह की सटीक जानकारी और ओरिएंटेशन मिलता है. इससे 3D वेपॉइंट, असल दुनिया के साथ अलाइन हो पाते हैं.

इसलिए, Android XR पर Geospatial API की मदद से, अपनी पसंद के मुताबिक अनुभव बनाए जा सकते हैं. बेहतर कंप्यूटर विज़न का इस्तेमाल करके, वीपीएस, जीपीएस की तुलना में ज़्यादा सटीक GeospatialPose (इसमें अक्षांश, देशांतर, और हेडिंग शामिल है) उपलब्ध कराने की कोशिश करता है.

यहां बताया गया है कि हम डिवाइस के ओरिएंटेशन को जियोस्पेशल कोऑर्डिनेट पर मैप करके, उपयोगकर्ता की जियोस्पेशल पोज़ की जानकारी कैसे पाते हैं:

// Retrieve the current geospatial pose from the ARCore session
val result = geospatial.createGeospatialPoseFromPose(arDevice.state.value.devicePose)
if (result is CreateGeospatialPoseFromPoseSuccess) {
    val pose = result.pose
    Log.d("VPS", "Accurate Location: ${pose.latitude}, ${pose.longitude}")
}

इस सुविधा के काम करने के लिए, horizontalAccuracy और orientationYawAccuracy का सटीक होना ज़रूरी है. इसलिए, हम इन पर तब तक नज़र रखते हैं, जब तक ये हमारे थ्रेशोल्ड को पूरा नहीं कर लेते. अगर उपयोगकर्ता घर के अंदर या किसी ऐसी जगह पर है जिसकी पहचान नहीं की जा सकी, तो हम उसे "घर से बाहर किसी सार्वजनिक जगह पर जाने और आस-पास देखने" के लिए कहते हैं.

2. Gemini API और Google Maps Grounding की मदद से यात्रा की योजना बनाना

जगह की जानकारी मिलने के बाद, हम Firebase AI Logic का इस्तेमाल करके Gemini API का इस्तेमाल करते हैं. इससे Gemini मॉडल को लोकल टूर गाइड के तौर पर काम करने के लिए प्रॉम्प्ट किया जाता है. हम उपयोगकर्ता के निर्देशांकों को मॉडल को पास करते हैं और उससे आस-पास के वॉकिंग टूर की जानकारी देने वाला स्ट्रक्चर्ड JSON रिस्पॉन्स जनरेट करने के लिए कहते हैं:

   val configForTools = ToolConfig(
      functionCallingConfig = null,
      retrievalConfig = retrievalConfig {
        latLng = FirebaseLatLng(pose.latitude, pose.longitude)
        languageCode = "en"
      }
    )

    val responseJsonSchema = Schema.obj(
      mapOf(
        "locationIntro" to Schema.string(),
        "tours" to Schema.array(
          Schema.obj(
            mapOf(
              "title" to Schema.string(),
              "description" to Schema.string(),
              "stops" to Schema.array(
                Schema.obj(
                  mapOf(
                    "name" to Schema.string(),
                    "detailedName" to Schema.string(),
                    "description" to Schema.string()
                  )
                )
              )
            )
          )
        )
      )
    )

    val model = Firebase.ai(backend = GenerativeBackend.googleAI()).generativeModel(
      modelName = "gemini-3.5-flash",
      tools = listOf(Tool.googleMaps()),
      generationConfig = generationConfig {
        responseMimeType = "application/json"
        responseSchema = responseJsonSchema
      }
    )

   val result = model.generateContent("The user is at latitude ${pose.latitude} and longitude ${pose.longitude}. Generate exactly 3 diverse tours near this location (e.g., historical, food, nature). All tour ideas should be walking distance only.")

लार्ज लैंग्वेज मॉडल, बेहतर जानकारी जनरेट करने में काफ़ी मददगार होते हैं. हालांकि, कभी-कभी ये अक्षांश/देशांतर के सटीक निर्देशांकों की गलत जानकारी दे सकते हैं. इस समस्या को हल करने के लिए, हमने एआई को ग्राउंड करने के लिए Google Maps से जानकारी लेने की सुविधा का इस्तेमाल किया.

3. आपको गाइड करने के लिए एक आवाज़: Gemini 2.5 टीटीएस

टूर गाइड को असल में मौजूद दिखाने के लिए, हमने डाइनैमिक वॉइसओवर की सुविधा लागू की है.

gemini-2.5-flash-tts model का इस्तेमाल करके, हम अपने मॉडल जनरेशन कॉन्फ़िगरेशन को कॉन्फ़िगर कर सकते हैं, ताकि वह सिर्फ़ टेक्स्ट के बजाय ऑडियो डेटा भी दिखा सके! ResponseModality.AUDIO के लिए अनुरोध करने का तरीका यहां बताया गया है:

val ttsModel = Firebase.ai(backend = GenerativeBackend.googleAI())
    .generativeModel(
        modelName = "gemini-2.5-flash-tts",
        generationConfig = generationConfig {
            // Instruct the model to return Audio
            responseModalities = listOf(ResponseModality.AUDIO)
        }
    )

val response = ttsModel.generateContent("Say in a neutral but positive voice:\n$prompt")

// Extract the raw audio bytes from the response
val audioBytes = response.candidates.firstOrNull()?.content?.parts
    ?.filterIsInstance<InlineDataPart>()
    ?.firstOrNull { it.mimeType.contains("audio") }?.inlineData

4. Jetpack XR की मदद से, 3D में कॉन्टेंट को बेहतर तरीके से दिखाना

इस पहेली का आखिरी हिस्सा, उपयोगकर्ता के फ़ील्ड ऑफ़ व्यू (कैमरे से दिख रहा व्यू) में इस डेटा को रेंडर करना है. Jetpack XR SDK की मदद से, 2D Android यूआई से स्पेशल कंप्यूटिंग पर स्विच करना आसान हो जाता है.

हमने XR के लिए Jetpack Compose का इस्तेमाल करके, स्पेशियल कॉम्पोनेंट बनाए. टूर के दौरान दिलचस्प जगहों को दिखाने के लिए, हमने InfoSphere नाम का एक कंपोज़ेबल बनाया है. इसमें 3D ऑर्ब का GltfModel शामिल है, जो स्पेस में तैरता है. साथ ही, जानकारी दिखाने के लिए इससे इंटरैक्ट किया जा सकता है.

Jetpack XR SDK का इस्तेमाल करके, Compose यूज़र इंटरफ़ेस (यूआई) के साथ-साथ 3D मॉडल भी रखे जा सकते हैं. इसके लिए, SpatialBox और SceneCoreEntity का इस्तेमाल करें. हमने उपयोगकर्ता के टैप का जवाब देने के लिए, InteractableComponent का भी इस्तेमाल किया.

पारंपरिक Compose यूज़र इंटरफ़ेस (यूआई) के लिए, AnimatedSpatialVisibility को SceneCoreEntity 3D एलिमेंट के साथ जोड़कर, हम डेटा को असल दुनिया में आसानी से ब्लेंड कर सकते हैं.

@Composable
fun InfoSphere(
    content: InfoBubbleContent,
    session: Session,
    sphereModel: GltfModel,
    isSelected: Boolean,
    onClick: () -> Unit
) {
    // SpatialBox lets us arrange 3D components and SpatialPanels together
    SpatialBox(
        SubspaceModifier
            .offset(x = 2.dp, y = 1.dp, z = (-3).dp) // Positioned in 3D space
    ) {
        // Smoothly animate the visibility of our 2D Compose UI Panel
        AnimatedSpatialVisibility(visible = isSelected) {
            SpatialPanel {
                InfoBubble(content) // Regular 2D Compose UI
            }
        }
        // Render our interactive 3D sphere
        SceneCoreEntity(
            factory = {
                GltfModelEntity.create(session, sphereModel).also { entity ->
                    // Make the 3D model respond to user taps
                    entity.addComponent(InteractableComponent.create(session) { inputEvent ->
                        if (inputEvent.action == InputEvent.Action.UP) {
                            onClick()
                        }
                    })
                }
            }
        )
    }
}

जानें कि Android XR की मदद से आज क्या-क्या किया जा सकता है

एक्सआर जियोस्पेशल टूर ऐप्लिकेशन बनाने से हमें पता चला कि Android डेवलपर के लिए, दुनिया भर में स्पेशल एक्सपीरियंस देने वाले ऐप्लिकेशन बनाना अब पहले से कहीं ज़्यादा आसान हो गया है. Android XR पर Geospatial API अब झलक के तौर पर उपलब्ध है. इसकी मदद से, आपके ऐप्लिकेशन अपने आस-पास की असल दुनिया को आसानी से समझ सकते हैं. Compose for XR के एपीआई को वीपीएस की सटीक जगह की जानकारी के डेटा और Gemini की जनरेटिव क्षमताओं के साथ जोड़कर, हम ऐसे अनुभव बना सकते हैं जो यह समझ सकें कि उपयोगकर्ता कहां है और वह क्या देख रहा है.

Android XR का इस्तेमाल करने में आपकी मदद करने के लिए, हमें Android XR डेवलपर कैटलिस्ट प्रोग्राम के लिए आवेदन स्वीकार करते हुए खुशी हो रही है. इसमें XREAL Project Aura शामिल है. आज से, XREAL Project Aura devkit या डिसप्ले ग्लास devkit का ऐक्सेस पाने के लिए आवेदन किया जा सकता है. यह ऐक्सेस, आने वाले महीनों में मिलेगा! 

*डिसक्लेमर: यह सुविधा चुनिंदा डिवाइसों पर उपलब्ध है. इंटरनेट कनेक्शन ज़रूरी है. इस सुविधा का इस्तेमाल उन ऐप्लिकेशन और प्लैटफ़ॉर्म पर किया जा सकता है जो इसके साथ काम करते हैं. नतीजे अलग-अलग हो सकते हैं.