अपने XR ऐप्लिकेशन में स्पेस ऑडियो जोड़ना

इस्तेमाल किए जा सकने वाले XR डिवाइस
इन दिशा-निर्देशों से आपको इस तरह के एक्सआर डिवाइसों के लिए अनुभव तैयार करने में मदद मिलती है.
एक्सआर हेडसेट
वायर वाले एक्सआर स्मार्ट ग्लास

Jetpack SceneCore में मौजूद स्पेशल ऑडियो की सुविधाओं की मदद से, Android XR ऐप्लिकेशन में इमर्सिव ऑडियो एक्सपीरियंस तैयार किए जा सकते हैं.

स्पेशल ऑडियो की सुविधा से, उपयोगकर्ताओं को 3D एनवायरमेंट में आवाज़ सुनने का अनुभव मिलता है. इससे ऐसा लगता है कि आवाज़ हर दिशा से आ रही है. यहां तक कि उपयोगकर्ता के ऊपर और नीचे से भी. सिस्टम ऐसा करने के लिए, 3D स्पेस में खास जगहों पर एक या उससे ज़्यादा "वर्चुअल स्पीकर" को सिम्युलेट करता है.

Android XR पर, उन मौजूदा ऐप्लिकेशन के ऑडियो को अपने-आप स्पेशलाइज़ कर दिया जाता है जिन्हें Android XR के लिए डिज़ाइन या मॉडिफ़ाई नहीं किया गया है. जब उपयोगकर्ता अपने स्पेस में इधर-उधर घूमेगा, तो ऐप्लिकेशन का सारा ऑडियो उस पैनल से सुनाई देगा जिस पर ऐप्लिकेशन का यूज़र इंटरफ़ेस (यूआई) रेंडर किया गया है. उदाहरण के लिए, अगर घड़ी वाले ऐप्लिकेशन से टाइमर की आवाज़ आती है, तो ऐसा लगेगा कि आवाज़ ऐप्लिकेशन पैनल की जगह से आ रही है. Android XR, आवाज़ को अपने-आप अडजस्ट करेगा, ताकि आपको ऐसा लगे कि आवाज़ असल में उसी जगह से आ रही है. उदाहरण के लिए, ऐप्लिकेशन पैनल और उपयोगकर्ता के बीच की दूरी के हिसाब से, ऑडियो की आवाज़ में थोड़ा बदलाव होगा. इससे उपयोगकर्ता को ज़्यादा रियलिस्टिक अनुभव मिलेगा.

मौजूदा ऐप्लिकेशन, स्पेशल ऑडियो को कैसे रेंडर करते हैं, इस बारे में ज़्यादा जानने के लिए, इस पेज पर मौजूद अपने ऐप्लिकेशन में स्टीरियो और सराउंड साउंड जोड़ें लेख पढ़ें.

अगर आपको अपने ऐप्लिकेशन को एक्सआर के लिए ऑप्टिमाइज़ करना है, तो Jetpack SceneCore में स्पेशल ऑडियो को बेहतर तरीके से पसंद के मुताबिक बनाने के लिए टूल उपलब्ध हैं. 3D एनवायरमेंट में आवाज़ों को सटीक तरीके से पोज़िशन किया जा सकता है. साथ ही, रीयल साउंड फ़ील्ड के लिए एंबिसोनिक ऑडियो का इस्तेमाल किया जा सकता है. इसके अलावा, पहले से मौजूद सराउंड साउंड इंटिग्रेशन का फ़ायदा लिया जा सकता है.

Android XR में उपलब्ध स्पेशल ऑडियो के टाइप

Android XR में पोज़िशनल, स्टीरियो, सराउंड साउंड, और एंबिसोनिक ऑडियो की सुविधा काम करती है.

पोज़िशनल ऑडियो

पोज़िशनल ऑडियो को 3D स्पेस में किसी खास जगह से चलाने के लिए सेट किया जा सकता है. उदाहरण के लिए, आपके वर्चुअल एनवायरमेंट के कोने में भौंकते हुए कुत्ते का 3D मॉडल हो सकता है. आपके पास कई ऐसी इकाइयां हो सकती हैं जो अपनी-अपनी जगह से आवाज़ निकालती हैं. पोज़िशनल ऑडियो रेंडर करने के लिए, फ़ाइलें मोनो या स्टीरियो होनी चाहिए.

स्पेशलाइज़्ड स्टीरियो और सराउंड साउंड

पोज़िशनल, स्टीरियो, और सराउंड साउंड के लिए, Android के सभी मीडिया फ़ॉर्मैट इस्तेमाल किए जा सकते हैं. इन फ़ॉर्मैट के अलावा, Android XR डिवाइसों पर Dolby Atmos, Dolby Digital, और Dolby Digital+ ऑडियो फ़ॉर्मैट भी काम कर सकते हैं.

स्टीरियो ऑडियो का मतलब है, दो चैनल वाले ऑडियो फ़ॉर्मैट. वहीं, सराउंड साउंड का मतलब है, दो से ज़्यादा चैनल वाले ऑडियो फ़ॉर्मैट. जैसे, 5.1 सराउंड साउंड या 7.1 सराउंड साउंड कॉन्फ़िगरेशन. हर चैनल का साउंड डेटा, एक स्पीकर से जुड़ा होता है. उदाहरण के लिए, स्टीरियो में संगीत चलाते समय, बाएं स्पीकर चैनल से दाएं स्पीकर चैनल की तुलना में अलग-अलग इंस्ट्रुमेंट ट्रैक सुनाई दे सकते हैं.

सराउंड साउंड का इस्तेमाल अक्सर फ़िल्मों और टीवी शो में किया जाता है, ताकि कई स्पीकर चैनलों का इस्तेमाल करके, कॉन्टेंट को ज़्यादा रियलिस्टिक और इमर्सिव बनाया जा सके. उदाहरण के लिए, डायलॉग अक्सर सेंटर स्पीकर चैनल से सुनाई देते हैं. वहीं, उड़ते हुए हेलिकॉप्टर की आवाज़ के लिए, अलग-अलग चैनलों का इस्तेमाल किया जा सकता है. इससे ऐसा लगता है कि हेलिकॉप्टर आपके 3D स्पेस के आस-पास उड़ रहा है.

ऐंबिसोनिक ऑडियो

ऐंबिसोनिक ऑडियो (या ऐंबिसोनिक्स), ऑडियो के लिए स्काईबॉक्स की तरह होता है. यह आपके उपयोगकर्ताओं को बेहतरीन साउंडस्केप देता है. बैकग्राउंड में मौजूद आस-पास की आवाज़ों या अन्य स्थितियों के लिए, ऐंबिसोनिक्स का इस्तेमाल करें. इससे, सुनने वाले को ऐसा लगेगा कि आवाज़ उसके चारों ओर से आ रही है. Android XR, AmbiX एंबिसोनिक ऑडियो फ़ॉर्मैट के साथ काम करता है. यह फ़ॉर्मैट, पहले, दूसरे, और तीसरे ऑर्डर के एंबिसोनिक ऑडियो के साथ काम करता है. हम Opus (.ogg) और PCM/Wave (.wav) फ़ाइल टाइप इस्तेमाल करने का सुझाव देते हैं.

Jetpack SceneCore के साथ स्पेशल ऑडियो का इस्तेमाल करना

Jetpack SceneCore की मदद से स्पेशल ऑडियो की सुविधा लागू करने के लिए, स्पेशल ऑडियो की सुविधाओं की जांच करनी होगी. साथ ही, स्पेशल ऑडियो लोड करने के लिए कोई एपीआई चुनना होगा.

स्पेशल ऑडियो की सुविधाओं की जांच करना

स्पेशल ऑडियो की सुविधाओं का इस्तेमाल करने से पहले, देख लें कि Session में स्पेशल ऑडियो की सुविधा काम करती है या नहीं. यहां दिए गए सेक्शन के सभी कोड स्निपेट में, स्पेशल ऑडियो चलाने से पहले, डिवाइस की क्षमताओं की जांच की जाती है.

स्पेशल ऑडियो लोड करना

Jetpack SceneCore में स्पेशल ऑडियो का इस्तेमाल करने के लिए, इनमें से किसी भी एपीआई का इस्तेमाल किया जा सकता है.

  • SoundPool: यह 1 एमबी से कम साइज़ वाले छोटे साउंड इफ़ेक्ट के लिए सबसे सही है. ये पहले से लोड होते हैं और इन्हें बार-बार इस्तेमाल किया जा सकता है. यह पोज़िशनल ऑडियो के लिए, ऑडियो लोड करने का एक शानदार तरीका है.
  • ExoPlayer: यह स्टीरियो और सराउंड साउंड वाले कॉन्टेंट को लोड करने के लिए सबसे सही है. जैसे, संगीत और वीडियो. साथ ही, बैकग्राउंड में मीडिया चलाने की सुविधा भी मिलती है.
  • MediaPlayer: यह एंबिसोनिक ऑडियो लोड करने का सबसे आसान तरीका है.
  • AudioTrack: इससे ऑडियो डेटा लोड करने के तरीके पर सबसे ज़्यादा कंट्रोल मिलता है. इससे ऑडियो के बफ़र को सीधे तौर पर लिखा जा सकता है. इसके अलावा, अगर आपने अपनी ऑडियो फ़ाइलों को सिंथेसाइज़ या डिकोड किया है, तो भी ऐसा किया जा सकता है.

यह देखना कि मीडिया फ़ॉर्मैट काम करता है या नहीं

कुछ मीडिया फ़ॉर्मैट, Android प्लैटफ़ॉर्म पर काम करते हैं. हालांकि, किसी Android XR डिवाइस पर Dolby Atmos जैसे अन्य फ़ॉर्मैट भी काम कर सकते हैं. मीडिया फ़ॉर्मैट के काम करने के बारे में क्वेरी करने के लिए, ExoPlayer के AudioCapabilities का इस्तेमाल करें:

val audioCapabilities = AudioCapabilities.getCapabilities(
    context,
    androidx.media3.common.AudioAttributes.DEFAULT,
    null,
    emptyList()
)

if (audioCapabilities.supportsEncoding(C.ENCODING_AC3)) {
    // Device supports playback of the Dolby Digital media format.
}
if (audioCapabilities.supportsEncoding(C.ENCODING_E_AC3)) {
    // Device supports playback of the Dolby Digital Plus media format.
}
if (audioCapabilities.supportsEncoding(C.ENCODING_E_AC3_JOC)) {
    // Device supports playback of the Dolby Digital Plus with Dolby Atmos media format.
}

इन सुविधाओं की जांच करने से, कॉल ब्लॉक हो सकते हैं. इसलिए, इन्हें मुख्य थ्रेड पर कॉल नहीं किया जाना चाहिए.

अपने ऐप्लिकेशन में पोज़िशनल ऑडियो की सुविधा जोड़ना

साउंड सोर्स की पोज़िशन को PointSourceParams और उससे जुड़े Entity से तय किया जाता है. Entity की पोज़िशन और ओरिएंटेशन से यह तय होता है कि PointSourceParams को 3D स्पेस में कहां रेंडर किया जाएगा. MediaPlayer इंस्टेंस पर PointSourceParams और उससे जुड़े entity को सेट करने के लिए, SpatialMediaPlayer पर setPointSourceParams को कॉल करें.

पोज़िशनल ऑडियो का उदाहरण

यहां दिए गए उदाहरण में, साउंड इफ़ेक्ट वाली ऑडियो फ़ाइल को साउंड पूल में लोड किया गया है. साथ ही, इसे Entity की पोज़िशन पर चलाया गया है.

// Check spatial capabilities before using spatial audio
if (session.scene.spatialCapabilities.contains(SpatialCapability.SPATIAL_AUDIO)
) { // The session has spatial audio capabilities
    val maxVolume = 1F
    val lowPriority = 0
    val infiniteLoop = -1
    val normalSpeed = 1F

    val soundPool = SoundPool.Builder()
        .setAudioAttributes(
            AudioAttributes.Builder()
                .setContentType(CONTENT_TYPE_SONIFICATION)
                .setUsage(USAGE_ASSISTANCE_SONIFICATION)
                .build()
        )
        .build()

    val pointSource = PointSourceParams()

    val soundEffect = appContext.assets.openFd("sounds/tiger_16db.mp3")
    val pointSoundId = soundPool.load(soundEffect, lowPriority)

    soundPool.setOnLoadCompleteListener { soundPool, sampleId, status ->
        // wait for the sound file to be loaded into the soundPool
        if (status == 0) {
            SpatialSoundPool.play(
                session = session,
                entity = entity,
                soundPool = soundPool,
                soundID = pointSoundId,
                params = pointSource,
                volume = maxVolume,
                priority = lowPriority,
                loop = infiniteLoop,
                rate = normalSpeed
            )
        }
    }
} else {
    // The session does not have spatial audio capabilities
}

कोड के बारे में अहम बातें

  • सबसे पहले, spatialCapabilities का इस्तेमाल करके यह देखें कि स्पेशल ऑडियो की सुविधाएं उपलब्ध हैं या नहीं.
  • contentType को CONTENT_TYPE_SONIFICATION और usage को USAGE_ASSISTANCE_SONIFICATION पर सेट करने से, सिस्टम इस ऑडियो फ़ाइल को साउंड इफ़ेक्ट के तौर पर इस्तेमाल करता है.
  • ऊपर दिए गए उदाहरण में, ऑडियो फ़ाइल को इस्तेमाल करने से ठीक पहले पूल में लोड किया गया है. ऐसा इसलिए किया गया है, ताकि कोड को एक साथ रखा जा सके और उसे आसानी से समझा जा सके. आम तौर पर, आपको अपने ऐप्लिकेशन को लोड करते समय, सभी साउंड इफ़ेक्ट को एसिंक्रोनस तरीके से लोड करना चाहिए. इससे, ज़रूरत पड़ने पर सभी ऑडियो फ़ाइलें पूल में उपलब्ध होंगी.

अपने ऐप्लिकेशन में स्टीरियो और सराउंड साउंड की सुविधा जोड़ना

अपने ऐप्लिकेशन में स्टीरियो और सराउंड साउंड जोड़ने के लिए, Exoplayer का इस्तेमाल करने का सुझाव दिया जाता है. Exoplayer के साथ स्पेशल ऑडियो इस्तेमाल करने के तरीके के बारे में ज़्यादा जानने के लिए, स्पेशल ऑडियो की गाइड देखें.

स्टीरियो और सराउंड साउंड स्पीकर की पोज़िशनिंग

सराउंड साउंड स्पीकर की पोज़िशनिंग की मदद से, वर्चुअल सराउंड साउंड स्पीकर को सेंटर स्पीकर के हिसाब से पोज़िशन और ओरिएंट किया जाता है. यह पोज़िशनिंग, स्टैंडर्ड आईटीयू कॉन्फ़िगरेशन में उपयोगकर्ता के आस-पास होती है.

डिफ़ॉल्ट रूप से, सेंटर चैनल स्पीकर को ऐप्लिकेशन के mainPanelEntity पर रखा जाता है. इसमें ऐसे मोबाइल ऐप्लिकेशन शामिल हैं जिनके ऑडियो को Android XR, अपने-आप स्पेशलाइज़ करता है.

स्टीरियो के लिए, स्पीकर की जगह सराउंड साउंड की तरह ही होती है. हालांकि, इसमें सिर्फ़ बाएं और दाएं चैनल, पैनल के बाईं और दाईं ओर होते हैं.

अगर आपके पास एक से ज़्यादा पैनल हैं और आपको यह चुनना है कि किस पैनल से ऑडियो सुनाई दे या आपको स्टीरियो या सराउंड ऑडियो को किसी दूसरे Entity के हिसाब से रेंडर करना है, तो सेंटर चैनल की जगह तय करने के लिए, PointSourceAttributes का इस्तेमाल किया जा सकता है. बाकी चैनलों को पहले बताए गए तरीके से ही रखा जाएगा. इन स्थितियों में, आपको MediaPlayer का भी इस्तेमाल करना होगा.

जब उपयोगकर्ता अपनी जगह पर इधर-उधर घूमेगा, तो स्टीरियो और सराउंड साउंड वाले वर्चुअल स्पीकर भी उसके साथ घूमेंगे और अडजस्ट होंगे. इससे यह पक्का किया जा सकेगा कि स्पीकर हमेशा सही पोज़िशन में हों.

अगर आपने बैकग्राउंड में स्टीरियो या सराउंड साउंड चलाना जारी रखने के लिए, MediaPlayer या ExoPlayer को कॉन्फ़िगर किया है, तो ऐप्लिकेशन के बैकग्राउंड में चलने पर वर्चुअल स्पीकर की पोज़िशन बदल जाएगी. स्पेशल ऑडियो, उपयोगकर्ता के साथ मूव करता है. ऐसा इसलिए होता है, क्योंकि ऑडियो को ऐंकर करने के लिए, स्पेस में कोई पैनल या अन्य पॉइंट नहीं होता. दूसरे शब्दों में कहें, तो यह "हेड-लॉक्ड" होता है.

सराउंड साउंड का उदाहरण

इस उदाहरण में, MediaPlayer का इस्तेमाल करके 5.1 ऑडियो फ़ाइल लोड की गई है. साथ ही, फ़ाइल के सेंटर चैनल को Entity पर सेट किया गया है.

// Check spatial capabilities before using spatial audio
if (session.scene.spatialCapabilities.contains(SpatialCapability.SPATIAL_AUDIO)) {
    // The session has spatial audio capabilities

    val pointSourceAttributes = PointSourceParams()

    val mediaPlayer = MediaPlayer()

    val fivePointOneAudio = appContext.assets.openFd("sounds/aac_51.ogg")
    mediaPlayer.reset()
    mediaPlayer.setDataSource(fivePointOneAudio)

    val audioAttributes =
        AudioAttributes.Builder()
            .setContentType(AudioAttributes.CONTENT_TYPE_MUSIC)
            .setUsage(AudioAttributes.USAGE_MEDIA)
            .build()

    SpatialMediaPlayer.setPointSourceParams(
        session,
        mediaPlayer,
        pointSourceAttributes,
        entity = session.scene.mainPanelEntity,
    )

    mediaPlayer.setAudioAttributes(audioAttributes)
    mediaPlayer.prepare()
    mediaPlayer.start()
} else {
    // The session does not have spatial audio capabilities
}

कोड के बारे में अहम बातें

अपने ऐप्लिकेशन में ऐंबिसोनिक साउंड फ़ील्ड जोड़ना

ऐंबीसोनिक साउंड फ़ील्ड को चलाने का सबसे आसान तरीका है कि फ़ाइल को MediaPlayer के साथ लोड किया जाए. ऐंबिसोनिक साउंड, पूरे साउंडस्केप पर लागू होता है. इसलिए, आपको पोज़िशन देने के लिए Entity तय करने की ज़रूरत नहीं है. इसके बजाय, आपको SoundFieldAttributes का एक इंस्टेंस बनाना होगा. इसमें आपको चैनल की संख्या के हिसाब से, सही ऐंबिसोनिक ऑर्डर तय करना होगा.

Ambionics का उदाहरण

यहां दिए गए उदाहरण में, MediaPlayer का इस्तेमाल करके ऐंबिसोनिक साउंड फ़ील्ड चलाया गया है.

// Check spatial capabilities before using spatial audio
if (session.scene.spatialCapabilities.contains(SpatialCapability.SPATIAL_AUDIO)) {
    // The session has spatial audio capabilities

    val soundFieldAttributes =
        SoundFieldAttributes(SpatializerConstants.AmbisonicsOrder.FIRST_ORDER)

    val mediaPlayer = MediaPlayer()

    val soundFieldAudio = appContext.assets.openFd("sounds/foa_basketball_16bit.wav")

    mediaPlayer.reset()
    mediaPlayer.setDataSource(soundFieldAudio)

    val audioAttributes =
        AudioAttributes.Builder()
            .setContentType(AudioAttributes.CONTENT_TYPE_MUSIC)
            .setUsage(AudioAttributes.USAGE_MEDIA)
            .build()

    SpatialMediaPlayer.setSoundFieldAttributes(
        session,
        mediaPlayer,
        soundFieldAttributes
    )

    mediaPlayer.setAudioAttributes(audioAttributes)
    mediaPlayer.prepare()
    mediaPlayer.start()
} else {
    // The session does not have spatial audio capabilities
}

कोड के बारे में अहम बातें

  • पिछले स्निपेट की तरह, पहला चरण यह देखना है कि spatialCapabilities का इस्तेमाल करके, स्पेशल ऑडियो की सुविधाएं उपलब्ध हैं या नहीं.
  • contentType और इसके इस्तेमाल का मकसद सिर्फ़ जानकारी देना है.
  • SpatializerConstants.AmbisonicsOrder.FIRST_ORDER, SceneCore को सिग्नल भेजता है कि साउंड फ़ील्ड फ़ाइल में चार चैनल तय किए गए हैं.