在 XR 應用程式中加入空間音訊

Jetpack SceneCore 中的空間音訊功能可讓您在 Android XR 應用程式中打造沉浸式音訊體驗。

空間音訊可模擬使用者在 3D 環境中感知聲音的方式。它會產生從各個方向 (包括使用者上方和下方) 傳來的聲音感覺。系統會在 3D 空間的特定位置模擬一或多個「虛擬喇叭」。

現有應用程式如果未針對 Android XR 設計或修改，其音訊會在 Android XR 中自動以空間化方式呈現。當使用者在空間中移動時，所有應用程式音訊都會從應用程式 UI 算繪的面板中傳出。舉例來說，如果鬧鐘應用程式中的計時器響起，音訊會像是從應用程式面板位置傳出。Android XR 會自動變更音效，以便呈現位置真實感。舉例來說，應用程式面板與使用者之間的距離會微妙地影響音量，讓音效更逼真。

如要進一步瞭解現有應用程式如何算繪空間音訊，請參閱本頁的「在應用程式中新增立體聲和環場音效」一文。

如果您要針對 XR 最佳化應用程式，Jetpack SceneCore 提供進階空間音訊自訂工具。您可以精準地在 3D 環境中定位聲音、使用環場音效打造逼真的音場，並善用內建的環繞音效整合功能。

Android XR 提供的空間音訊類型

Android XR 支援定位、立體聲、環場音效和環場音訊。

空間音訊

位置音訊可從 3D 空間中的特定點播放。舉例來說，您可以使用3D 模型，讓狗在虛擬環境的角落吠叫。您可以讓多個實體從各自的位置發出聲音。如要算繪定位音訊，檔案必須是單聲道或立體聲。

空間化立體聲和環場音效

系統支援所有 Android 媒體格式，可提供定位、立體聲和環場音效。

立體聲音訊是指兩個聲道的音訊格式，而環場音效是指超過兩個聲道的音訊格式，例如 5.1 環場音效 或 7.1 環場音效 設定。每個聲道都有一個音訊來源。舉例來說，在立體聲播放音樂時，左聲道可能會發出不同於右聲道的樂器音軌。

電影和電視節目經常使用環場音效，透過多個喇叭頻道提升真實感和臨場感。舉例來說，對話通常會從中間喇叭頻道播放，而直升機飛行的聲音可能會依序使用不同的頻道，讓你感覺到直升機在 3D 空間中飛行。

環場音訊

Ambisonic 音訊 (或稱 Ambisonics) 就像音訊的 Skybox，可為使用者提供身歷其境的音效。使用環繞聲處理背景環境音效，或在其他情況下模擬環繞聽眾的完整球形音場。Android XR 支援第一、第二和第三階環繞聲的 AmbiX 環繞聲音訊格式。建議使用 Opus (.ogg) 和 PCM/Wave (.wav) 檔案類型。

搭配 Jetpack SceneCore 使用空間音訊

使用 Jetpack SceneCore 實作空間音訊功能時，需要檢查空間功能，並選擇用於載入空間音訊的 API。

檢查空間功能

使用空間音訊功能前，請確認 Session 支援空間音訊。在下列各節的所有程式碼片段中，會先檢查功能，再嘗試播放空間化音訊。

載入空間音訊

您可以使用下列任一 API 載入空間音訊，以便在 Jetpack SceneCore 中使用。

  • SoundPool：適用於大小小於 1 MB 的短音效，這些音效會提前載入，且可重複使用。這是為位置音訊載入音訊的絕佳方式。
  • ExoPlayer：適合用於載入立體聲和環繞音訊內容，例如音樂和影片。也允許背景媒體播放。
  • MediaPlayer：提供最簡單的 ambisonic 音訊載入方式。
  • AudioTrack：提供最多的控管方式，可用於載入音訊資料。允許直接寫入音訊緩衝區，或在您合成或解碼自己的音訊檔案時使用。

為應用程式新增位置音訊

位置音源是由 PointSourceParams 和相關的 Entity 定義。Entity 的位置和方向決定 PointSourceParams 在 3D 空間中顯示的位置。

位置音訊範例

以下範例會將音效音訊檔案載入音效集，並在 Entity 的位置播放。

// Check spatial capabilities before using spatial audio
if (session.scene.spatialCapabilities
    .hasCapability(SpatialCapabilities.SPATIAL_CAPABILITY_SPATIAL_AUDIO)
) { // The session has spatial audio capabilities
    val maxVolume = 1F
    val lowPriority = 0
    val infiniteLoop = -1
    val normalSpeed = 1F

    val soundPool = SoundPool.Builder()
        .setAudioAttributes(
            AudioAttributes.Builder()
                .setContentType(CONTENT_TYPE_SONIFICATION)
                .setUsage(USAGE_ASSISTANCE_SONIFICATION)
                .build()
        )
        .build()

    val pointSource = PointSourceParams(entity)

    val soundEffect = appContext.assets.openFd("sounds/tiger_16db.mp3")
    val pointSoundId = soundPool.load(soundEffect, lowPriority)

    soundPool.setOnLoadCompleteListener { soundPool, sampleId, status ->
        // wait for the sound file to be loaded into the soundPool
        if (status == 0) {
            SpatialSoundPool.play(
                session = session,
                soundPool = soundPool,
                soundID = pointSoundId,
                params = pointSource,
                volume = maxVolume,
                priority = lowPriority,
                loop = infiniteLoop,
                rate = normalSpeed
            )
        }
    }
} else {
    // The session does not have spatial audio capabilities
}
SpatialAudio.kt

程式碼的重點

  • 第一步是使用 spatialCapabilities，確認空間音訊功能目前是否可用。
  • 將 contentType 設為 CONTENT_TYPE_SONIFICATION，並將 usage 設為 USAGE_ASSISTANCE_SONIFICATION，系統就會將這個音訊檔案視為音效。
  • 上述範例會在使用音訊檔案之前，立即將其載入至集區，以便簡化程式碼。理想情況下，您應在載入應用程式時以非同步方式載入所有音效，這樣一來，您在需要時就能在集區中取得所有音訊檔案。

在應用程式中加入立體聲和環場音效

建議您使用 Exoplayer 在應用程式中加入立體聲和環場音效。如要進一步瞭解如何搭配 Exoplayer 使用空間音訊功能，請參閱空間音訊指南。

立體聲和環場音效揚聲器位置

使用環場音效喇叭定位功能時，虛擬環場音效喇叭會以標準 ITU 設定，相對於中央喇叭定位並朝向使用者。

根據預設，中間聲道喇叭會放在應用程式的 mainPanelEntity 上。這包括由 Android XR 自動為音訊空間化處理的行動應用程式。

對於立體聲，揚聲器的擺放方式與環繞音效類似，但只有左聲道和右聲道分別位於面板的左側和右側。

如果您有多個面板，且想要選擇哪個面板發出音訊，或是想要讓立體聲或環繞音訊相對於另一個 Entity 顯示，您可以使用 [PointSourceAttributes][PointSourceAttributes] 定義中心頻道的所在位置。其餘頻道會依照先前所述放置。在這種情況下，您也必須使用 MediaPlayer。

當使用者在空間中移動時，立體聲和環繞音效虛擬喇叭會移動並調整，確保喇叭一律處於最佳位置。

如果您已設定 MediaPlayer 或 ExoPlayer，讓應用程式在背景繼續播放立體聲或環繞音效，虛擬喇叭的位置會在應用程式進入背景時變更。由於空間中沒有面板或其他可固定聲音的點，因此空間音訊會隨著使用者移動 (也就是「頭部鎖定」)。

環場音效示例

以下範例會使用 MediaPlayer 載入 5.1 音訊檔案，並將檔案的中心頻道設為 Entity。

// Check spatial capabilities before using spatial audio
if (session.scene.spatialCapabilities.hasCapability(SpatialCapabilities.SPATIAL_CAPABILITY_SPATIAL_AUDIO)) {
    // The session has spatial audio capabilities

    val pointSourceAttributes = PointSourceParams(session.scene.mainPanelEntity)

    val mediaPlayer = MediaPlayer()

    val fivePointOneAudio = appContext.assets.openFd("sounds/aac_51.ogg")
    mediaPlayer.reset()
    mediaPlayer.setDataSource(fivePointOneAudio)

    val audioAttributes =
        AudioAttributes.Builder()
            .setContentType(AudioAttributes.CONTENT_TYPE_MUSIC)
            .setUsage(AudioAttributes.USAGE_MEDIA)
            .build()

    SpatialMediaPlayer.setPointSourceParams(
        session,
        mediaPlayer,
        pointSourceAttributes
    )

    mediaPlayer.setAudioAttributes(audioAttributes)
    mediaPlayer.prepare()
    mediaPlayer.start()
} else {
    // The session does not have spatial audio capabilities
}
SpatialAudio.kt

程式碼的重點

在應用程式中加入環場音效

如要播放環繞聲音場，最簡單的方法是使用 MediaPlayer 載入檔案。由於環繞聲會套用至整個音景，因此您不需要指定 Entity 來提供位置。而是使用適當的環繞聲順序，建立 SoundFieldAttributes 的例項，並指定聲道數量。

Ambionics 範例

以下範例使用 MediaPlayer 播放全向聲音場。

// Check spatial capabilities before using spatial audio
if (session.scene.spatialCapabilities.hasCapability(SpatialCapabilities.SPATIAL_CAPABILITY_SPATIAL_AUDIO)) {
    // The session has spatial audio capabilities

    val soundFieldAttributes =
        SoundFieldAttributes(SpatializerConstants.AMBISONICS_ORDER_FIRST_ORDER)

    val mediaPlayer = MediaPlayer()

    val soundFieldAudio = appContext.assets.openFd("sounds/foa_basketball_16bit.wav")

    mediaPlayer.reset()
    mediaPlayer.setDataSource(soundFieldAudio)

    val audioAttributes =
        AudioAttributes.Builder()
            .setContentType(AudioAttributes.CONTENT_TYPE_MUSIC)
            .setUsage(AudioAttributes.USAGE_MEDIA)
            .build()

    SpatialMediaPlayer.setSoundFieldAttributes(
        session,
        mediaPlayer,
        soundFieldAttributes
    )

    mediaPlayer.setAudioAttributes(audioAttributes)
    mediaPlayer.prepare()
    mediaPlayer.start()
} else {
    // The session does not have spatial audio capabilities
}
SpatialAudio.kt

程式碼的重點

  • 與先前的程式碼片段一樣，第一步是使用 [getSpatialCapabilities()][getSpatialCapabilities()] 檢查空間音訊功能目前是否可用。
  • contentType 和 usage 僅供參考。
  • AMBISONICS_ORDER_FIRST_ORDER 會向 SceneCore 發出訊號，指出音訊場景檔案定義了四個管道。