Las funciones de audio espacial de Jetpack SceneCore te permiten crear experiencias de audio envolventes en tus aplicaciones de Android XR.
El audio espacial simula cómo los usuarios perciben el sonido en un entorno 3D. Crea la sensación de que el sonido proviene de todas las direcciones, incluidas las que están arriba y debajo del usuario. Para ello, el sistema simula una o más "bocinas virtuales" en ubicaciones específicas del espacio 3D.
El audio de las apps existentes que no se diseñaron ni modificaron para Android XR se espacializa automáticamente en Android XR. A medida que el usuario se mueve por su espacio, todo el audio de la app se emitirá desde el panel en el que se renderiza la IU de la app. Por ejemplo, si suena un temporizador de una app de reloj, el audio sonará como si provenga de la posición del panel de la app. Android XR alterará automáticamente el sonido para lograr un realismo posicional. Por ejemplo, la distancia percibida entre el panel de la app y el usuario afectará sutilmente el volumen de audio para lograr una mayor sensación de realismo.
Si deseas obtener más información sobre cómo renderizan el audio espacial las apps existentes, consulta Agrega sonido estéreo y envolvente a tu app en esta página.
Si optimizas tu app para XR, Jetpack SceneCore proporciona herramientas para la personalización avanzada de audio espacial. Puedes posicionar los sonidos con precisión en el entorno 3D, usar audio ambisónico para obtener campos de sonido realistas y aprovechar la integración de sonido envolvente integrada.
Tipos de audio espacial disponibles en Android XR
Android XR admite audio posicional, estéreo, envolvente y ambisónico.
Audio posicional
El audio posicional se puede reproducir desde un punto específico en el espacio 3D. Por ejemplo, puedes tener un modelo 3D de un perro que ladra en la esquina de tu entorno virtual. Puedes tener varias entidades que emitan sonido desde cada una de sus posiciones correspondientes. Para renderizar audio posicional, los archivos deben ser mono o estéreo.
Sonido estéreo y envolvente espacializado
Todos los formatos multimedia de Android son compatibles con el sonido posicional, estéreo y envolvente.
El audio estéreo hace referencia a formatos de audio con dos canales, y el sonido envolvente hace referencia a formatos de audio con más de dos canales, como las configuraciones de sonido envolvente 5.1 o sonido envolvente 7.1. Los datos de sonido de cada canal se asocian con una bocina. Por ejemplo, cuando se reproduce música en estéreo, el canal de la bocina izquierda puede emitir pistas de instrumentos diferentes a las de la derecha.
El sonido envolvente se usa a menudo en películas y programas de televisión para mejorar el realismo y la inmersión mediante el uso de varios canales de bocinas. Por ejemplo, el diálogo suele reproducirse desde un canal de bocina central, mientras que el sonido de un helicóptero volando puede usar diferentes canales en secuencia para dar la sensación de que el helicóptero está volando alrededor de tu espacio 3D.
Audio ambisónico
El audio ambisónico (o ambisónico) es como un cielo falso para el audio, que proporciona un paisaje sonoro envolvente para los usuarios. Usa la tecnología ambisónica para los sonidos ambientales de fondo o en otras situaciones en las que quieras replicar un campo de sonido esférico completo que rodee al usuario. Android XR admite el formato de audio ambisónico AmbiX en ambisónicos de primer, segundo y tercer orden. Te recomendamos los tipos de archivo Opus (.ogg) y PCM/Wave (.wav).
Cómo usar el audio espacial con Jetpack SceneCore
La implementación de audio espacial con Jetpack SceneCore implica verificar las capacidades espaciales y elegir una API para cargar audio espacial.
Verifica las capacidades espaciales
Antes de usar las funciones de audio espacial, verifica que Session admita el audio espacial. En todos los fragmentos de código de las siguientes secciones, se verifican las capacidades antes de intentar reproducir audio espacializado.
Cómo cargar audio espacial
Puedes usar cualquiera de las siguientes APIs para cargar audio espacial y usarlo en Jetpack SceneCore.
SoundPool: Ideal para efectos de sonido cortos de menos de 1 MB de tamaño, se cargan con anticipación y los sonidos se pueden usar de forma repetida. Esta es una excelente manera de cargar audio para el audio posicional.ExoPlayer: Ideal para cargar contenido de sonido estéreo y envolvente, como música y video. También permite la reproducción de contenido multimedia en segundo plano.MediaPlayer: Proporciona la forma más sencilla de cargar audio ambisónico.AudioTrack: Proporciona el mayor control sobre cómo cargar datos de audio. Permite escribir directamente búferes de audio o si sintetizaste o decodificaste tus propios archivos de audio.
Agrega audio posicional a tu app
Las fuentes de sonido posicionales se definen con PointSourceAttributes y un Entity asociado. La posición y la orientación de Entity determinan dónde se renderiza PointSourceAttribute en el espacio 3D.
Ejemplo de audio posicional
En el siguiente ejemplo, se carga un archivo de audio de efectos de sonido en un grupo de sonidos y se reproduce en la posición de Entity.
// Check spatial capabilities before using spatial audio
if (xrSession.getSpatialCapabilities().hasCapability(SpatialCapabilities.SPATIAL_CAPABILITY_SPATIAL_AUDIO)) {
// The session has spatial audio capabilities
val maxVolume = 1F
val lowPriority = 0
val infiniteLoop = -1
val normalSpeed = 1F
val soundPool = SoundPool.Builder()
.setAudioAttributes(
AudioAttributes.Builder()
.setContentType(CONTENT_TYPE_SONIFICATION)
.setUsage(USAGE_ASSISTANCE_SONIFICATION)
.build()
)
.build()
val pointSource = PointSourceAttributes(entity)
val soundEffect = appContext.assets.openFd("sounds/tiger_16db.mp3")
val pointSoundId = soundPool.load(soundEffect, lowPriority)
soundPool.setOnLoadCompleteListener{ soundPool, sampleId, status ->
//wait for the sound file to be loaded into the soundPool
if (status == 0){
SpatialSoundPool.play(
session = xrSession,
soundPool = soundPool,
soundID = pointSoundId,
attributes = pointSource,
volume = maxVolume,
priority = lowPriority,
loop = infiniteLoop,
rate = normalSpeed
)
}
}
} else {
// The session does not have spatial audio capabilities
}
Puntos clave sobre el código
- El primer paso es verificar si las funciones de audio espacial están disponibles actualmente con
getSpatialCapabilities(). - Si estableces contentType en
CONTENT_TYPE_SONIFICATIONy usage enUSAGE_ASSISTANCE_SONIFICATION, el sistema tratará este archivo de audio como un efecto de sonido. - En el ejemplo anterior, se carga el archivo de audio en el grupo inmediatamente antes de usarlo para mantener el código unido por motivos de simplicidad. Idealmente, debes cargar todos los efectos de sonido de forma asíncrona a medida que cargas la app, de modo que todos los archivos de audio estén disponibles en el grupo cuando lo necesites.
Agrega sonido estéreo y envolvente a tu app
La forma recomendada de agregar sonido estéreo y envolvente a tu app es con Exoplayer. Para obtener más información sobre cómo usar el audio espacial con Exoplayer, consulta la guía de audio espacial.
Posicionamiento de las bocinas estéreo y de sonido envolvente
Con el posicionamiento de las bocinas de sonido envolvente, las bocinas de sonido envolvente virtual se posicionan y orientan en relación con una bocina central, alrededor del usuario, en una configuración estándar de la ITU.
De forma predeterminada, el altavoz del canal central se coloca en el mainPanelEntity de la app. Esto incluye las apps para dispositivos móviles que tienen su audio espacializado automáticamente por Android XR.
En el caso del estéreo, la ubicación de las bocinas es similar al sonido envolvente, excepto que solo los canales izquierdo y derecho se colocan en el lado izquierdo y derecho del panel, respectivamente.
Si tienes varios paneles y deseas elegir cuál emite audio, o si deseas que el audio estéreo o envolvente se renderice en relación con otro Entity, puedes usar PointSourceAttributes para definir la ubicación del canal central. Los canales restantes se colocarán como se mencionó anteriormente. En estas situaciones, también debes usar MediaPlayer.
A medida que el usuario se mueve por su espacio, las bocinas virtuales de sonido estéreo y envolvente se mueven y se ajustan para garantizar que siempre estén en una posición óptima.
Si configuraste MediaPlayer o ExoPlayer para seguir reproduciendo sonido estéreo o envolvente en segundo plano, se alterará la posición de la bocina virtual cuando la app esté en segundo plano. Como no hay ningún panel ni ningún otro punto en el espacio para fijar el sonido, el audio espacial se mueve con el usuario (en otras palabras, está "bloqueado en la cabeza").
Ejemplo de sonido envolvente
En el siguiente ejemplo, se carga un archivo de audio 5.1 con MediaPlayer y se establece el canal central del archivo como Entity.
// Check spatial capabilities before using spatial audio
if (xrSession.getSpatialCapabilities().hasCapability(SpatialCapabilities.SPATIAL_CAPABILITY_SPATIAL_AUDIO)) {
// The session has spatial audio capabilities
val pointSourceAttributes = PointSourceAttributes(xrSession.mainPanelEntity)
val mediaPlayer = MediaPlayer()
val fivePointOneAudio = appContext.assets.openFd("sounds/aac_51.ogg")
mediaPlayer.reset()
mediaPlayer.setDataSource(fivePointOneAudio)
val audioAttributes =
AudioAttributes.Builder()
.setContentType(AudioAttributes.CONTENT_TYPE_MUSIC)
.setUsage(AudioAttributes.USAGE_MEDIA)
.build()
SpatialMediaPlayer.setPointSourceAttributes(
xrSession,
mediaPlayer,
pointSourceAttributes)
mediaPlayer.setAudioAttributes(audioAttributes)
mediaPlayer.prepare()
mediaPlayer.start()
} else {
// The session does not have spatial audio capabilities
}
Puntos clave sobre el código
- Al igual que en el ejemplo de audio posicional, el primer paso es verificar si las funciones de audio posicional están disponibles actualmente con
getSpatialCapabilities(). - Si estableces contentType en CONTENT_TYPE_MUSIC y usage en USAGE_MEDIA, el sistema tratará este archivo de audio como sonido envolvente.
Agrega campos de sonido ambisónico a tu app
La forma más sencilla de reproducir campos de sonido ambisónico es cargar el archivo con un MediaPlayer. Dado que el sonido ambisónico se aplica a todo el paisaje sonoro, no es necesario especificar un Entity para proporcionar una posición. En su lugar, creas una instancia de SoundFieldAttributes con el orden ambisónico adecuado que especifique la cantidad de canales.
Ejemplo de Ambionics
En el siguiente ejemplo, se reproduce un campo de sonido ambisónico con MediaPlayer.
// Check spatial capabilities before using spatial audio
if (xrSession.getSpatialCapabilities().hasCapability(SpatialCapabilities.SPATIAL_CAPABILITY_SPATIAL_AUDIO)) {
// The session has spatial audio capabilities
val soundFieldAttributes =
SoundFieldAttributes(SpatializerConstants.AMBISONICS_ORDER_FIRST_ORDER)
val mediaPlayer = MediaPlayer()
val soundFieldAudio = appContext.assets.openFd("sounds/foa_basketball_16bit.wav")
mediaPlayer.reset()
mediaPlayer.setDataSource(soundFieldAudio)
val audioAttributes =
AudioAttributes.Builder()
.setContentType(AudioAttributes.CONTENT_TYPE_MUSIC)
.setUsage(AudioAttributes.USAGE_MEDIA)
.build()
SpatialMediaPlayer.setSoundFieldAttributes(
xrSession,
mediaPlayer,
soundFieldAttributes)
mediaPlayer.setAudioAttributes(audioAttributes)
mediaPlayer.prepare()
mediaPlayer.start()
} else {
// The session does not have spatial audio capabilities
}
Puntos clave sobre el código
- Al igual que con los fragmentos anteriores, el primer paso es verificar si las funciones de audio espacial están disponibles actualmente con
getSpatialCapabilities(). - El contentType y el uso son solo informativos.
AMBISONICS_ORDER_FIRST_ORDERle indica a SceneCore que el archivo de campo de sonido define cuatro canales.