Spatial Audio

Spatial Audio ist ein eindrucksvolles Audioerlebnis, das Nutzern das Gefühl vermittelt, mitten im Geschehen zu sein, und Inhalte besonders realistisch klingen lässt. Der entstehende Raumklang wirkt, als würde der Sound aus mehreren Lautsprechern kommen, ähnlich wie bei einem Surround-Soundsystem, nur dass der Ton über Kopfhörer wiedergegeben wird.

In einem Film kann beispielsweise das Geräusch eines Autos hinter dem Nutzer beginnen, sich nach vorne bewegen und in der Ferne verhallen. In einem Videoanruf können Stimmen getrennt und um den Nutzer herum platziert werden, damit er die Sprecher leichter identifizieren kann.

Wenn deine Inhalte ein unterstütztes Audioformat verwenden, kannst du deiner App ab Android 13 (API-Level 33) Spatial Audio hinzufügen.

Funktionen abfragen

Verwende die Klasse Spatializer, um die Spatial Audio-Funktionen und das Verhalten des Geräts abzufragen. Rufen Sie zuerst eine Instanz von Spatializer aus dem AudioManager ab:

val spatializer = audioManager.spatializer

Nachdem du die Spatializer erhalten hast, prüfe, ob die vier Bedingungen erfüllt sind, die für die Ausgabe von Spatial Audio auf dem Gerät erfüllt sein müssen:

Kriterien Scheck
Unterstützt das Gerät Spatial Audio? getImmersiveAudioLevel() ist nicht SPATIALIZER_IMMERSIVE_LEVEL_NONE
Ist die Funktion „Spatial Audio“ verfügbar?
 Die Verfügbarkeit hängt von der Kompatibilität mit dem aktuellen Audioausgabe-Routing ab.
isAvailable() ist true
Ist die räumliche Darstellung aktiviert? isEnabled() ist true
Kann ein Audiotrack mit den angegebenen Parametern räumlich wiedergegeben werden? canBeSpatialized() ist true

Diese Bedingungen sind möglicherweise nicht erfüllt, wenn die Spatialization für den aktuellen Audiotrack nicht verfügbar oder auf dem Audioausgabegerät vollständig deaktiviert ist.

Erfassung von Kopfbewegungen

Bei unterstützten Headsets kann die Plattform die räumliche Audiowiedergabe an die Kopfposition des Nutzers anpassen. Um zu prüfen, ob für das aktuelle Audioausgabe-Routing eine Erfassung von Kopfbewegungen verfügbar ist, rufe isHeadTrackerAvailable() auf.

Kompatible Inhalte

Spatializer.canBeSpatialized() gibt an, ob Audio mit den angegebenen Eigenschaften mit dem aktuellen Ausgabegeräte-Routing räumlich wiedergegeben werden kann. Diese Methode verwendet ein AudioAttributes und ein AudioFormat, die beide unten ausführlicher beschrieben werden.

AudioAttributes

Ein AudioAttributes-Objekt beschreibt die Nutzung eines Audiostreams (z. B. Spielaudio oder Standardmedien) sowie sein Wiedergabeverhalten und seinen Inhaltstyp.

Verwenden Sie beim Aufrufen von canBeSpatialized() dieselbe AudioAttributes-Instanz, die für Player festgelegt ist. Wenn Sie beispielsweise die Jetpack Media3-Bibliothek verwenden und die AudioAttributes nicht angepasst haben, verwenden Sie AudioAttributes.DEFAULT.

Spatial Audio wird deaktiviert

Wenn du angeben möchtest, dass deine Inhalte bereits räumlich dargestellt wurden, rufe setIsContentSpatialized(true) auf, damit die Audioinhalte nicht doppelt verarbeitet werden. Alternativ kannst du das Spatialization-Verhalten anpassen, um die Spatialization vollständig zu deaktivieren, indem du setSpatializationBehavior(AudioAttributes.SPATIALIZATION_BEHAVIOR_NEVER) aufrufst.

AudioFormat

Ein AudioFormat-Objekt beschreibt Details zum Format und zur Kanalkonfiguration eines Audiotracks.

Wenn du das AudioFormat instanziierst, das an canBeSpatialized() übergeben werden soll, lege für die Codierung dasselbe Format fest, das vom Decoder erwartet wird. Außerdem solltest du eine Kanalmaske festlegen, die der Kanalkonfiguration deines Inhalts entspricht. Informationen zu den zu verwendenden Werten findest du im Abschnitt Standardverhalten für die Spatialization.

Änderungen am Spatializer überwachen

Wenn Sie auf Änderungen des Status von Spatializer reagieren möchten, können Sie mit Spatializer.addOnSpatializerStateChangedListener() einen Listener hinzufügen. Wenn du auf Änderungen bei der Verfügbarkeit der Erfassung von Kopfbewegungen reagieren möchtest, rufe Spatializer.addOnHeadTrackerAvailableListener() auf.

Das kann nützlich sein, wenn du die Titelauswahl während der Wiedergabe mithilfe der Callbacks des Listeners anpassen möchtest. Wenn ein Nutzer beispielsweise sein Headset mit dem Gerät verbindet oder die Verbindung trennt, gibt der Callback onSpatializerAvailableChanged an, ob der Spatializer-Effekt für das neue Audioausgabe-Routing verfügbar ist. An dieser Stelle solltest du die Logik für die Titelauswahl deines Players aktualisieren, um die neuen Funktionen des Geräts zu berücksichtigen. Weitere Informationen zum Verhalten von ExoPlayer bei der Trackauswahl findest du im Abschnitt ExoPlayer und Spatial Audio.

ExoPlayer und Spatial Audio

In neueren Versionen von ExoPlayer ist es einfacher, Spatial Audio zu verwenden. Wenn Sie die eigenständige ExoPlayer-Bibliothek (Paketname com.google.android.exoplayer2) verwenden, wird die Plattform in Version 2.17 so konfiguriert, dass sie Spatial Audio ausgibt. In Version 2.18 werden Einschränkungen für die Anzahl der Audiokanäle eingeführt. Wenn Sie das ExoPlayer-Modul aus der Media3-Bibliothek (Paketname androidx.media3) verwenden, enthalten die Versionen 1.0.0-beta01 und höher dieselben Updates.

Nachdem du die ExoPlayer-Abhängigkeit auf die neueste Version aktualisiert hast, muss deine App nur noch Inhalte enthalten, die räumlich wiedergegeben werden können.

Einschränkungen für die Anzahl der Audiokanäle

Wenn alle vier Bedingungen für Spatial Audio erfüllt sind, wählt ExoPlayer einen Mehrkanal-Audiotrack aus. Andernfalls wählt ExoPlayer stattdessen einen Stereotrack aus. Wenn sich die Spatializer-Eigenschaften ändern, löst ExoPlayer eine neue Trackauswahl aus, um einen Audiotrack auszuwählen, der den aktuellen Eigenschaften entspricht. Beachten Sie, dass diese neue Trackauswahl zu einer kurzen Zwischenspeicherung führen kann.

Wenn Sie die Einschränkungen für die Anzahl der Audiokanäle deaktivieren möchten, legen Sie die Parameter für die Trackauswahl im Player wie unten gezeigt fest:

exoPlayer.trackSelectionParameters = DefaultTrackSelector.Parameters.Builder()
    .setConstrainAudioChannelCountToDeviceCapabilities(false)
    .build()

Sie können auch die Parameter einer vorhandenen Spurauswahl aktualisieren, um die Einschränkungen für die Anzahl der Audiokanäle so zu deaktivieren:

val trackSelector = DefaultTrackSelector(context)
// ...
trackSelector.parameters = trackSelector.buildUponParameters()
    .setConstrainAudioChannelCountToDeviceCapabilities(false)
    .build()

Wenn die Einschränkungen für die Anzahl der Audiokanäle deaktiviert sind und Inhalte mehrere Audiotracks haben, wählt ExoPlayer zuerst den Track mit der höchsten Anzahl von Kanälen aus, der auf dem Gerät wiedergegeben werden kann. Wenn der Inhalt beispielsweise einen Mehrkanal-Audiotrack und einen Stereo-Audiotrack enthält und das Gerät die Wiedergabe beider unterstützt, wählt ExoPlayer den Mehrkanal-Track aus. Weitere Informationen zum Anpassen dieses Verhaltens finden Sie unter Audiotracks auswählen.

Audiotrack-Auswahl

Wenn das Verhalten von ExoPlayer für Einschränkungen der Audiokanäle deaktiviert ist, wählt ExoPlayer nicht automatisch einen Audiotrack aus, der den Eigenschaften des Spatializers des Geräts entspricht. Stattdessen kannst du die Logik für die Titelauswahl von ExoPlayer anpassen, indem du vor oder während der Wiedergabe Parameter für die Titelauswahl festlegst. Standardmäßig wählt ExoPlayer Audiotracks aus, die in Bezug auf MIME-Typ (Codierung), Kanalanzahl und Abtastrate mit dem ursprünglichen Track übereinstimmen.

Parameter für die Trackauswahl ändern

Verwenden Sie Player.setTrackSelectionParameters(), um die Parameter für die Titelauswahl des ExoPlayers zu ändern. Ebenso können Sie die aktuellen Parameter von ExoPlayer mit Player.getTrackSelectionParameters() abrufen. So wählen Sie beispielsweise während der Wiedergabe einen Stereo-Audiotrack aus:

exoPlayer.trackSelectionParameters = exoPlayer.trackSelectionParameters
    .buildUpon()
    .setMaxAudioChannelCount(2)
    .build()

Wenn du die Parameter für die Titelauswahl während der Wiedergabe änderst, kann es zu einer Unterbrechung der Wiedergabe kommen. Weitere Informationen zum Optimieren der Parameter für die Titelauswahl des Players finden Sie im Abschnitt Titelauswahl der ExoPlayer-Dokumentation.

Standardverhalten für die Spatialization

Das standardmäßige Spatializer-Verhalten in Android umfasst die folgenden Verhaltensweisen, die von OEMs angepasst werden können:

  • Nur Mehrkanal-Inhalte werden räumlich wiedergegeben, keine Stereo-Inhalte. Wenn du ExoPlayer nicht verwendest, musst du je nach Format deiner Mehrkanal-Audioinhalte möglicherweise die maximale Anzahl von Kanälen, die von einem Audiodecoder ausgegeben werden können, auf eine große Zahl konfigurieren. So wird sichergestellt, dass der Audiodecoder mehrkanaliges PCM ausgibt, das die Plattform räumlich darstellen kann.

    val mediaFormat = MediaFormat()
    mediaFormat.setInteger(MediaFormat.KEY_MAX_OUTPUT_CHANNEL_COUNT, 99)

    Ein Beispiel für die Verwendung finden Sie in der MediaCodecAudioRenderer.java von ExoPlayer. Wenn du die räumliche Darstellung unabhängig von der OEM-Anpassung selbst deaktivieren möchtest, findest du weitere Informationen unter Spatial Audio deaktivieren.

  • AudioAttributes: Audio ist für Spatial Audio geeignet, wenn usage auf USAGE_MEDIA oder USAGE_GAME festgelegt ist.

  • AudioFormat: Verwenden Sie eine Kanalmaske, die mindestens die Kanäle AudioFormat.CHANNEL_OUT_QUAD (vorne links, vorne rechts, hinten links und hinten rechts) enthält, damit die Audiodaten für die Verräumlichung infrage kommen. Im folgenden Beispiel verwenden wir AudioFormat.CHANNEL_OUT_5POINT1 für einen 5.1-Audiotrack. Verwenden Sie für einen Stereo-Audiotrack AudioFormat.CHANNEL_OUT_STEREO.

    Wenn Sie Media3 verwenden, können Sie mit Util.getAudioTrackChannelConfig(int channelCount) eine Kanalanzahl in eine Kanalmaske umwandeln.

    Setze außerdem die Codierung auf AudioFormat.ENCODING_PCM_16BIT, wenn du den Decoder so konfiguriert hast, dass er Mehrkanal-PCM ausgibt.

    val audioFormat = AudioFormat.Builder()
        .setEncoding(AudioFormat.ENCODING_PCM_16BIT)
        .setChannelMask(AudioFormat.CHANNEL_OUT_5POINT1)
        .build()

Spatial Audio testen

Prüfe, ob Spatial Audio auf deinem Testgerät aktiviert ist:

  • Bei kabelgebundenen Headsets: Systemeinstellungen > Ton & Vibration > Spatial Audio.
  • Bei kabellosen Headsets: Systemeinstellungen > Verbundene Geräte > Zahnradsymbol für dein kabelloses Gerät > Spatial Audio.

Führe den Befehl adb shell dumpsys audio auf deinem Gerät aus, um zu prüfen, ob Spatial Audio für das aktuelle Routing verfügbar ist. Während der Wiedergabe sollten die folgenden Parameter in der Ausgabe angezeigt werden:

Spatial audio:
mHasSpatializerEffect:true (effect present)
isSpatializerEnabled:true (routing dependent)