Android XR Audio SDK для Unity

Применимые устройства XR

Данное руководство поможет вам создавать приложения для устройств XR такого типа.

Узнайте о типах устройств XR →

Узнайте о типах устройств XR →

Android XR Audio SDK обеспечивает высококачественную пространственную обработку звука и акустическую симуляцию для XR-приложений на Android XR. Благодаря обновленному движку Resonance Audio, этот SDK позволяет создавать реалистичные 3D-звуковые ландшафты, имитировать физическую акустику помещения на основе геометрии сцены и предварительно вычислять высококачественную реверберацию для сложных условий.

Основные характеристики

Расширение преобразует звук из простого стереопанорамирования в полностью пространственное, захватывающее звучание, динамически реагирующее на движения пользователя:

• Binaural 3D Spatializer : Воспроизводит стандартный монофонический AudioSource в трехмерном пространстве с высококачественным бинауральным рендерингом:

  • Настройка затухания звука на расстоянии до источника и его направленности.
  • Распространение аудиоисточников
  • окклюзионная маскировка
  • Эффекты ближнего поля

• Амбисонический декодер : декодирует и воспроизводит амбисонические звуковые поля с тремя степенями свободы (3DOF) для воссоздания сложных предварительно записанных акустических сред.

• Динамические эффекты помещения : имитирует ранние отражения и позднюю реверберацию на основе границ помещения в форме коробки и регулируемых акустических материалов.

• Акустические реверберационные зонды : Использует трассировку лучей для анализа сложных визуальных геометрических форм и встраивания реалистичных, оптимизированных для производительности конфигураций реверберации непосредственно в вашу сцену.

• Soundfield Recorder : Захватывает несколько активных, пространственно обработанных источников звука в реальном времени из вашей редакторской сессии и экспортирует их непосредственно в бесшовные, зацикливаемые амбисонические файлы.

Начать

Выполните следующие шаги, чтобы импортировать пакет и настроить собственный аудиодвижок Unity для использования аудиоконвейеров Android XR.

1. Загрузите и установите пакет.

Сначала скачайте и установите пакет:

1. Загрузите последнюю версию пакета, нажав на следующую кнопку:

   download Android XR Audio SDK для Unity

2. Откройте свой проект Unity.

3. Перейдите в меню Window > Package Manager .

4. Нажмите кнопку " + " в верхнем левом углу и выберите " Добавить пакет из архива..." .

5. Выберите файл com.google.xr.audio.spatializer.tgz в локальной директории SDK.

2. Настройка параметров звука проекта Unity.

Для маршрутизации аудиопотока Unity через пространственный преобразователь:

1. Перейдите в меню «Редактировать» > «Настройки проекта» > «Аудио» .
2. From the Spatializer Plugin drop-down, select Android XR Audio .
3. В выпадающем списке плагина Ambisonic Decoder выберите Android XR Audio .

3. Направьте выходной сигнал на выделенный аудиомикшер.

Для работы плагина требуется специализированный микшер для обработки пространственного сигнала:

1. Найдите предварительно настроенный микшер по следующему пути:

   Packages/Android XR Audio/Resources/AndroidXRAudioMixer.mixer
   

2. Для каждого активного AudioSource в вашей сцене, которому требуется пространственная обработка, назначьте его свойство Output группе Master этого AndroidXRAudioMixer .

Изучите дополнительные основные компоненты.

Дополнительные основные компоненты предоставляют дополнительные элементы управления для настройки поведения пространственного звука. Они не являются строго обязательными, поскольку расширение может использовать значения параметров по умолчанию для рендеринга пространственного звука, если эти компоненты не подключены.

AndroidXRAudioListener

Расширяет возможности Unity AudioListener , добавляя глобальные настройки пространственного звука, и предоставляет встроенный в редактор инструмент записи звукового поля для предварительной обработки пространственных источников и преобразования их в амбисонические аудиофайлы.

Должен находиться на том же GameObject , что и активный Unity AudioListener (обычно это основная камера или XR-риг).

• Глобальное усиление (дБ) : Точно настраивает общий уровень выходного сигнала всех пространственно расположенных источников.
• Маска окклюзии : определяет маску слоя, используемую для проверки физического трассирования лучей с целью расчета звукового препятствия.
• Enable Stereo Speaker Mode : Forces standard stereo panning. Keep this disabled for headphone-based binaural XR rendering; enable only when outputting to physical, external loudspeakers.

AndroidXRAudioSource

Расширяет возможности любого пространственного AudioSource Unity дополнительными параметрами для пространственных аудиоисточников.

• Отключение эффектов помещения : Если этот параметр включен, источник игнорирует отражения от локальных помещений или запеченных реверберационных зондов.
• Направленность (альфа-канал и резкость) : формирует диаграмму направленности звука (например, создает сильно сфокусированный направленный конус в отличие от всенаправленного источника).
• Эффект ближнего поля : усиливает низкие частоты, когда пространственно расположенный источник проходит очень близко к голове слушателя.
• Уровень качества : Регулирует накладные расходы на рендеринг от базового стерео до низкого и до ресурсоемкого для процессора высокого бинаурального уровня.

AndroidXRAudioRoom

Определяет настраиваемый объем в виде "коробки из-под обуви" для имитации реалистичных ранних отражений и реверберации в реальном времени.

• Выбор материалов для отделки поверхностей : Сопоставьте уникальные материалы (такие как бетон, стекло, штукатурка или акустическая плитка) с границами каждого из шести помещений.
• Отражательная способность : Изменяет силу первоначальных отражений.
• Настройки реверберации : Предоставляет прямые модификаторы для усиления реверберации на поздней стадии, общего времени затухания и яркости высоких частот.

Попробуйте расширенные инструменты редактора.

В этом разделе вы можете воспользоваться расширенными инструментами редактора для решения специализированных задач.

Выпечка Reverb

Для помещений не коробчатой ​​формы или со сложной органической геометрией используйте трассировщик лучей на ЦП для предварительного расчета высокоточных параметров реверберации. Выполните следующие шаги для его настройки:

1. Картирование акустических материалов :

   1. Перейдите в Assets > Create > Android XR Audio > Material Map .
   2. Создайте ресурс, который сочетает визуальные материалы Unity вашего проекта с физическими акустическими характеристиками.
   3. Назначьте акустические материалы соответствующим материалам Unity в вашей сцене.

2. Откройте окно «Запекание» : перейдите в Android XR Audio > «Запекание реверберации» и назначьте созданную вами карту материалов.

3. Разместите зонды : разместите AndroidXRAudioReverbProbes в сцене в тех местах, где пользователь, скорее всего, будет перемещаться, и задайте для них зоны влияния (например, в виде прямоугольника или сферы).

4. Выпечка :

   1. Настройте маски слоя окклюзии.
   2. Включите режим визуализации , чтобы проверить назначение материалов в окне сцены.
   3. Нажмите «Выпечка» .

   Акустические свойства, полученные методом трассировки лучей, напрямую записываются в параметры работы зондов. Используйте параметры Gain, Brightness и Time на отдельных зондах реверберации для точной настройки поведения реверберации.