Воспроизведение звука с низкой задержкой на Android

Для минимальной задержки на Android начиная с версии 4.2.2 вы должны сделать следующее в порядке от наименее до наиболее очевидного:

1. Выберите устройство, которое поддерживает FEATURE_AUDIO_PRO, если возможно, или FEATURE_AUDIO_LOW_LATENCY, если нет. («Низкая задержка» - 50 мс в одну сторону; pro - 20 мс туда и обратно.)

2. Используйте OpenSL. Dalvik GC имеет низкую амортизированную стоимость, но при его запуске требуется больше времени, чем может позволить аудиопоток с малой задержкой.

3. Обработка звука в обратном вызове буферной очереди. Система выполняет обратные вызовы буферной очереди в потоке, который имеет более благоприятное планирование, чем обычные потоки пользовательского режима.

4. Сделайте размер буфера кратным AudioManager.getProperty (PROPERTY_OUTPUT_FRAMES_PER_BUFFER). В противном случае ваш обратный вызов будет иногда получать два вызова за интервал времени, а не один. Если ваш процессор не используется действительно низко, это, вероятно, закончится сбоем. (В Android M очень важно использовать ТОЧНО размер системного буфера из-за ошибки в коде обработки буфера.)

5. Используйте частоту дискретизации, предоставленную AudioManager.getProperty (PROPERTY_OUTPUT_SAMPLE_RATE). В противном случае ваши буферы будут обходиться через системный ресамплер.

6. Никогда не выполняйте системный вызов и не блокируйте объект синхронизации внутри обратного вызова буфера. Если необходимо синхронизировать, используйте структуру без блокировок. Для достижения наилучших результатов используйте структуру, полностью свободную от ожидания, такую ​​как кольцевой буфер с одним считывателем и одной записью. Множество разработчиков ошибаются, и в конечном итоге возникают непредсказуемые и трудно поддающиеся отладке сбои.

7. Используйте векторные инструкции, такие как NEON, SSE или любой другой аналогичный набор инструкций на вашем целевом процессоре.

8. Протестируйте и оцените свой код. Отслеживайте, сколько времени требуется для запуска, и помните, что вам нужно знать производительность в худшем случае, а не в среднем, потому что именно в худшем случае возникают сбои. И будьте консервативны. Вы уже знаете, что если для обработки звука требуется больше времени, чем для его воспроизведения, у вас никогда не будет низкой задержки. Но на Android это еще важнее, потому что частота процессора сильно колеблется. Вы можете использовать, возможно, 60-70% ЦП для звука, но имейте в виду, что это изменится, когда устройство станет горячее или холоднее, или когда Wi-Fi или радиомодули LTE будут запускаться и останавливаться, и так далее.

Звук с низкой задержкой больше не является новой функцией для Android, но для ее реализации по-прежнему требуются специфические для устройства изменения в оборудовании, драйверах, ядре и структуре. Это означает, что существует много различий в задержке, которую вы можете ожидать от разных устройств, и, учитывая, сколько разных ценовых пунктов продаются телефоны Android, вероятно, всегда будут различия. Ищите FEATURE_AUDIO_PRO или FEATURE_AUDIO_LOW_LATENCY, чтобы определить устройства, которые соответствуют критериям задержки, требуемым вашим приложением.

При использовании OpenSL ES вы должны выполнить следующие требования для получения вывода с низкой задержкой в ​​Jellybean и более поздних версиях Android:

• Звук должен быть моно или стерео, линейный PCM.

• Частота дискретизации звука должна быть такой же, как собственная частота дискретизации выходного сигнала (на некоторых устройствах это может не потребоваться, поскольку FastMixer может выполнять повторную дискретизацию, если производитель настраивает его для этого. Но в своих тестах я обнаружил очень заметные артефакты при повышении частоты дискретизации с 44,1 до 48 кГц в FastMixer).

• Ваш BufferQueue должен иметь как минимум 2 буфера. (С тех пор это требование было ослаблено. См. эту фиксацию Гленн Кастен. Я не уверен, в какой версии Android это впервые появилось, но предполагаю, что это 4.4).

• Вы не можете использовать определенные эффекты (например, реверберацию, усиление низких частот, эквализацию, виртуализацию и т. Д.).

Класс SoundPool также будет пытаться использовать быстрые AudioTrack внутри, когда это возможно (применяются те же критерии, что и выше, за исключением части BufferQueue).

По ссылке в вашем пункте 1:

"Звук с малой задержкой

В Android 4.2 улучшена поддержка воспроизведения звука с малой задержкой, начиная с улучшений, внесенных в выпуск Android 4.1 для задержки вывода звука с использованием API OpenSL ES, Soundpool и тон-генератора. Эти улучшения зависят от поддержки оборудования - устройства, которые предлагают эти звуковые функции с малой задержкой, могут объявлять о своей поддержке приложениям с помощью константы аппаратной функции ".

Ваша цитата в полной форме:

"Представление

Поскольку OpenSL ES является собственным API-интерфейсом C, потоки приложений, не относящиеся к Dalvik, которые вызывают OpenSL ES, не имеют накладных расходов, связанных с Dalvik, таких как паузы при сборке мусора. Тем не менее, нет никаких дополнительных преимуществ в производительности от использования OpenSL ES, кроме этого. В частности, использование OpenSL ES не приводит к более низкой задержке звука, более высокому приоритету планирования и т. Д., Чем то, что обычно предоставляет платформа. С другой стороны, поскольку платформа Android и реализации конкретных устройств продолжают развиваться, приложение OpenSL ES может рассчитывать на получение выгоды от любых будущих улучшений производительности системы ».

Итак, api для связи с драйверами, а затем hw - это OpenSl (так же, как Opengl делает с графикой). Однако более ранние версии Android имеют плохой дизайн драйверов и / или аппаратного обеспечения. Эти проблемы были решены и исправлены в версиях 4.1 и 4.2, поэтому, если у жесткого диска есть питание, вы получите низкую задержку с использованием OpenSL.

Опять же, из этой заметки с веб-сайта библиотеки puredata очевидно, что библиотека использует сам OpenSL для достижения низкой задержки:

Поддержка малой задержки для совместимых устройств Последняя версия Pd для Android (по состоянию на 28.12.2012) поддерживает звук с низкой задержкой для совместимых устройств Android. При обновлении копии обязательно загрузите последнюю версию pd-for-android и подмодуля libpd с GitHub.

На момент написания статьи Galaxy Nexus, Nexus 4 и Nexus 10 предоставляют дорожку с низкой задержкой для вывода звука. Чтобы попасть на трек с низкой задержкой, приложение должно использовать OpenSL, и оно должно работать с правильной частотой дискретизации и размером буфера. Эти параметры зависят от устройства (Galaxy Nexus и Nexus 10 работают на частоте 44100 Гц, а Nexus 4 - на частоте 48000 Гц; размер буфера для каждого устройства разный).

Как это обычно бывает, Pd for Android максимально подробно описывает все эти сложности, предоставляя доступ к новым функциям с низкой задержкой, когда они доступны, оставаясь при этом обратно совместимой с более ранними версиями Android. Под капотом аудиокомпоненты Pd для Android будут использовать OpenSL на Android 2.3 и более поздних версиях, а также будут использовать старый API AudioTrack / AudioRecord в Java на Android 2.2 и более ранних версиях.

Те из вас, кто больше интересуется проблемой 10 миллисекунд Android, то есть звуком с низкой задержкой на Android. Мы в Superpowered создали объяснение задержки звукового пути Android. Пожалуйста, смотрите здесь:

http://superpowered.com/androidaudiopathlatency/#axzz3fDHsEe56

Еще одна база данных о задержках звука и размерах буферов:

http://superpowered.com/latency/#table

Исходный код:

https://github.com/superpoweredSDK/SuperpoweredLatency

Приложение для измерения sampleRate и bufferSize: https://code.google.com/p/high-performance-audio/source/checkout и http://audiobuffersize.appspot.com/ БД результатов

Существует новая библиотека C ++ Oboe, которая помогает уменьшить задержку звука. Я использовал его в своих проектах, и он хорошо работает. Он имеет следующие функции, которые помогают уменьшить задержку звука:

• Автоматическая настройка задержки
• Выбирает аудио API (OpenSL ES на API 16+ или AAudio на API 27+)