Фрагментированное кодирование с использованием Flac на iOS

Я нашел библиотеку, которая помогает конвертировать WAV-файл во Flac: https://github.com/jhurt/wav_to_flac

Также удалось скомпилировать Flac на платформу, и он отлично работает.

Я использовал эту библиотеку после записи аудио в формате wav, чтобы преобразовать его во Flac и затем отправить на свой сервер.

Проблема в том, что аудиофайл может быть длинным, и тогда драгоценное время будет потрачено впустую.

Дело в том, что я хочу закодировать аудио в формате Flac и отправить его на сервер одновременно с захватом, а не после захвата остановок, поэтому мне нужна помощь в том, как это сделать (кодируйте Flac непосредственно из аудио, поэтому Я мог бы отправить его на свой сервер)...


person Idan    schedule 28.07.2013    source источник


Ответы (3)


В моей библиотеке под названием libsprec вы можете увидеть пример записи WAV-файла (здесь) и преобразовать его во FLAC (здесь). (Кредиты: часть аудиозаписи в значительной степени зависит от работы Эрики Садун, для протокола.)

Теперь, если вы хотите сделать это за один шаг, вы можете сделать и это. Хитрость заключается в том, что вы должны сначала выполнить инициализацию аудиоочередей и библиотеки FLAC, а затем «чередовать» вызовы к ним, т.е. е. когда вы получаете какие-то аудиоданные в функции обратного вызова Audio Queue, вы сразу же кодируете их во FLAC.

Однако я не думаю, что это будет намного быстрее, чем запись и кодирование в два отдельных этапа. Тяжелая часть обработки — это запись и математика в самом кодировании, поэтому повторите. чтение того же буфера (или, смею вас, даже файла!) не сильно увеличит время обработки.

Тем не менее, вы можете сделать что-то вроде этого:

// First, we initialize the Audio Queue

AudioStreamBasicDescription desc;
desc.mFormatID = kAudioFormatLinearPCM;
desc.mFormatFlags = kLinearPCMFormatFlagIsSignedInteger | kLinearPCMFormatFlagIsPacked;
desc.mReserved = 0;
desc.mSampleRate = SAMPLE_RATE;
desc.mChannelsPerFrame = 2; // stereo (?)
desc.mBitsPerChannel = BITS_PER_SAMPLE;
desc.mBytesPerFrame = BYTES_PER_FRAME;
desc.mFramesPerPacket = 1;
desc.mBytesPerPacket = desc.mFramesPerPacket * desc.mBytesPerFrame;

AudioQueueRef queue;

status = AudioQueueNewInput(
    &desc,
    audio_queue_callback, // our custom callback function
    NULL,
    NULL,
    NULL,
    0,
    &queue
);

if (status)
    return status;

AudioQueueBufferRef buffers[NUM_BUFFERS];

for (i = 0; i < NUM_BUFFERS; i++) {
    status = AudioQueueAllocateBuffer(
        queue,
        0x5000, // max buffer size
        &buffers[i]
    );
    if (status)
        return status;

    status = AudioQueueEnqueueBuffer(
        queue,
        buffers[i],
        0,
        NULL
    );
    if (status)
        return status;
}

// Then, we initialize the FLAC encoder:
FLAC__StreamEncoder *encoder;
FLAC__StreamEncoderInitStatus status;
FILE *infile;
const char *dataloc;
uint32_t rate;      /* sample rate */
uint32_t total;     /* number of samples in file */
uint32_t channels;  /* number of channels */
uint32_t bps;       /* bits per sample */
uint32_t dataoff;   /* offset of PCM data within the file */
int err;

/*
 * BUFFSIZE samples * 2 bytes per sample * 2 channels
 */
FLAC__byte buffer[BUFSIZE * 2 * 2];

/*
 * BUFFSIZE samples * 2 channels
 */
FLAC__int32 pcm[BUFSIZE * 2];


/*
 * Create and initialize the FLAC encoder
 */
encoder = FLAC__stream_encoder_new();
if (!encoder)
    return -1;


FLAC__stream_encoder_set_verify(encoder, true);
FLAC__stream_encoder_set_compression_level(encoder, 5);
FLAC__stream_encoder_set_channels(encoder, NUM_CHANNELS); // 2 for stereo
FLAC__stream_encoder_set_bits_per_sample(encoder, BITS_PER_SAMPLE); // 32 for stereo 16 bit per channel
FLAC__stream_encoder_set_sample_rate(encoder, SAMPLE_RATE);

status = FLAC__stream_encoder_init_stream(encoder, flac_callback, NULL, NULL, NULL, NULL);
if (status != FLAC__STREAM_ENCODER_INIT_STATUS_OK)
    return -1;


// We now start the Audio Queue...
status = AudioQueueStart(queue, NULL);

// And when it's finished, we clean up the FLAC encoder...
FLAC__stream_encoder_finish(encoder);
FLAC__stream_encoder_delete(encoder);

// and the audio queue and its belongings too
AudioQueueFlush(queue);
AudioQueueStop(queue, false);

for (i = 0; i < NUM_BUFFERS; i++)
    AudioQueueFreeBuffer(queue, buffers[i]);

AudioQueueDispose(queue, true);

// In the audio queue callback function, we do the encoding:

void audio_queue_callback(
    void *data,
    AudioQueueRef inAQ,
    AudioQueueBufferRef buffer,
    const AudioTimeStamp *start_time,
    UInt32 num_packets,
    const AudioStreamPacketDescription *desc
)
{
    unsigned char *buf = buffer->mAudioData;

    for (size_t i = 0; i < num_packets * channels; i++) {
        uint16_t msb = *(uint8_t *)(buf + i * 2 + 1);
        uint16_t usample = (msb << 8) | lsb;

        union {
            uint16_t usample;
            int16_t  ssample;
        } u;

        u.usample = usample;
        pcm[i] = u.ssample;
    }

    FLAC__bool succ = FLAC__stream_encoder_process_interleaved(encoder, pcm, num_packets);
    if (!succ)
        // handle_error();
}

// Finally, in the FLAC stream encoder callback:

FLAC__StreamEncoderWriteStatus flac_callback(
    const FLAC__StreamEncoder *encoder,
    const FLAC__byte buffer[],
    size_t bytes,
    unsigned samples,
    unsigned current_frame,
    void *client_data
)
{
    // Here process `buffer' and stuff,
    // then:

    return FLAC__STREAM_ENCODER_SEEK_STATUS_OK;
}

Пожалуйста.

person Community    schedule 07.08.2013
comment
Это может не сильно увеличить время обработки для первой записи, а затем кодирования, как это не делают пакетные задания, но это увеличивает задержку (длина файла WAV является задержкой) и помещает верхняя граница длины записи. +1 за ответ. - person Prof. Falken; 07.08.2013
comment
@Prof.Falken Да, вы абсолютно правы, честно говоря, я об этом не думал. Спасибо! - person ; 07.08.2013
comment
Можете ли вы предоставить код, который я могу скомпилировать? Это имеет много неизвестных значений и отсутствие информации. - person Idan; 07.08.2013
comment
@Idan SO - это не сайт для кодеков. Насколько я знаю, все имена переменных разрешены (или символы в ALL_CAPS названы разумно и должны быть определены соответствующим образом) ... Но вы тоже должны приложить некоторые усилия. Кроме того, что такое отсутствие информации? Это не включает бесплатное пиво и единорогов или что? - person ; 07.08.2013
comment
@ H2CO3 Я не это имел в виду. Пример кода, который вы дали, выглядит хорошо, но он перепутан. Инициализация, обработка, все смешано, и очень трудно получить от этого то, что я хочу. Образец рабочего кода всегда лучше. Я трачу часы на исправление и понимание вашего кода, не обещая, что все это будет работать так, как я ожидаю... - person Idan; 07.08.2013
comment
@H2CO3 При использовании FLAC__bool succ = FLAC__stream_encoder_process_interleaved((FLAC__StreamEncoder *)data, pcm, num_packets); сбой приложения. Можете ли вы помочь, пожалуйста? Я отправляю энкодер на «данные». - person Idan; 08.08.2013
comment
@Idan Я почти уверен, что это ошибка переполнения буфера. Проверьте количество каналов и количество сэмплов на кадр, может где-то забыли деление на два? - person ; 08.08.2013
comment
@ H2CO3 Решил эту проблему, используя очень хороший код ссылки, как объясняется в ссылке, но у меня проблемы с частотой дискретизации. Я был бы очень признателен, если бы вы могли это проверить: stackoverflow.com/questions/18176505/ - person Idan; 12.08.2013
comment
@Idan Я не думаю, что вызов этого метода вообще необходим. - person ; 12.08.2013
comment
@H2CO3 Что ты имеешь в виду? Серверу требуется, чтобы Flac был 16 кГц. Знаете ли вы какой-либо другой метод, с помощью которого я могу сделать образцы Flac с этой скоростью (не сэмплировать с этой частотой и использовать код по ссылке)? - person Idan; 12.08.2013
comment
@Idan: вы можете установить частоту дискретизации записи с помощью API AudioQueue. - person ; 12.08.2013
comment
@ H2CO3 Я тоже пробовал это, но это не работает. Согласно документу Apple здесь (developer.apple.com/library/ ios/samplecode/AVCaptureToAudioUnit/) сделать это невозможно. Если знаете как решить помогите. Если нет, пожалуйста, не загоняйте меня больше в тупики. Спасибо! - person Idan; 13.08.2013

Ваш вопрос не очень конкретен, но вам нужно использовать Службы аудиозаписи, которые позволят вам получать доступ к аудиоданным фрагментами, а затем перемещать полученные оттуда данные в потоковый интерфейс кодировщика FLAC. Вы не можете использовать программу WAV to FLAC, с которой вы связались, вам нужно подключиться к библиотеке FLAC самостоятельно. Документация по API здесь.

Пример использования обратного вызова здесь.

person Prof. Falken    schedule 31.07.2013
comment
Могу ли я передавать запись с помощью AVAudioRecorder на другой объект? Я думал, что смогу сохранить это только в формате WAV... - person Idan; 31.07.2013
comment
@Idan, обновленный ответ с новой ссылкой на службу аудиозаписи - person Prof. Falken; 31.07.2013
comment
Не могу найти там то, что ищу. У вас есть пример кода для потоковой аудиозаписи? - person Idan; 31.07.2013
comment
@idan, проверь последнюю ссылку - person Prof. Falken; 31.07.2013
comment
@Idan Я написал для вас пример кода, который успешно использовал. - person ; 07.08.2013

Разве вы не можете записывать звук в wav, используя службы очереди аудио, и обрабатывать выходные пакеты с помощью своей библиотеки?

редактировать из документа Apple dev: «Приложения, записывающие файлы AIFF и WAV, должны либо обновлять поле размера заголовка данных в конце записи — что может привести к тому, что файл становится непригодным для использования, если запись прерывается до того, как заголовок будет завершен, — либо они должны обновлять поле размера после записи каждого пакета данных. данные, что неэффективно».

видимо, довольно сложно кодировать wav-файл на лету

person HaneTV    schedule 01.08.2013
comment
Может быть, я мог бы, но не мог найти, как это сделать. Думал, что это обычная проблема, что кто-то может просто сослаться на пример... - person Idan; 02.08.2013