Странное поведение AVMutableComposition при подключении наушников

У меня есть приложение, которое транслирует файлы mov. Одной из функций моего приложения является запись звука поверх этих потоковых файлов. Для этого я загружаю потоковый файл в фоновом режиме, а затем начинаю аудиозапись для захвата звука пользователя. Как только пользователь закончит, я беру записанный звук и объединяю его с mov-файлом, который я ранее загрузил в фоновом режиме.

Все это работает хорошо, за исключением случаев, когда вы подключаете наушники. Опыт тот же, но когда вы переходите к воспроизведению записи, был захвачен только звук. Файл mov никогда не попадает в конечный актив, не знаю почему.

Вот как я делаю запись:

let video = AVAsset(URL: currentCacheUrl)
let audioRecording = AVAsset(URL: currentRecordingUrl)

// 1 - Create AVMutableComposition object. This object will hold your AVMutableCompositionTrack instances.
let mixComposition = AVMutableComposition()

// 2 - Video track
let videoTrack = mixComposition.addMutableTrackWithMediaType(AVMediaTypeVideo, preferredTrackID: kCMPersistentTrackID_Invalid)
do {
    try videoTrack.insertTimeRange(CMTimeRangeMake(kCMTimeZero, audioRecording.duration),
                                   ofTrack: video.tracksWithMediaType(AVMediaTypeVideo)[0],
                                   atTime: kCMTimeZero)
} catch _ {
    print("Failed to load video track")
}

// 3 - Audio track
let audioTrack = mixComposition.addMutableTrackWithMediaType(AVMediaTypeAudio, preferredTrackID: 0)
do {
    try audioTrack.insertTimeRange(CMTimeRangeMake(kCMTimeZero, audioRecording.duration),
                                   ofTrack: audioRecording.tracksWithMediaType(AVMediaTypeAudio)[0],
                                   atTime: kCMTimeZero)
} catch _ {
    print("Failed to load audio track")
}

// 4 - Get path
let recordingsPath = MisueroKaraokeLatinoHelper.Variables.getRecordingsDirectory
let currentDate = NSDate()
let date = formatDate(currentDate)

let savePath = recordingsPath.URLByAppendingPathComponent("\(date).mov")

// 5 - Create Exporter
guard let exporter = AVAssetExportSession(asset: mixComposition, presetName: AVAssetExportPresetHighestQuality) else { return }
exporter.outputURL = savePath
exporter.outputFileType = AVFileTypeQuickTimeMovie
exporter.shouldOptimizeForNetworkUse = true

// 6 - Perform the Export
exporter.exportAsynchronouslyWithCompletionHandler() {
    dispatch_async(dispatch_get_main_queue()) { _ in
        print("save and merge complete")

        let recording = Recording(title: self.currentRecordSong.title, artist: self.currentRecordSong.artist, genre: self.currentRecordSong.genre, timestamp: currentDate, fileUrl: savePath)
        MisueroKaraokeLatinoHelper.Variables.Recordings.append(recording)
        MisueroKaraokeLatinoHelper.Variables.Recordings.sortInPlace({$0.timestamp.compare($1.timestamp) == NSComparisonResult.OrderedDescending})

        let recordingsData = NSKeyedArchiver.archivedDataWithRootObject(MisueroKaraokeLatinoHelper.Variables.Recordings)
        NSUserDefaults.standardUserDefaults().setObject(recordingsData, forKey: "Recordings")
    }
}

Нечто подобное происходит, когда устройство iOS имеет аудиовыход, настроенный на устройство Bluetooth. Окончательная запись захватывает записанный пользователем звук и видео в файле mov, но не звук в файле mov. Что дает?


person hanleyhansen    schedule 06.06.2016    source источник


Ответы (1)


addMutableTrackWithMediaType добавляет дорожку указанного типа мультимедиа. Указав AVMediaTypeVideo, когда я добавляю видеодорожку, добавляется ТОЛЬКО видеодорожка. Поэтому, когда наушники не подключены, диктофон улавливает звук из воспроизводимого видео, однако, когда наушники подключены, микрофон не может уловить звук, воспроизводимый через наушники.

Решение состоит в том, чтобы добавить как аудио-, так и видеодорожку кэшированного файла mov и справиться с задержкой/синхронизацией всех дорожек. Звук кэшированного mov также должен быть добавлен условно, если наушники подключены или если аудиовыход на устройстве настроен на что-то вроде динамика Bluetooth, и в этом случае аудиорекордер не сможет воспроизвести этот звук так чисто.

Открыт для других решений/предложений. Но этот подход работает для меня на данный момент.

person hanleyhansen    schedule 02.07.2016