Проблема с потреблением памяти задания Powershell

Лучше поздно, чем никогда, я думаю. У меня была такая же проблема с огромным потреблением памяти при запуске ffmpeg в заданиях Powershell. Суть проблемы заключается в том, что задание Powershell будет сохранять любой/все выходные данные в памяти, а ffmpeg очень рад регистрировать выходные данные как в стандартном потоке output, так и в стандартном потоке error.

Мое решение состояло в том, чтобы добавить параметр «-loglevel quiet» в ffmpeg. В качестве альтернативы вы можете перенаправить как стандартный поток, так и поток ошибок на null (недостаточно перенаправить только стандартный поток). Подробнее о том, как перенаправить стандартные потоки, см. в этом вопросе: Перенаправление стандартного вывода и вывода ошибок в один и тот же файл журнала

Существует много способов вызвать скрипт или выражение PowerShell.

Одним из моих любимых является использование RunspacePool. В RunspacePool каждая задача запускается с новым пространством выполнения. Когда задача завершается, пространство выполнения удаляется. Это должно поддерживать довольно постоянное потребление памяти. Это не самый простой способ разобраться, но вот простой пример, который может сработать для вас.

$Throttle = 10 # Maximum jobs that can run simultaneously in a runpool
$maxjobs = 8 # Maximum jobs that will run simultaneously
[System.Collections.ArrayList]$jobs = @()
$script:currentjobs = 0
$jobindex = 0
$jobaction = "ffmpeg -re -i `"C:\Shares\Matthew\180p_3000k.mp4`" -vcodec copy -acodec copy -f flv -y rtmp://<ip>/<appName>/<streamName>"

$sessionstate = [system.management.automation.runspaces.initialsessionstate]::CreateDefault()
$runspace = [runspacefactory]::CreateRunspacePool(1, $Throttle, $sessionstate, $Host)
$runspace.Open()


function QueueJob{
    param($jobindex)
    $job = "" | Select-Object JobID,Script,Errors,PS,Runspace,Handle
    $job.JobID = $jobindex
    $job.Script = $jobaction
    $job.PS = [System.Management.Automation.PowerShell]::create()
    $job.PS.RunspacePool = $runspace
    [void]$job.PS.AddScript($job.Script)
    $job.Runspace = $job.PS.BeginInvoke()
    $job.Handle = $job.Runspace.AsyncWaitHandle
    Write-Host "----------------- Starting Job: $("{0:D4}" -f $job.JobID) --------------------" -ForegroundColor Blue
    $jobs.add($job)
    $script:currentjobs++
}

Function ServiceJobs{
    foreach($job in $Jobs){
        If ($job.Runspace.isCompleted) {
            $result = $job.PS.EndInvoke($job.Runspace)
            $job.PS.dispose()
            $job.Runspace = $null
            $job.PS = $null
            $script:currentjobs--
            Write-Host "----------------- Job Completed: $("{0:D4}" -f $job.JobID) --------------------" -ForegroundColor Yellow
            Write-Host $result
            $Jobs.Remove($job)
            return
        }
    }
}

while ($true) {
    While ($script:currentjobs -le $maxjobs){
        QueueJob $jobindex
        $jobindex++
    }
    ServiceJobs
    Start-Sleep 1
}

$runspace.Close()
[gc]::Collect() 

Он использует бесконечный цикл без надлежащего завершения и не имеет какой-либо проверки ошибок, но, надеюсь, этого достаточно, чтобы продемонстрировать технику.