Как использовать FFMPEG на Python/Windows10 с Pipe для записи экрана?

Я хотел бы записать экран с помощью ffmpeg, поскольку это, кажется, единственный проигрыватель, который может записывать область экрана вместе с курсором мыши.

Следующий код был адаптирован из я хочу отображать указатель мыши в моем запись, но она не работает в системе Windows 10 (x64) (с использованием Python 3.6).

#!/usr/bin/env python3

# ffmpeg -y -pix_fmt bgr0 -f avfoundation -r 20 -t 10 -i 1 -vf scale=w=3840:h=2160 -f rawvideo /dev/null

import sys
import cv2
import time
import subprocess
import numpy as np

w,h = 100, 100

def ffmpegGrab():
    """Generator to read frames from ffmpeg subprocess"""

    #ffmpeg -f gdigrab -framerate 30 -offset_x 10 -offset_y 20 -video_size 640x480 -show_region 1 -i desktop output.mkv #CODE THAT ACTUALLY WORKS WITH FFMPEG CLI

    cmd = 'D:/Downloads/ffmpeg-20200831-4a11a6f-win64-static/ffmpeg-20200831-4a11a6f-win64-static/bin/ffmpeg.exe -f gdigrab -framerate 30 -offset_x 10 -offset_y 20 -video_size 100x100 -show_region 1 -i desktop -f image2pipe, -pix_fmt bgr24 -vcodec rawvideo -an -sn' 

    proc = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, shell=True)
    #out, err = proc.communicate()
    while True:
        frame = proc.stdout.read(w*h*3)
        yield np.frombuffer(frame, dtype=np.uint8).reshape((h,w,3))

# Get frame generator
gen = ffmpegGrab()

# Get start time
start = time.time()

# Read video frames from ffmpeg in loop
nFrames = 0
while True:
    # Read next frame from ffmpeg
    frame = next(gen)
    nFrames += 1

    cv2.imshow('screenshot', frame)

    if cv2.waitKey(1) == ord("q"):
        break

    fps = nFrames/(time.time()-start)
    print(f'FPS: {fps}')


cv2.destroyAllWindows()
out.release()

Используя «cmd», как указано выше, я получу следующую ошибку:

b"ffmpeg version git-2020-08-31-4a11a6f Copyright (c) 2000-2020 the FFmpeg developers\r\n  built with gcc 10.2.1 (GCC) 20200805\r\n  configuration: --enable-gpl --enable-version3 --enable-sdl2 --enable-fontconfig --enable-gnutls --enable-iconv --enable-libass --enable-libdav1d --enable-libbluray --enable-libfreetype --enable-libmp3lame --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-libopus --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libsrt --enable-libtheora --enable-libtwolame --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libzimg --enable-lzma --enable-zlib --enable-gmp --enable-libvidstab --enable-libvmaf --enable-libvorbis --enable-libvo-amrwbenc --enable-libmysofa --enable-libspeex --enable-libxvid --enable-libaom --enable-libgsm --enable-librav1e --enable-libsvtav1 --disable-w32threads --enable-libmfx --enable-ffnvcodec --enable-cuda-llvm --enable-cuvid --enable-d3d11va --enable-nvenc --enable-nvdec --enable-dxva2 --enable-avisynth --enable-libopenmpt --enable-amf\r\n  libavutil      56. 58.100 / 56. 58.100\r\n  libavcodec     58.101.101 / 58.101.101\r\n  libavformat    58. 51.101 / 58. 51.101\r\n  libavdevice    58. 11.101 / 58. 11.101\r\n  libavfilter     7. 87.100 /  7. 87.100\r\n  libswscale      5.  8.100 /  5.  8.100\r\n  libswresample   3.  8.100 /  3.  8.100\r\n  libpostproc    55.  8.100 / 55.  8.100\r\nTrailing option(s) found in the command: may be ignored.\r\n[gdigrab @ 0000017ab857f100] Capturing whole desktop as 100x100x32 at (10,20)\r\nInput #0, gdigrab, from 'desktop':\r\n  Duration: N/A, start: 1599021857.538752, bitrate: 9612 kb/s\r\n    Stream #0:0: Video: bmp, bgra, 100x100, 9612 kb/s, 30 fps, 30 tbr, 1000k tbn, 1000k tbc\r\n**At least one output file must be specified**\r\n"

Что является содержимым proc (а также proc.communicate). Программа вылетает сразу после попытки изменить размер этого сообщения на изображение размером 100x100.

Я не хочу иметь выходной файл. Мне нужно использовать подпроцесс Python вместе с Pipe, чтобы напрямую доставлять эти кадры экрана в мой код Python, вообще не требуется ввод-вывод.

Если я попробую следующее:

cmd = 'D:/Загрузки/ffmpeg-20200831-4a11a6f-win64-static/ffmpeg-20200831-4a11a6f-win64-static/bin/ffmpeg.exe -f gdigrab -частота кадров 30 -offset_x 10 -offset_y 20 -video_size 100x100 -i рабочий стол -pix_fmt bgr24 -vcodec rawvideo -an -sn -f image2pipe'

proc = subprocess.Popen(cmd, stdout=subprocess.PIPE, stderr=subprocess.PIPE, shell=True)

Затем «кадр» внутри «в то время как True» заполняется буквой «b».

Безуспешно пробовал использовать следующие библиотеки, так как не смог ни найти, как захватить курсор мыши, ни вообще захватить экран: https://github.com/abhiTronix/vidgear, https://github.com/kkroening/ffmpeg-python

Что мне не хватает? Спасибо.


person Trmotta    schedule 02.09.2020    source источник
comment
Вам не хватает - для трубы, как в ... -f image2pipe -   -  person llogan    schedule 02.09.2020
comment
Ни хрена. Я не нашел никакой информации об этом! Какой способ чувствовать себя глупо.   -  person Trmotta    schedule 03.09.2020


Ответы (2)


Вам не хватает - (или pipe: или pipe:1) для канала, например:

ffmpeg.exe -f gdigrab -framerate 30 -offset_x 10 -offset_y 20 -video_size 100x100 -i desktop -pix_fmt bgr24 -vcodec rawvideo -an -sn -f image2pipe -

См. документацию по канальному протоколу FFmpeg.

person llogan    schedule 02.09.2020
comment
Пока идет документация ffmpeg pipe, синтаксис pipe: работает только в системах Unix. - person Trmotta; 04.09.2020

@Trmotta IDK, я удивлен, узнав, что вы не можете использовать vidgear в первом место, так как это самый простой фреймворк Python для обработки видео. Я могу реализовать ваш код более чисто и используя меньше строк с помощью API vidgear следующим образом:

# import required libraries
from vidgear.gears import ScreenGear
from vidgear.gears import WriteGear
import cv2


# define dimensions of screen w.r.t to given monitor to be captured
options = {'top': 10, 'left': 20, 'width': 100, 'height': 100}

# define suitable FFmpeg parameters(such as framerate) for writer
output_params = {"-input_framerate":30,}

# open video stream with defined parameters
stream = ScreenGear(monitor=1, logging=True, **options).start()

# Define writer with defined parameters and suitable output filename for e.g. `Output.mp4`
writer = WriteGear(output_filename = 'Output.mp4', logging = True, **output_params)

# loop over
while True:

    # read frames from stream
    frame = stream.read()

    # check for frame if Nonetype
    if frame is None:
        break


    # {do something with the frame here}

    # write gray frame to writer
    writer.write(frame)

    # Show output window
    cv2.imshow("Screenshot", frame)

    # check for 'q' key if pressed
    key = cv2.waitKey(1) & 0xFF
    if key == ord("q"):
        break

# close output window
cv2.destroyAllWindows()

# safely close video stream
stream.stop()

# safely close writer
writer.close()

Связанные документы находятся здесь: https://abhitronix.github.io/vidgear/gears/screengear/overview/

Документация VidGear: https://abhitronix.github.io/vidgear/gears< /а>

person abhiTronix    schedule 19.09.2020