QAbstractVideoSurface Странное поведение

Я реализовал QAbstractVideoSurface, как показано ниже, и столкнулся со следующей проблемой:

  1. Иногда данный метод QAbstractVideosurface вообще не вызывается. Ошибки тоже нет. Я вижу, что видео воспроизводится из аудио, а временная метка обновляется.

Что мне не хватает в моей реализации?

video_frame_grabber.cpp

#include "video_frame_grabber.h"
#include <QtWidgets>
#include <qabstractvideosurface.h>
#include <qvideosurfaceformat.h>

VideoFrameGrabber::VideoFrameGrabber(QGraphicsView *view, QGraphicsPixmapItem *pixmap, QObject *parent)
    : QAbstractVideoSurface(parent)
    , view(view)
    , pixmap(pixmap)
    , imageFormat(QImage::Format_Invalid)
{
}

QList<QVideoFrame::PixelFormat> VideoFrameGrabber::supportedPixelFormats(QAbstractVideoBuffer::HandleType handleType) const
{
    Q_UNUSED(handleType);
    return QList<QVideoFrame::PixelFormat>()
        << QVideoFrame::Format_ARGB32
        << QVideoFrame::Format_ARGB32_Premultiplied
        << QVideoFrame::Format_RGB32
        << QVideoFrame::Format_RGB24
        << QVideoFrame::Format_RGB565
        << QVideoFrame::Format_RGB555
        << QVideoFrame::Format_ARGB8565_Premultiplied
        << QVideoFrame::Format_BGRA32
        << QVideoFrame::Format_BGRA32_Premultiplied
        << QVideoFrame::Format_BGR32
        << QVideoFrame::Format_BGR24
        << QVideoFrame::Format_BGR565
        << QVideoFrame::Format_BGR555
        << QVideoFrame::Format_BGRA5658_Premultiplied
        << QVideoFrame::Format_AYUV444
        << QVideoFrame::Format_AYUV444_Premultiplied
        << QVideoFrame::Format_YUV444
        << QVideoFrame::Format_YUV420P
        << QVideoFrame::Format_YV12
        << QVideoFrame::Format_UYVY
        << QVideoFrame::Format_YUYV
        << QVideoFrame::Format_NV12
        << QVideoFrame::Format_NV21
        << QVideoFrame::Format_IMC1
        << QVideoFrame::Format_IMC2
        << QVideoFrame::Format_IMC3
        << QVideoFrame::Format_IMC4
        << QVideoFrame::Format_Y8
        << QVideoFrame::Format_Y16
        << QVideoFrame::Format_Jpeg
        << QVideoFrame::Format_CameraRaw
        << QVideoFrame::Format_AdobeDng;
}

bool VideoFrameGrabber::isFormatSupported(const QVideoSurfaceFormat &format) const
{
    const QImage::Format imageFormat = QVideoFrame::imageFormatFromPixelFormat(format.pixelFormat());
    const QSize size = format.frameSize();

    return imageFormat != QImage::Format_Invalid
            && !size.isEmpty()
            && format.handleType() == QAbstractVideoBuffer::NoHandle;
}

bool VideoFrameGrabber::start(const QVideoSurfaceFormat &format)
{
    const QImage::Format imageFormat = QVideoFrame::imageFormatFromPixelFormat(format.pixelFormat());
    const QSize size = format.frameSize();

    if (imageFormat != QImage::Format_Invalid && !size.isEmpty()) {
        this->imageFormat = imageFormat;
        QAbstractVideoSurface::start(format);
        return true;
    } 
    else{
        return false;
    }
}

void VideoFrameGrabber::stop()
{
    QAbstractVideoSurface::stop();

    view->update();
}

bool VideoFrameGrabber::present(const QVideoFrame &frame)
{
    if ((surfaceFormat().pixelFormat() != frame.pixelFormat()) || (surfaceFormat().frameSize() != frame.size())) {
        setError(IncorrectFormatError);
        stop();
        qDebug() << "error";
        return false;
    } 
    else {
        QImage img = VideoFrameToImage(frame);
        displayframe(img);
        emit frame_received();
        return true;
    }
}

void VideoFrameGrabber::displayframe(QImage img)
{
    pixmap->setPixmap(QPixmap::fromImage(img));
    view->fitInView(QRectF(0,0,img.width(),img.height()),Qt::KeepAspectRatio);
}

    QImage VideoFrameGrabber::VideoFrameToImage(QVideoFrame frame)
    {
        if (frame.map(QAbstractVideoBuffer::ReadOnly)) {
       return QImage(frame.bits(), frame.width(), frame.height(), frame.bytesPerLine(), imageFormat);
       }
    return QImage();
    }

video_frame_grabber.h

#include <QAbstractVideoSurface>
#include <QObject>
#include <QGraphicsView>
#include <QGraphicsScene>
#include <QPixmap>

class VideoFrameGrabber : public QAbstractVideoSurface
{
    Q_OBJECT
public:
    VideoFrameGrabber(QGraphicsView *view, QGraphicsPixmapItem *pixmap ,QObject *parent = nullptr);

    QList<QVideoFrame::PixelFormat> supportedPixelFormats(
            QAbstractVideoBuffer::HandleType handleType = QAbstractVideoBuffer::NoHandle) const;
    bool isFormatSupported(const QVideoSurfaceFormat &format) const;

    bool start(const QVideoSurfaceFormat &format);
    void stop();

    bool present(const QVideoFrame &frame);
    void displayframe(QImage img);
    QImage VideoFrameToImage(QVideoFrame frame);

private:
    QGraphicsView *view;
    QGraphicsPixmapItem *pixmap;
    QImage::Format imageFormat;
    int current_function;

signals:
    void frame_received();
};

И mainwindow.cpp

m_MediaPlayer = new QMediaPlayer(this);
m_GraphicsScene = new QGraphicsScene();
pixmapItem = new QGraphicsPixmapItem();
m_GraphicsScene->addItem(pixmapItem);
ui->m_GraphicsView->setScene(m_GraphicsScene);
grabber = new VideoFrameGrabber(ui->m_GraphicsView, pixmapItem);
m_MediaPlayer->setVideoOutput(grabber);

m_MediaPlayer->setMedia(QUrl::fromLocalFile("1.mp4"));

заранее спасибо


person Anonymous    schedule 05.01.2019    source источник
comment
QVideoFrame copy(frame). В этом нет необходимости: это неглубокая копия, оба будут ссылаться на одни и те же данные. Обратите внимание, что QImage(frame.bits(), frame.width(), frame.height(), frame.bytesPerLine(), imageFormat); также будет ссылаться на исходные данные, и это хорошо.   -  person UmNyobe    schedule 07.01.2019


Ответы (1)


Моя лучшая ставка на то, что вы отстаете, и это связано с неэффективной конверсией

 QVideoFrame -> QImage -> QPixmap

в частности, QPixmap::fromImage(img) является узким местом в вашем конвейере.

Медиаплеер QMediaPlayer уже поддерживает вывод на QGraphicsVideoItem. Это означает, что вы должны быть в состоянии сделать:

m_MediaPlayer = new QMediaPlayer(this);
m_GraphicsScene = new QGraphicsScene();
videoItem = new QGraphicsVideoItem();
m_GraphicsScene->addItem(videoItem); 
m_MediaPlayer->setVideoOutput(videoItem);
person UmNyobe    schedule 07.01.2019
comment
Я реализовал QAbstractVideoSurface для изменения кадра перед его отображением. Но в настоящее время сам базовый функционал не работает - person Anonymous; 07.01.2019
comment
какие фильтры вам нужно выполнить на кадре? - person UmNyobe; 08.01.2019
comment
Я хочу преобразовать изображение в OpenCV. Примените удаление шума, сглаживание изображения, обрезку или поворот на основе выбора поля со списком перед его отображением - person Anonymous; 08.01.2019
comment
Сделать это в реальном времени (задержка менее 40 мс) довольно сложно. У вас есть несколько вариантов, но я предлагаю рабочие очереди. По сути, у вас есть движок, который выводит кадры как можно быстрее, и кадр отправляется в рабочую очередь, а затем у вас есть буфер для отображения. - person UmNyobe; 09.01.2019
comment
Вы также можете подготовить предварительно отфильтрованное видео, сохранить его и воспроизвести. К сожалению, кодирование видео занимает много времени. - person UmNyobe; 09.01.2019
comment
Я в порядке с задержкой кадров, если ни один кадр не пропущен - person Anonymous; 09.01.2019