Qt/C++音视频开发-保存裸流加入sps/pps信息/支持264/265裸流/转码保存/拉流推流

Qt/C++音视频开发-保存裸流加入sps/pps信息/支持264/265裸流/转码保存/拉流推流

介绍

在音视频开发中，保存原始数据流（裸流）时，需要将编解码器的参数集（如H.264/H.265中的SPS和PPS）一同保存。这些参数集包含了解码所需的关键信息。本文将介绍如何在Qt/C++环境下实现这一功能，并支持264/265裸流的转码保存，以及拉流推流。

应用使用场景

1. 实时流媒体传输：在直播应用中，将编码后的视频流实时推送到服务器。
2. 视频监控：保存监控摄像头捕获的视频原始数据，以便后续进行分析。
3. 视频编辑：在视频处理应用中，实现视频格式转换和存储。
4. 视频点播系统：将编码视频进行分发和存储，以供用户随时点播。

下面是基于 Qt 和 C++ 的示例代码，展示了实时流媒体传输、视频监控数据保存、视频编辑和视频点播系统的基本实现。

实时流媒体传输

#include <QCoreApplication>
#include <QtMultimedia>
#include <QMediaPlayer>

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);

    QMediaPlayer player;
    player.setMedia(QUrl("rtsp://your_streaming_url"));
    player.play();

    return a.exec();
}

视频监控数据保存

#include <QCoreApplication>
#include <QCamera>
#include <QCameraInfo>
#include <QMediaRecorder>
#include <QFile>

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);

    QList<QCameraInfo> cameras = QCameraInfo::availableCameras();
    if (cameras.isEmpty()) {
        qWarning() << "No available cameras";
        return -1;
    }

    QCamera camera(cameras.first());
    QMediaRecorder recorder(&camera);
    camera.start();

    QFile outputFile("monitoring_output.mp4");
    recorder.setOutputLocation(QUrl::fromLocalFile(outputFile.fileName()));
    recorder.record();

    return a.exec();
}

视频编辑（格式转换和存储）

#include <QCoreApplication>
#include <QProcess>

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);

    QProcess ffmpeg;
    QStringList arguments = QStringList()
        << "-i" << "input.mp4" // 输入文件
        << "-c:v" << "libx264" // 编码器
        << "-preset" << "fast"
        << "-crf" << "22"
        << "output.mp4"; // 输出文件

    ffmpeg.start("ffmpeg", arguments);
    ffmpeg.waitForFinished(-1);

    return a.exec();
}

视频点播系统

#include <QCoreApplication>
#include <QTcpServer>
#include <QTcpSocket>
#include <QFile>

class VideoServer : public QTcpServer
{
    Q_OBJECT

public:
    explicit VideoServer(QObject *parent = nullptr) : QTcpServer(parent) { }

protected:
    void incomingConnection(qintptr socketDescriptor) override
    {
        QTcpSocket *socket = new QTcpSocket(this);
        socket->setSocketDescriptor(socketDescriptor);

        QFile videoFile("video_on_demand.mp4");
        if (videoFile.open(QIODevice::ReadOnly)) {
            while (!videoFile.atEnd()) {
                QByteArray data = videoFile.read(1024); // 每次读取 1KB 数据
                socket->write(data);
                socket->waitForBytesWritten();
            }
            videoFile.close();
        }

        socket->disconnectFromHost();
        socket->deleteLater();
    }
};

int main(int argc, char *argv[])
{
    QCoreApplication a(argc, argv);

    VideoServer server;
    if (!server.listen(QHostAddress::Any, 12345)) {
        qCritical() << "Server could not start!";
        return -1;
    }

    return a.exec();
}

以上示例分别展示了如何使用 Qt 和 C++ 实现实时流媒体传输、视频监控数据保存、视频格式转换和视频点播系统的基本功能

原理解释

SPS/PPS信息

SPS (Sequence Parameter Set) 和 PPS (Picture Parameter Set) 是H.264/H.265标准中的重要组成部分，它们包含了视频流的解码信息，如图像尺寸、帧率等。解析和保存这些信息是正确解码视频流的前提。

算法原理流程图

算法原理解释

1. 读取裸流：从输入源（如文件或网络流）中读取原始视频裸流。
2. 检查SPS/PPS：判断当前数据是否包含SPS/PPS信息。
3. 解析并保存SPS/PPS：若包含SPS/PPS，则解析并保存这些参数集。
4. 保存裸流：将视频裸流数据保存到文件中。
5. 合成完整视频文件：将保存的SPS/PPS和裸流数据合成为一个完整的视频文件。

实际应用代码示例实现

#include <QFile>
#include <QDebug>
#include <QByteArray>

// 假设我们有一个读取裸流数据的函数
bool readRawStreamData(QFile &file, QByteArray &data);

void saveWithSPSPPS(const QString &inputFile, const QString &outputFile) {
    QFile input(inputFile);
    if (!input.open(QIODevice::ReadOnly)) {
        qWarning() << "Failed to open input file";
        return;
    }

    QFile output(outputFile);
    if (!output.open(QIODevice::WriteOnly)) {
        qWarning() << "Failed to open output file";
        return;
    }

    QByteArray data;
    bool spsppsSaved = false;

    while (readRawStreamData(input, data)) {
        // 假设我们有一个解析SPS/PPS的函数
        if (isSPSPPS(data) && !spsppsSaved) {
            output.write(data);
            spsppsSaved = true;
        } else {
            output.write(data);
        }
    }

    input.close();
    output.close();
}

bool isSPSPPS(const QByteArray &data) {
    // 简单检查是否为SPS/PPS数据，例如通过NALU类型判断
    return data.size() > 4 && (data[4] & 0x1F) == 7; // 7表示SPS
}

// 示例：读取裸流数据
bool readRawStreamData(QFile &file, QByteArray &data) {
    // 简单示例，每次读取固定大小的数据块
    const int chunkSize = 1024;
    data = file.read(chunkSize);
    return !data.isEmpty();
}

测试代码

int main(int argc, char *argv[]) {
    QCoreApplication app(argc, argv);

    if (argc != 3) {
        qWarning() << "Usage: program <input_file> <output_file>";
        return 1;
    }

    QString inputFile = argv[1];
    QString outputFile = argv[2];

    saveWithSPSPPS(inputFile, outputFile);

    return 0;
}

部署场景

1. 开发环境：

   • 安装Qt SDK。
   • 配置C++编译环境。

2. 生产环境：

   • 确保所有依赖库已安装。
   • 编译并部署可执行文件到目标服务器或设备。

材料链接

• Qt 官方文档
• H.264 标准文档
• FFmpeg 项目

总结

通过在Qt/C++环境下实现保存裸流以及SPS/PPS信息，可以有效地解决视频流的存储和传输问题。本文介绍了相关的原理、算法以及实际的代码实现，为相关应用提供了参考。

未来展望

随着视频技术的发展，新的编码标准（如AV1）和更高效的压缩算法将不断涌现。未来的工作可以包括：

1. 支持更多编码标准：如AV1、VP9等。
2. 优化性能：提高数据处理的效率，适应高分辨率视频的需求。
3. 集成AI技术：实现智能化的视频处理和分析。