ffmpeg结构体关系图如下所示,用的雷神图,可以看到很多结构体都与AVFormatContext有关系,所以很多函数也经常使用AVFormatContext作为参数使用(FFmpeg旧版本):

SwsContext常用相关函数如下所示:

SwsContext *sws_getContext(int srcW, int srcH, enum AVPixelFormat srcFormat,
                           int dstW, int dstH, enum AVPixelFormat dstFormat,
                           int flags, SwsFilter *srcFilter,
                           SwsFilter *dstFilter, const double *param);
// sws_getContext通过参数图像转换格式以及分辨率来初始化SwsContext结构体
//srcW, srcH, srcFormat定义输入图像信息（宽、高、颜色空间（像素格式））
//dstW, dstH, dstFormat定义输出图像信息（宽、高、颜色空间（像素格式，比如AV_PIX_FMT_RGB32））。
// flags:转换算法（只有当输入输出图像大小不同时有效,速度越快精度越差,一般选择SWS_BICUBIC）
// *srcFilter,* dstFilter: 定义输入/输出图像滤波器信息,一般输入NULL
// param定义特定缩放算法需要的参数，默认为NUL
//比如sws_getContext(w, h, AV_PIX_FMT_YUV420P, 2*w, 2*h, AV_PIX_FMT_RGB32, SWS_BICUBIC, NULL, NULL, NULL); 表示YUV420p-> RGB32,并放大4倍
 
struct SwsContext *sws_getCachedContext(struct SwsContext *context, int srcW,
                                        int srcH, enum AVPixelFormat srcFormat,
                                        int dstW, int dstH,
                                        enum AVPixelFormat dstFormat, int flags,
                                        SwsFilter *srcFilter,
                                        SwsFilter *dstFilter,
                                        const double *param);
//检查context参数是否可以重用，否则重新分配一个新的SwsContext。 比sws_getContext()多了一个context参数
//比如我们当前传入的srcW、srcH、srcFormat、dstW、dstH、dstFormat、param参数和之前的context一致,则就直接返回复用.
//否则的话,释放context,并重新初始化一个新的SwsContext返回.
//如果要转换的视频尺寸和格式始终不变(期间不更改),一般使用sws_getContext()
 
int  sws_scale(struct SwsContext *c, const uint8_t * const srcSlice[],
                                  const int srcStride[], int srcSliceY,
                                  int srcSliceH, uint8_t *const dst[],
                                  const int dstStride[]);
// sws_scale用来进行视频像素格式和分辨率的转换.返回值小于0则表示转换失败
//注意:使用之前需要调用sws_getContext()来设置像素转换格式,并SwsContext结构体,并且用后还要调用sws_freeContext()来释放SwsContext结构体.
//*c:转换格式的上下文,里面保存了要转换的格式和分辨率
//*srcSlice[]:源图像数据,也就是解码后的AVFrame-> data[]数组成员,需要注意的是里面的每一行像素并不等于图片的宽度
// srcStride[]: input的 strid,每一列图像的byte数,也就是AVFrame->linesize成员
// srcSliceY, srcSliceH: srcSliceY是起始位置，srcSliceH是处理多少行,如果srcSliceY=0，srcSliceH=height，表示一次性处理完整个图像。也可以多线程并行加快速度显示，例如第一个线程处理 [0, h/2-1]行，第二个线程处理 [h/2, h-1]行。
// dst[]:转换后的图像数据,也就是要转码后的另一个AVFrame-> data[]成员
// dstStride[]: input的 strid,每一列图像的byte数,也就是要转码后的另一个AVFrame->linesize成员
 
 
void sws_freeContext(struct SwsContext *swsContext);
//释放swsContext结构体,避免内存泄漏,释放后用户还需要手动置NULL

7.源码

#include "ffmpegtest.h"
#include <QTime>
#include <QDebug>
extern "C"{
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
#include <libswscale/swscale.h>
#include <libavutil/imgutils.h>
}
FfmpegTest::FfmpegTest(QWidget *parent)
    : QWidget(parent)
{
    ui->setupUi(this);
}
void Delay(int msec)
{
    QTime dieTime = QTime::currentTime().addMSecs(msec);
    while( QTime::currentTime() < dieTime )
    {
        QCoreApplication::processEvents(QEventLoop::AllEvents, 100);
    }
}
void debugErr(QString prefix, int err)  //根据错误编号获取错误信息并打印
{
    char errbuf[512]={0};
    av_strerror(err,errbuf,sizeof(errbuf));
    qDebug()<<prefix<<":"<<errbuf;
}
void FfmpegTest::on_pushButton_clicked()
{
    AVFormatContext    *pFormatCtx;
    int videoindex;
    AVCodecContext    *pCodecCtx;
    AVCodec            *pCodec;
    AVFrame    *pFrame, *pFrameRGB;
    unsigned char *out_buffer;
    AVPacket *packet;
    int ret;
    struct SwsContext *img_convert_ctx;
    char filepath[] = "G:\\testvideo\\ds.mov";
    avformat_network_init();         //加载socket库以及网络加密协议相关的库，为后续使用网络相关提供支持
    pFormatCtx = avformat_alloc_context(); //初始化AVFormatContext  结构
    
    ret=avformat_open_input(&pFormatCtx, filepath, NULL, NULL);//打开音视频文件并初始化AVFormatContext结构体
    if (ret != 0)
    {
        debugErr("avformat_open_input",ret);
        return ;
    }
    ret=avformat_find_stream_info(pFormatCtx, NULL);//根据AVFormatContext结构体,来获取视频上下文信息,并初始化streams[]成员
    if (ret != 0)
    {
        debugErr("avformat_find_stream_info",ret);
        return ;
    }
    videoindex = -1;
    videoindex = av_find_best_stream(pFormatCtx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);//根据type参数从ic-> streams[]里获取用户要找的流,找到成功后则返回streams[]中对应的序列号,否则返回-1
    if (videoindex == -1){
        printf("Didn't find a video stream.\n");
        return ;
    }
    qDebug()<<"视频宽度:"<<pFormatCtx->streams[videoindex]->codecpar->width;
    qDebug()<<"视频高度:"<<pFormatCtx->streams[videoindex]->codecpar->height;
    qDebug()<<"视频码率:"<<pFormatCtx->streams[videoindex]->codecpar->bit_rate;
    ui->label->resize(pFormatCtx->streams[videoindex]->codecpar->width,pFormatCtx->streams[videoindex]->codecpar->height);
    pCodec = avcodec_find_decoder(pFormatCtx->streams[videoindex]->codecpar->codec_id);//通过解码器编号来遍历codec_list[]数组,来找到AVCodec
    pCodecCtx = avcodec_alloc_context3(pCodec); //构造AVCodecContext ,并将vcodec填入AVCodecContext中
    avcodec_parameters_to_context(pCodecCtx, pFormatCtx->streams[videoindex]->codecpar); //初始化AVCodecContext
    ret = avcodec_open2(pCodecCtx, NULL,NULL); //打开解码器
    if (ret != 0)
    {
        debugErr("avcodec_open2",ret);
        return ;
    }
    //构造AVFrame,而图像数据空间大小则需通过av_malloc动态分配(因为不知道视频宽高大小)
    pFrame = av_frame_alloc();
    pFrameRGB = av_frame_alloc();
    //创建动态内存,创建存储图像数据的空间
    //av_image_get_buffer_size():根据像素格式、图像宽、图像高来获取一帧图像需要的大小(第4个参数align:表示多少字节对齐,一般填1,表示以1字节为单位)
    //av_malloc():给out_buffer分配一帧RGB32图像显示的大小
    out_buffer = (unsigned char *)av_malloc(av_image_get_buffer_size(AV_PIX_FMT_RGB32, pCodecCtx->width, pCodecCtx->height, 1));
    //通过av_image_fill_arrays和out_buffer来初始化pFrameRGB里的data指针和linesize指针.linesize是每个图像的宽大小(字节数)。
    av_image_fill_arrays(pFrameRGB->data, pFrameRGB->linesize, out_buffer,
        AV_PIX_FMT_RGB32, pCodecCtx->width, pCodecCtx->height, 1);
    packet = (AVPacket *)av_malloc(sizeof(AVPacket));
    //初始化SwsContext结构体,设置像素转换格式规则,将pCodecCtx->pix_fmt格式转换为AV_PIX_FMT_RGB32格式
    img_convert_ctx = sws_getContext(pCodecCtx->width, pCodecCtx->height, pCodecCtx->pix_fmt,
        pCodecCtx->width, pCodecCtx->height, AV_PIX_FMT_RGB32, SWS_BICUBIC, NULL, NULL, NULL);
    //av_read_frame读取一帧未解码的数据，可能还有几帧frame未显示,我们需要在末尾通过avcodec_send_packet()传入NULL来将最后几帧取出来
    while (av_read_frame(pFormatCtx, packet) >= 0){
        //如果是视频数据
        if (packet->stream_index == videoindex){
            //解码一帧视频数据
            ret = avcodec_send_packet(pCodecCtx, packet);
            av_packet_unref(packet);
            if (ret != 0)
            {
                debugErr("avcodec_send_packet",ret);
                continue ;
            }
            //调用avcodec_receive_frame()时会自动引用减1后再获取frame,所以解码过程中无需每次调用av_frame_unref()来重置AVFrame
            while( avcodec_receive_frame(pCodecCtx, pFrame) == 0){
                qDebug()<<"视频帧类型(I(1)、B(3)、P(2)):"<<pFrame->pict_type;
                //进行视频像素格式和分辨率的转换
                sws_scale(img_convert_ctx, (const unsigned char* const*)pFrame->data, pFrame->linesize, 0, pCodecCtx->height,
                    pFrameRGB->data, pFrameRGB->linesize);
                QImage img((uchar*)pFrameRGB->data[0],pCodecCtx->width,pCodecCtx->height,QImage::Format_ARGB32);
                ui->label->setPixmap(QPixmap::fromImage(img));
                Delay(40);
            }
        }
    }
    av_packet_free(&packet);
    av_frame_free(&pFrameRGB);
    av_frame_free(&pFrame);
    sws_freeContext(img_convert_ctx);
    img_convert_ctx=NULL;
    avcodec_close(pCodecCtx);
    avformat_close_input(&pFormatCtx);
}

其中几个参数较多的函数声明解释如下所示:

int avformat_open_input(AVFormatContext **ps, const char *filename,
                        ff_const59 AVInputFormat *fmt, AVDictionary **options);
//打开一个音视频文件,并初始化AVFormatContext **ps(如果初始化失败,则释放ps,并返回非0值)
//ps:要初始化的AVFormatContext*的指针,如果ps指向NULL,则该函数内部会调用avformat_alloc_context()来自动分配空间。
//*url:传入的地址, 支持http,RTSP,以及普通的本地文件,初始化后地址会存放在AVFormatContext下的url成员中
//fmt: 指定输入的封装格式。默认为NULL，由FFmpeg自行探测。
// options: 其它参数设置,如果打开的是本地文件一般为NULL,比如打开流媒体视频时,通过av_dict_set(&pOptions, "max_delay", "200", 0)来设置网络延时最大200毫秒,具体参考libavformat/options_table.h下的 avcodec_options数组
//返回值:0成功,非0失败,失败后,则可以通过av_strerror()获取失败原因。
 
int avformat_find_stream_info(AVFormatContext *ic, AVDictionary **options);
//根据AVFormatContext结构体,来获取视频上下文信息,并初始化streams[]成员(如果初始化失败,则释放ps,并返回非0值)
//ic： AVFormatContext。
//options：其它参数设置,一般为NULL
 
int av_find_best_stream(AVFormatContext *ic, enum AVMediaType type, int wanted_stream_nb, int related_stream, AVCodec **decoder_ret, int flags);
//根据type参数从ic-> streams[]里获取用户要找的流,找到成功后则返回streams[]中对应的序列号
//ic: AVFormatContext结构体句柄
//type:要找的流参数,比如: AVMEDIA_TYPE_VIDEO，AVMEDIA_TYPE_AUDIO，AVMEDIA_TYPE_SUBTITLE等
wanted_stream_nb: 用户希望请求的流号，设为-1用于自动选择
related_stream: 试着找到一个相关的流(比如多路视频时)，一般设为-1，表示不需要
decoder_ret:如果非空，则返回所选流的解码器(相当于调用avcodec_find_decoder()函数)
flags:未定义
int  avcodec_open2(AVCodecContext *avctx, const AVCodec *codec, AVDictionary **options);
//通过avctx打开解码器, AVCodecContext存在AVFormatContext->streams[i] ->codec中
//如果在这之前调用了avcodec_alloc_context3(vcodec)初始化了avctx,那么codec可以填NULL.
// options: 其它参数设置,具体参考libavformat/options_table.h下的 avcodec_options数组