---------------------------------------------------------------- YUV介绍 ----------------------------------------------------------------
> 概念:
· YUV（也称YCbCr）是电视系统所采用的一种颜色编码方法。
其中"Y"表示明亮度(Luminance)，也称灰阶值，它是基础信号;
而"U"和"V"表示的则是色度(Chrominance)，它们的作用是描述影像的色彩及饱和度，用于指定像素的颜色,它俩都是被正交调制的。
· "亮度"是透过RGB输入信号来建立的，方法是将RGB信号的特定部分叠加到一起。"色度"则定义了颜色的两个方面――色调与饱和度，分别用Cr和Cb来表示。
其中,Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异，而Cb反映的则是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。
· RGB类型，一幅图像的每个像素点由YUV三个分量构成。
> 特点:
· 把亮度和色度分离，没有色度信息仍能显示完整的图像，只不过是黑白的，解决彩色电视跟黑白电视的兼容问题。
· 与RGB视频信号传输相比，它最大的优点在于只需要占用极少的频宽(RGB要求“更多独立的视频信号同时传输)。
> YUV采样格式
主要采样格式:
· YUV4:4:4 YUV三个信道的抽样率相同，在生成的图像中，每个像素占用3字节，每一个Y分量都对应一组UV分量。
· YUV4:2:2 每个色差信道的抽样率是亮度的一半，在生成的图像中，每个由两个水平方向相邻的像素组成的宏像素占用4字节。每两个Y分量共用一组UV分量。
· YUV4:2:0 每个色度分量，水平方向和竖直方向的抽样率都是2:1，色度的抽样率为4:1，每个由2x2个2行2列相邻的像素组成的宏像素需要占用6字节内存，每四个Y分量共用一组UV分量。
> YUV存储格式
存储格式:
planner(平面)格式：先连续存储所有像素点的Y分量，紧接着存储所有像素点的U分量，最后是所有像素点的V分量。
packed(打包)格式:每个像素点的Y、U、V是连续交替存储的。
YUV420P中的Y、U、V分量都是平面格式，如下图所
YUV420SP中的Y分量为平面格式，UV分量为打包格式，即U和V分量交错排列。
> YUV大小计算
RGB24:一张4x4像素的RGB图像大小为4x4x3=48字节。
YUV444:一张4x4像素的YUV444图像大小为4x4x3=48字节，跟RGB一样大。Y、U、V三个分量的大小都是4x4=16字节。
YUV422:一张4x4像素的YUV422图像大小为4x4x2=32字节，Y分量为全采样,即 4x4=16字节，U分量和V分量只有Y分量的一半，即U分量为4x4/2=8字节，V分量也是4x4/2=8字节。
YUV420:一张4x4像素的YUV420图像大小为4x4x(3/2)=24字节，Y分量为全采样，即4x4=16字节，U分量和V分量只有Y分量的四分之一，即U分量和V分量的大小4x4/4=4字节。
ffmpeg命令将图片转yuv数据:
ffmpeg-i 200x200.png -s 200x200 -pix_fmt yuv420p yuv420p.yuv
> YUV Player 播放器播放:
> 大小计算:
以YUV420P为例:200*200*3/2=60000 byte
方法1、h624 或者 mpeg2 提取 yuv420p 裸数据
#define VIDEO_INBUF_SIZE 20480
#define VIDEO_REFLT_THRESH 4096
int decodeVideoInterface(AVCodecContext *decoderCtx, AVPacket *packet, AVFrame *frame, FILE *dest_fp)
{
int ret = avcodec_send_packet(decoderCtx, packet);
if (ret == AVERROR(EAGAIN))
{
av_log(NULL, AV_LOG_WARNING, "[decodeAudioInterface] -- AVERROR(EAGAIN) \n");
}
else if (ret < 0)
{
av_log(NULL, AV_LOG_ERROR, "send packet to decoder failed: %s\n", av_err2str(ret));
return -1;
}
while (ret >= 0)
{
// 对于frame avcodec_receive_frame 内部每次都先调用
ret = avcodec_receive_frame(decoderCtx, frame);
if (ret == AVERROR(EAGAIN) || ret == AVERROR_EOF)
{
return;
}
else if (ret < 0)
{
av_log(NULL, AV_LOG_ERROR, "decode packet failed:%s\n", av_err2str(ret));
}
av_log(NULL, AV_LOG_INFO, "宽度: %uHZ, 高度：%u, 编码格式：%u \n", frame->width, frame->height, frame->format);
fwrite(frame->data[0], 1, frame->width * frame->height, dest_fp); // Y
fwrite(frame->data[1], 1, frame->width * frame->height / 4, dest_fp); // U
fwrite(frame->data[2], 1, frame->width * frame->height / 4, dest_fp); // V
}
}
int decodeVideo(const char *inFileName, const char *outFileName)
{
/************************************************************************************/
// 打开输入文件
FILE *inFile = fopen(inFileName, "rb");
if (!inFile)
{
av_log(NULL, AV_LOG_ERROR, "Could not open:%s\n", inFileName);
goto _end;
}
// 打开输出文件
FILE *outFile = fopen(outFileName, "wb");
if (!outFile)
{
av_log(NULL, AV_LOG_ERROR, "Could not open:%s\n", inFileName);
goto _end;
}
uint8_t inFileDatabuf[AUDIO_INBUF_SIZE + AV_INPUT_BUFFER_PADDING_SIZE];
uint8_t *inFileData = inFileDatabuf;
size_t dataSize = fread(inFileData, 1, AUDIO_INBUF_SIZE, inFile);
/************************************************************************************/
enum AVCodecID VideoCodecID = AV_CODEC_ID_AAC;
if (strstr(inFileName, "264") != NULL)
VideoCodecID = AV_CODEC_ID_H264;
else if (strstr(inFileName, "mpeg2") != NULL)
VideoCodecID = AV_CODEC_ID_MPEG2VIDEO;
else
av_log(NULL, AV_LOG_WARNING, "default codec id:%d\n", VideoCodecID);
// 查找解码器
const AVCodec *decoder;
decoder = avcodec_find_decoder(VideoCodecID);
if (!decoder)
{
av_log(NULL, AV_LOG_ERROR, "decoder not found\n");
goto _end;
}
// 获得裸流的解析器 -- 根据制定的解码器ID初始化相应裸流的解析器
AVCodecParserContext *parserCtx = av_parser_init(decoder->id);
if (!parserCtx)
{
av_log(NULL, AV_LOG_ERROR, "parserCtx not found\n");
goto _end;
}
AVCodecContext *decoderCtx = NULL;
decoderCtx = avcodec_alloc_context3(decoder);
if (!decoderCtx)
{
av_log(NULL, AV_LOG_ERROR, "Conld not allocate video codec context\n");
goto _end;
}
// 将解码器和解码器上下文进行关联
int ret = avcodec_open2(decoderCtx, decoder, NULL);
if (ret < 0)
{
av_log(NULL, AV_LOG_ERROR, "Could not open codec\n");
goto _end;
}
AVFrame *decodeFrame = av_frame_alloc();
if (decodeFrame == NULL)
{
av_log(NULL, AV_LOG_ERROR, "Could not allocate video decodeFrame\n");
goto _end;
}
AVPacket *packet = NULL;
packet = av_packet_alloc();
while (dataSize > 0)
{
ret = av_parser_parse2(parserCtx, decoderCtx, &packet->data, &packet->size, inFileData, dataSize, AV_NOPTS_VALUE, AV_NOPTS_VALUE, 0);
if (ret < 0)
{
av_log(NULL, AV_LOG_ERROR, "Error while parsing\n");
goto _end;
}
inFileData += ret; // 跳过已经解析的数据
dataSize -= ret; // 对应的缓存大小也做相应的减小
if (packet->size)
decodeVideoInterface(decoderCtx, packet, decodeFrame, outFile);
if (dataSize < AUDIO_REFLT_THRESH) // 如果数据少了则再次读取
{
memmove(inFileDatabuf, inFileData, dataSize); // 把之前剩的数据拷贝到 buffer 的其实位置
inFileData = inFileDatabuf;
// 读取数据 长度： AUDIO_INBUF_SIZE - dataSize
int len = fread(inFileData + dataSize, 1, AUDIO_INBUF_SIZE - dataSize, inFile);
if (len > 0)
dataSize += len;
}
}
_end:
if (outFile)
fclose(outFile);
if (inFile)
fclose(inFile);
if (decoderCtx)
avcodec_free_context(&decoderCtx);
if (parserCtx)
av_parser_close(parserCtx);
if (decodeFrame)
av_frame_free(&decodeFrame);
if (packet)
av_packet_free(&packet);
return 0;
}
===========================================================================
方法2 直接提取
int decodeVideoYUVInterface(AVCodecContext* codecCtx, AVPacket* packet, FILE* dest_fp, int* frameCount)
{
int ret = avcodec_send_packet(codecCtx, packet);
if (ret != 0)
{
av_log(NULL, AV_LOG_ERROR, "send packet failed:%s\n", av_err2str(ret));
return -1;
}
AVFrame* frame = av_frame_alloc();
while (avcodec_receive_frame(codecCtx, frame) == 0)
{
fwrite(frame->data[0], 1, codecCtx->width * codecCtx->height, dest_fp);
fwrite(frame->data[1], 1, codecCtx->width * codecCtx->height / 4, dest_fp);
fwrite(frame->data[2], 1, codecCtx->width * codecCtx->height / 4, dest_fp);
(*frameCount)++;
av_log(NULL, AV_LOG_DEBUG, "frameCount:%d | linesize[0] = %d, linesize[1] = %d, linesize[2] = %d, width = %d, heigth = %d\n",
*frameCount, frame->linesize[0], frame->linesize[1], frame->linesize[2], codecCtx->width, codecCtx->height);
}
if (frame)
{
av_frame_free(&frame);
}
return 0;
}
int decodeVideoYUV(const char* inFileName, const char* outFileName)
{
int frameCount = 0;
/**********************************************************************************/
FILE* dest_fp = fopen(outFileName, "wb+");
if (dest_fp == NULL)
{
av_log(NULL, AV_LOG_ERROR, "open outfile:%s failed!\n", outFileName);
return -1;
}
/**********************************************************************************/
AVFormatContext* inFmtCtx = NULL;
int ret = avformat_open_input(&inFmtCtx, inFileName, NULL, NULL);
if (ret != 0)
{
av_log(NULL, AV_LOG_ERROR, "open input file:%s failed:%s\n", inFileName, av_err2str(ret));
return -1;
}
ret = avformat_find_stream_info(inFmtCtx, NULL);
if (ret < 0)
{
av_log(NULL, AV_LOG_ERROR, "find input stream info error:%s \n", av_err2str(ret));
goto fail;
}
int videoStreamIndex = av_find_best_stream(inFmtCtx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, 0);
if (videoStreamIndex < 0)
{
av_log(NULL, AV_LOG_ERROR, "find input bast stream index failed:%s\n", av_err2str(videoStreamIndex));
goto fail;
}
// 创建解码器上下文
AVCodecContext* codecCtx = avcodec_alloc_context3(NULL);
if (codecCtx == NULL)
{
av_log(NULL, AV_LOG_ERROR, "alloc avcodec context failed!\n");
goto fail;
}
// 拷贝编码参数
avcodec_parameters_to_context(codecCtx, inFmtCtx->streams[videoStreamIndex]->codecpar);
// 在当前的ffmpeg版本中看看有没有这个解码器
AVCodec* decoder = avcodec_find_decoder(codecCtx->codec_id);
if (decoder == NULL)
{
av_log(NULL, AV_LOG_ERROR, "find decoder failed, codec_id:%d\n", codecCtx->codec_id);
ret = -1;
goto fail;
}
// 找到后打开
ret = avcodec_open2(codecCtx, decoder, NULL);
if (ret != 0)
{
av_log(NULL, AV_LOG_ERROR, "open decoder failed:%s \n", av_err2str(ret));
goto fail;
}
AVPacket packet;
av_init_packet(&packet);
while (av_read_frame(inFmtCtx, &packet) >= 0)
{
if (packet.stream_index == videoStreamIndex)
{
if (decodeVideoYUVInterface(codecCtx, &packet, dest_fp, &frameCount) == -1)
{
ret = -1;
av_packet_unref(&packet);
goto fail;
}
}
av_packet_unref(&packet);
}
// flush decoder
decodeVideoYUVInterface(codecCtx, NULL, dest_fp, &frameCount);
fail:
if (inFmtCtx)
{
avformat_close_input(&inFmtCtx);
}
if (codecCtx)
{
avcodec_free_context(&codecCtx);
}
if (dest_fp)
{
fclose(dest_fp);
}
return ret;
}
