前言

本篇开始讲解大家最感兴趣的知识点 H264视频编码，大致分上中下3篇，包括各个知识点的讲解和实际编码的部分。

一、H264结构与码流解析

1.1 H264结构图

上图H264结构中，一个视频图像编码后的数据叫做一帧，一帧由一个片（slice）或多个片组成，一个片又由一个或多个宏块（MB）组成，一个宏块由多个子块组成，子块即16x16的yuv数据。宏块是作为H264编码的基本单位。

• 场和帧：视频的一场或一帧可用来产生一个编码图像。
• 片:每个图象中，若干宏块被排列成片的形式。片分为I片、B片、P片和其他一些片。
• I片只包含I宏块，P片可包含P和I宏块，而B片可包含B和I宏块。
• I宏块利用从当前片中已解码的像素作为参考进行帧内预测。
• P宏块利用前面已编码图象作为参考图象进行帧内预测。
• B宏块则利用双向的参考图象（前一帧和后一帧）进行帧内预测。
• 片的目的是为了限制误码的扩散和传输，使编码片相互间是独立的。某片的预测不能以其它片中的宏块为参考图像，这样某一片中的预测误差才不会传播到其它片中去。
• 宏块:一个编码图像通常划分成若干宏块组成，一个宏块由一个16×16亮度像素和附加的一个8×8 Cb和一个8×8 Cr彩色像素块组成。

C++音视频开发学习资料：点击领取→音视频开发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

1.2 H264编码分层

H264编码分层,分为了2层.

• NAL层: (Network Abstraction Layer,视频数据网络抽象层)
• 它的作用是H264只要在网络上传输,在传输的过程每个包以太网是1500字节. 而H264的帧往往会大于1500字节的.所以就要进行拆包. 将一个帧拆成多个包进行传输.所有的拆包或者组包都是通过NAL层去处理的.
• VCL层:(Video Coding Layer,视频数据编码层) 它的作用就是对视频原始数据进行压缩.

1.3 码流的基本概念

• SODB:(String of Data Bits,原始数据比特流) ,长度不一定是8的倍数.它是由VCL层产生的.因为非8的倍数所以处理比较麻烦.
• RBSP:(Raw Byte Sequence Payload,SODB+trailing bits) .算法是在SODB最后一位补1.不按字节对齐补0. 如果补齐0,不知道在哪里结束.所以补1.如果不够8位则按位补0.
• EBSP:(Encapsulate Byte Sequence Payload) .就是生成压缩流之后,我们还要在每个帧之前加一个起始位.起始位一般是十六进制的0001.但是在整个编码后的数据里,可能会出来连续的2个0x00.那这样就与起始位产生了冲突.那怎么处理了? H264规范里说明如果处理2个连续的0x00,就额外增加一个0x03.这样就能预防压缩后的数据与起始位产生冲突.
• NALU: NAL Header(1B)+EBSP.NALU就是在EBSP的基础上加1B的网络头.

EBSP解码的要点

• 每个NAL前有一个起始码 0x00 00 01（或者0x00 00 00 01），解码器检测每个起始码，作为一个NAL的起始标识，当检测到下一个起始码时，当前NAL结束。
• 同时H.264规定，当检测到0x00 00 01时，也可以表征当前NAL的结束。那么NAL中数据出现0x000001或0x000000时怎么办？H.264引入了防止竞争机制，如果编码器检测到NAL数据存在0x000001或0x000000时，编码器会在最后个字节前插入一个新的字节0x03，这样解码器检测到0x000003时，把03抛弃，恢复原始数据（脱壳操作）。
• 解码器在解码时，首先逐个字节读取NAL的数据，统计NAL的长度，然后再开始解码。

1.4 详解NAL Unit

NALU详解结构图如下：

• NAL 单元是由一个NALU头部+一个切片.
• 切片又可以细分成"切片头+切片数据".
• 每个切片数据包括了很多宏块.
• 每个宏块包括了宏块的类型,宏块的预测,残差数据.

H264码流分层结构图

?? 这个图比较重要.大家可以多看看。

C++音视频开发学习资料：点击领取→音视频开发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

二、VideoToolBox简介

VideoToolBox是苹果iOS8.0后推出的原生的硬编码框架，利用硬件加速器，基于Core Foundation库函数(它是C语言编写的)。

2.1 使用步骤

我们一般使用VideoToolBox框架，需要做的事情包括

1. 创建session -> 设置编码相关参数 -> 开始编码 ->循环输入源数据(YUV 类型的数据，直接从摄像头获取)->获取编码后的H264数据 ->结束编码
2. 构建H264文件，网络传输中其实也是H264文件

2.2 基本的数据结构

CMSampleBuffer中有编码和解码2种情况，它们有区别

• 编码后 数据存储在CMBlockBuffer中，其中流数据就是从这里获取的
• 未编码 数据存储在CVPixelBuffer中

2.4 编码的过程

上图中，通过视频编码，将原始数据编码生成H264流数据，但是，不是说拿到了h264数据就能直接交给解码器去处理，解码器只能处理的是h264文件数据。

2.3 h264文件

上图中

• 首先是SPS和PPS，解码时需优先解码SPS和PPS,才能接着对后面的数据进行解析。
• 接着是I B P帧，可参考03-视频编码的## 七、H264相关概念。
• 不管你使用那种框架编解码，如VideoToolBox、FFmpeg、硬编码等，不管你是哪种平台，如mac、windows或移动端，都需要遵循H264文件这种格式去进行。

SPS 和 PPS

序列参数集SPS(Sequence Parameter Sets)

图像参数集PPS(Picture Parameter Sets)

这些仅了解即可。

2.4 判断帧类型 I B P

我们知道，视频是由一帧一帧的画面组成，而帧又是一片或多片的数据组成，在网络传输的过程中，一片的数据可能很大，需要拆包发送，接收后再组包，那么问题来了：

如何判断识别帧类型，区分 I B P帧呢？

C++音视频开发学习资料：点击领取→音视频开发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

三、NALU单元数据详解

NALU = NAL Header + NAL Body

H264码流在网络中传输实际是以NALU的形式进行传输的，每个NALU由1个字节的Header和RBSP组成，如下图

3.1 NAL Header解析

NAL Header为1个字节，占8位，那这8位里面到底包含了什么数据？

• 第0位：F
• 第1-2位：NRI
• 第3-7位：TYPE，类型，就是通过它来判断帧类型 I帧 B帧 P帧的

F: forbidden_zero_bit，在H264规范里面，规定了第一位必须是0，这个不详细解释了，记住即可。

TYPE: 表示这个NAL的类型，以下表格有很多，不需要都记住，只需记住几个常用的即可

• 5：IDR图像的片（可以理解为I帧，I帧由多个I片组成）
• 7：序列参数集（SPS）
• 8：图像参数集（PPS）

3.2 NAL类型介绍

• 单一类型:一个RTP包只包含NALU,就是说H264帧里只包含了一个片,例如P帧或者B帧都是单一类型
• 组合类型:一个RTP包含多个NALU,类型是24-27,像pps或者sps一般都放在一个包里,以为2个数据单元都非常小
• 分片类型:一个NALU单元分成多个RTP包,类型28-29

单一的NALU的RTP包

组合NALU的RTP包

分片NALU的RTP包

第1个字节:FU indicator分片单元指示符
第2个字节:FU Header 分片单元头,有多个片,就有FU Header组合起来

FU Header

• S: start bit用于指明分片的开始,在网络传输时,一个个包,我们知道他的分片的包,那么如何区分是开始还是末尾的包呢?如果为1就是分片的开始
• E: end bit用于指明分片的结束
• R: 未使用,设置为0
• Type:指明分片NAL类型,网络传输完成后,还是需要将分片组合成NALU单元,这个NAL单元是关键帧还是非关键帧,是sps还是pps,就需要根据Type来判断

思考：在传输过程中将一个帧切割成多个片,如果在传输过程中顺序打乱,或者丢失了其中某个片,我们怎么判断NALU单元传输完整呢?

解决思路

依据FU Header的S/E位,并借助于RTP包的包头,在RTP的包头包括了每个包的序列号,如果收到的包,收到了S包,也收到了E包,中间的包的序号是连续的,那就说明包是完整的,如果不是连续的就是丢包了,如果没有丢包就可以组合起来。

C++音视频开发学习资料：点击领取→音视频开发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

四、AVFoundation采集视频数据实现（1）

接下来，就是编码演示一下如何采集视频数据。大家可以回忆下之前的02-AVFoundation高级捕捉，我们之前实现的是一个基于系统相机的录制视频的功能，并没有涉及视频编码，所以这次编码演示不同

1. 数据采集 基于AVFoudation框架（这个应该很熟悉了）
2. 视频编码 基于VideoToolBox框架 整个过程大致就是

数据采集 -> 编码完成 -> H264文件 -> 写入沙盒/网络传输

4.1 数据采集

相信大家现在都清楚数据采集的流程了，这里不多做说明，直接上代码(就在ViewController里处理)。

1. 首先声明属性

@interface ViewController ()<AVCaptureVideoDataOutputSampleBufferDelegate>

@property(nonatomic,strong)UILabel *cLabel;

@property(nonatomic,strong)AVCaptureSession *cCapturesession;//捕捉会话，用于输入输出设备之间的数据传递

@property(nonatomic,strong)AVCaptureDeviceInput *cCaptureDeviceInput;//捕捉输入

@property(nonatomic,strong)AVCaptureVideoDataOutput *cCaptureDataOutput;//捕捉输出

@property(nonatomic,strong)AVCaptureVideoPreviewLayer *cPreviewLayer;//预览图层


@end

不同于相机的视频功能，这次输出使用的是AVCaptureVideoDataOutput,所以需遵循的delegate是AVCaptureVideoDataOutputSampleBufferDelegate。

然后是需要创建队列完成2件事 捕获 和 编码

@implementation ViewController
{
    int  frameID; //帧ID

    dispatch_queue_t cCaptureQueue; //捕获队列

    dispatch_queue_t cEncodeQueue;  //编码队列

    VTCompressionSessionRef cEncodeingSession;//编码session

    CMFormatDescriptionRef format; //编码格式

    NSFileHandle *fileHandele; //文件指针，存储沙盒时使用
}

ViewDidLoad中的初始化

- (void)viewDidLoad {

    [super viewDidLoad];

    // Do any additional setup after loading the view, typically from a nib.
    
    //基础UI实现
    _cLabel = [[UILabel alloc]initWithFrame:CGRectMake(20, 20, 200, 100)];
    _cLabel.text = @"cc课堂之H.264硬编码";
    _cLabel.textColor = [UIColor redColor];
    [self.view addSubview:_cLabel];

    UIButton *cButton = [[UIButton alloc]initWithFrame:CGRectMake(200, 20, 100, 100)];
    [cButton setTitle:@"play" forState:UIControlStateNormal];
    [cButton setTitleColor:[UIColor whiteColor] forState:UIControlStateNormal];
    [cButton setBackgroundColor:[UIColor orangeColor]];
    [cButton addTarget:self action:@selector(buttonClick:) forControlEvents:UIControlEventTouchUpInside];
    [self.view addSubview:cButton];
}

接下来就是按钮的点击事件

- (void)buttonClick:(UIButton *)button {
    //判断_cCapturesession 和 _cCapturesession是否正在捕捉
    if (!_cCapturesession || !_cCapturesession.isRunning ) {
        //修改按钮状态
        [button setTitle:@"Stop" forState:UIControlStateNormal];
        //开始捕捉
        [self startCapture];
    } else {
        [button setTitle:@"Play" forState:UIControlStateNormal];
        //停止捕捉
        [self stopCapture];
    }
}

开始录制视频

- (void)startCapture {
    self.cCapturesession = [[AVCaptureSession alloc]init];
    //设置捕捉分辨率
    self.cCapturesession.sessionPreset = AVCaptureSessionPreset640x480;

    //使用函数dispath_get_global_queue去得到队列
    cCaptureQueue = dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0);
    cEncodeQueue  = dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0);
    
    AVCaptureDevice *inputCamera = nil;
    //获取iPhone视频捕捉的设备，例如前置摄像头、后置摄像头......
    NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];

    for (AVCaptureDevice *device in devices) {
        //拿到后置摄像头
        if ([device position] == AVCaptureDevicePositionBack) {
            inputCamera = device;
        }
    }

    //将捕捉设备 封装成 AVCaptureDeviceInput 对象
    self.cCaptureDeviceInput = [[AVCaptureDeviceInput alloc]initWithDevice:inputCamera error:nil];
    
    //判断是否能加入后置摄像头作为输入设备
    if ([self.cCapturesession canAddInput:self.cCaptureDeviceInput]) {
        //将设备添加到会话中
        [self.cCapturesession addInput:self.cCaptureDeviceInput];
    }
    //配置输出
    self.cCaptureDataOutput = [[AVCaptureVideoDataOutput alloc]init];

    //设置丢弃最后的video frame 为NO
    [self.cCaptureDataOutput setAlwaysDiscardsLateVideoFrames:NO];

    //设置video的视频捕捉的像素点压缩方式为 YUV4:2:0
    [self.cCaptureDataOutput setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_420YpCbCr8BiPlanarFullRange] forKey:(id)kCVPixelBufferPixelFormatTypeKey]];
}

关于 YUV4:2:0，这个之前没有接触过，接下来我们看看。

C++音视频开发学习资料：点击领取→音视频开发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

五、YUV颜色详解

我们比较熟悉的颜色系统 RGB，它每一个颜色通道占有1个字节。而YUV,是做音视频这块业务开发比较熟悉的，它的特点

1. YUV(也称为YCbCr)，是电视系统所采用的一种颜色编码方式
2. Y: 表示亮度，也就是灰阶值，它是基础信号
3. U和V表示的则是色度，UV的作用是描述影像的色彩及饱和度，它们用于指定像素的颜色。

YUV和视频的关系：摄像机录制出来的视频就是YUV。

5.1 YUV常见格式

• YUV4:2:0(YCbCr 4:2:0) 比RGB少二分之一
• YUV4:2:2(YCbCr 4:2:2) 比RGB少三分之一，节省了很多空间，有历史原因。
• YUV4:4:4(YCbCr 4:4:4) 理解为1:1:1，就是4个Y对应4个U和4个V。

YUV4:4:4

在4:4:4的模式下，色彩的全部信息被保全下来，如图

相邻的四个像素点ABCD，每个像素点有自己的YUV，在色彩的二次采样的过程中，分别保留自己的YUV，称之为4:4:4。

YUV4:2:2

ABCD四个相邻的像素点，A（Y0，U0，V0），B（Y1，U1，V1），C（Y2，U2，V2），D（Y3，U3，V3），当二次采样的时候，A采样的时候保留（Y0，U0），B保留（Y1，V1），C保留（Y2，U2），D保留（Y3，V3）；也就是说，每个像素点的Y（明亮度）保留其本身的值，而U和V的值是每间隔一个采样，而最终就变成

也就是说A借B的V1，B借A的U0，C借D的V3，D借C的U2，这就是传说中的4:2:2，?张1280 * 720 ??的图?，在YUV 4:2:2 采样时的??为

（1280 * 720 * 8 + 1280 * 720 * 0.5 * 8 * 2）/ 8 / 1024 / 1024 = 1.76 MB 。

可以看到YUV 4:2:2 采样的图像?RGB 模型图像节省了三分之?的存储空间，在传输时占?的带宽也会随之减少。

YUV4:2:0

上面说到的4:2:2中我们可以看到相邻的两个像素点的UV是左右互相借的，那可不可以上下左右借呢，答案当然是可以的

YUV 4:2:0 采样，并不是指只采样U 分量?不采样V 分量。?是指，在每??扫描时，只扫描?种?度分量（U 或者V），和Y 分量按照2 : 1 的?式采样。

?如，第??扫描时，YU 按照2 : 1 的?式采样，那么第??扫描时，YV 分量按照2:1 的?式采样。对于每个?度分量来说，它的?平?向和竖直?向的采样和Y 分量相?都是2:1 。假设第??扫描了U 分量，第??扫描了V 分量，那么需要扫描两?才能够组成完整的UV 分量。

从映射出的像素点中可以看到，四个Y 分量是共?了?套UV 分量，?且是按照2*2 的??格的形式分布的，相?YUV 4:2:2 采样中两个Y 分量共??套UV 分量，这样更能够节省空间。?张1280 * 720 ??的图?，在YUV 4:2:0 采样时的??为：

（1280 * 720 * 8 + 1280 * 720 * 0.25 * 8 * 2）/ 8 / 1024 / 1024 = 1.32 MB 相对于2.63M节省了一半的空间

5.2 YUV存储格式

• 平面格式（planar formats） ：对于planar的YUV格式，先连续存储所有像素点的Y，紧接着存储所有像素点的U，随后是所有像素点的V，如 YYYY YYYY UU VV。
• I420: YYYYYYYY UU VV --> YUV420P (PC专用的)
• YV12: YYYYYYYY VV UU --> YUV420P
• 紧缩格式（packed formats）：对于packed的YUV格式，每个像素点的Y,U,V是连续交替存储的，如YUV YUV YUV YUV，这种排列方式跟 RGB 很类似。
• NV12: YYYYYYYY UVUV --> YUV420SP
• NV21: YYYYYYYY VUVU --> YUV420SP

有可能在开发过程中，比如安卓和iOS，在解码视频后，发现视频图像出现倒置或者翻转，有可能就是因为他们的YUV的格式不一致导致的，PC端一般常用I420，安卓一般默认NV21,而iOS默认NV12，如果想行为统一，就需要保证一致的存储格式。

六、AVFoundation采集视频数据实现(2)

YUV颜色体系了解后，我们继续完成视频的采集流程

- (void)startCapture {
    self.cCapturesession = [[AVCaptureSession alloc]init];
    
    //设置捕捉分辨率
    self.cCapturesession.sessionPreset = AVCaptureSessionPreset640x480;

    //使用函数dispath_get_global_queue去得到队列
    cCaptureQueue = dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0);
    cEncodeQueue  = dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0);

    
    AVCaptureDevice *inputCamera = nil;
    //获取iPhone视频捕捉的设备，例如前置摄像头、后置摄像头......
    NSArray *devices = [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo];
    for (AVCaptureDevice *device in devices) {
        //拿到后置摄像头
        if ([device position] == AVCaptureDevicePositionBack) {
            inputCamera = device;
        }
    }

    //将捕捉设备 封装成 AVCaptureDeviceInput 对象
    self.cCaptureDeviceInput = [[AVCaptureDeviceInput alloc]initWithDevice:inputCamera error:nil];

    //判断是否能加入后置摄像头作为输入设备
    if ([self.cCapturesession canAddInput:self.cCaptureDeviceInput]) {
        //将设备添加到会话中
        [self.cCapturesession addInput:self.cCaptureDeviceInput];
    }
    //配置输出
    self.cCaptureDataOutput = [[AVCaptureVideoDataOutput alloc]init];

    //设置丢弃最后的video frame 为NO
    [self.cCaptureDataOutput setAlwaysDiscardsLateVideoFrames:NO];

    //设置video的视频捕捉的像素点压缩方式为 420
    [self.cCaptureDataOutput setVideoSettings:[NSDictionary dictionaryWithObject:[NSNumber numberWithInt:kCVPixelFormatType_420YpCbCr8BiPlanarFullRange] forKey:(id)kCVPixelBufferPixelFormatTypeKey]];

    //设置捕捉代理 和 捕捉队列
    [self.cCaptureDataOutput setSampleBufferDelegate:self queue:cCaptureQueue];
    //判断是否能添加输出
    if ([self.cCapturesession canAddOutput:self.cCaptureDataOutput]) {
        //添加输出
        [self.cCapturesession addOutput:self.cCaptureDataOutput];
    }

    //创建连接
    AVCaptureConnection *connection = [self.cCaptureDataOutput connectionWithMediaType:AVMediaTypeVideo];
    //设置连接的方向
    [connection setVideoOrientation:AVCaptureVideoOrientationPortrait];

    //初始化图层
    self.cPreviewLayer = [[AVCaptureVideoPreviewLayer alloc]initWithSession:self.cCapturesession];
    //设置视频重力
    [self.cPreviewLayer setVideoGravity:AVLayerVideoGravityResizeAspect];
    //设置图层的frame
    [self.cPreviewLayer setFrame:self.view.bounds];
    //添加图层
    [self.view.layer addSublayer:self.cPreviewLayer];
    
    //文件写入沙盒
    NSString *filePath = [[NSSearchPathForDirectoriesInDomains(NSDocumentDirectory,NSUserDomainMask,YES) lastObject]stringByAppendingPathComponent:@"cc_video.h264"];
    //先移除已存在的文件
    [[NSFileManager defaultManager] removeItemAtPath:filePath error:nil];
    //新建文件
    BOOL createFile = [[NSFileManager defaultManager] createFileAtPath:filePath contents:nil attributes:nil];
    if (!createFile) {
        NSLog(@"create file failed");
    } else {
        NSLog(@"create file success");
    }
    NSLog(@"filePaht = %@",filePath);
    fileHandele = [NSFileHandle fileHandleForWritingAtPath:filePath];

    //初始化videoToolbBox
    [self initVideoToolBox];
    //开始捕捉
    [self.cCapturesession startRunning];
}

C++音视频开发学习资料：点击领取→音视频开发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

七、VideoToolBox视频编码参数配置

接下来就是videoToolbBox的初始化过程，包括视频编码的一些参数的配置。需要做的事情包括

1. 创建编码session cEncodeingSession
2. 配制编码的参数

7.1 创建编码session

创建编码session使用的C函数是VTCompressionSessionCreate

逐一解释下各个参数的含义

• 参数1：分配器,设置NULL为默认分配
• 参数2：分辨率width，单位是像素，如果此数据非法，系统会改为合理的值
• 参数3：分辨率height，同上
• 参数4：编码类型,如kCMVideoCodecType_H264
• 参数5：编码规范。设置NULL由videoToolbox自己选择
• 参数6：源像素缓冲区属性.设置NULL不让videToolbox创建,而自己创建
• 参数7：压缩数据分配器.设置NULL,默认的分配
• 参数8：回调函数。当VTCompressionSessionEncodeFrame被调用压缩一次后会被异步调用.

??注:当你设置NULL的时候,你需要调用VTCompressionSessionEncodeFrameWithOutputHandler方法进行压缩帧处理,支持iOS9.0以上

• 参数9：回调客户定义的参考值，即将self桥接，让C函数可以调用OC方法
• 参数10：编码会话变量

7.2 配制编码的参数

配制编码的参数也需要使用C函数VTSessionSetProperty

这个函数很简单，参数释义如下

• 参数1：配置参数的设置对象 cEncodeingSession
• 参数2：属性名称
• 参数3：属性的值

7.3 完整初始化代码

//初始化videoToolBox
- (void)initVideoToolBox {
    dispatch_sync(cEncodeQueue, ^{
        frameID = 0;
        
        // 分辨率：与AVFoudation的分辨率保持一致
        int width = 480,height = 640;
        
        //1.调用VTCompressionSessionCreate创建编码session
        OSStatus status = VTCompressionSessionCreate(NULL, width, height, kCMVideoCodecType_H264, NULL, NULL, NULL, didCompressH264, (__bridge void *)(self), &cEncodeingSession);
        NSLog(@"H264:VTCompressionSessionCreate:%d",(int)status);
        if (status != 0) {
            NSLog(@"H264:Unable to create a H264 session");
            return ;
        }
        //2.配制参数
        
        //设置实时编码输出（避免延迟）
        VTSessionSetProperty(cEncodeingSession, kVTCompressionPropertyKey_RealTime, kCFBooleanTrue);

        //舍弃B帧
        VTSessionSetProperty(cEncodeingSession, kVTCompressionPropertyKey_ProfileLevel,kVTProfileLevel_H264_Baseline_AutoLevel);
        
        //是否产生B帧(因为B帧在解码时并不是必要的,是可以抛弃B帧的)
        VTSessionSetProperty(cEncodeingSession, kVTCompressionPropertyKey_AllowFrameReordering, kCFBooleanFalse);
        
        //设置关键帧（GOPsize）间隔，GOP太小的话图像会模糊
        int frameInterval = 10;

        //需要类型转换
        /**

         CFNumberCreate(CFAllocatorRef allocator, CFNumberType theType, const void *valuePtr)
         * allocator: 分配器 kCFAllocatorDefault默认
         * theType: 数据类型
         * *valuePtr: 指针，地址
         */
        CFNumberRef frameIntervalRaf = CFNumberCreate(kCFAllocatorDefault, kCFNumberIntType, &frameInterval);
        VTSessionSetProperty(cEncodeingSession, kVTCompressionPropertyKey_MaxKeyFrameInterval, frameIntervalRaf);
        //设置期望帧率，不是实际帧率
        int fps = 10;

        CFNumberRef fpsRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberIntType, &fps);
        VTSessionSetProperty(cEncodeingSession, kVTCompressionPropertyKey_ExpectedFrameRate, fpsRef);
        
        //码率的理解：码率大了话就会非常清晰，但同时文件也会比较大。码率小的话，图像有时会模糊，但也勉强能看
        //码率计算公式，参考印象笔记
        //设置码率、上限、单位是bps
        int bitRate = width * height * 3 * 4 * 8;
        CFNumberRef bitRateRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberSInt32Type, &bitRate);
        VTSessionSetProperty(cEncodeingSession, kVTCompressionPropertyKey_DataRateLimits, bitRateRef);

        //设置码率，均值，单位是byte
        int bigRateLimit = width * height * 3 * 4;
        CFNumberRef bitRateLimitRef = CFNumberCreate(kCFAllocatorDefault, kCFNumberSInt32Type, &bigRateLimit);
        VTSessionSetProperty(cEncodeingSession, kVTCompressionPropertyKey_AverageBitRate, bitRateLimitRef);

        //开始编码
        VTCompressionSessionPrepareToEncodeFrames(cEncodeingSession);
    });
}

其中，关于码率计算公式，可参考下图

八、AVFoundation采集视频数据实现(3)

采集视频的流程还剩下停止捕捉和视频编码准备这2个节点了。

8.1 停止捕捉

在使用VideoToolBox视频编码之前，我们回到采集视频的流程，刚才我们实现了开始捕捉startCapture，还有停止捕捉未实现

- (void)stopCapture {
    //停止捕捉
    [self.cCapturesession stopRunning];

    //移除预览图层
    [self.cPreviewLayer removeFromSuperlayer];

    //结束videoToolbBox
    [self endVideoToolBox];

    //关闭文件
    [fileHandele closeFile];
    fileHandele = NULL;
}

其中，结束VideoToolBox代码如下

-(void)endVideoToolBox {
    VTCompressionSessionCompleteFrames(cEncodeingSession, kCMTimeInvalid);
    VTCompressionSessionInvalidate(cEncodeingSession);
    CFRelease(cEncodeingSession);
    cEncodeingSession = NULL;
}

8.2 视频编码准备

准备工作大家应该知道，肯定是在输出的delegate方法中去完成，我们此时使用的是输出是AVCaptureVideoDataOutput，它的delegate是AVCaptureVideoDataOutputSampleBufferDelegate，获取视频流所触发的方法是

-(void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection {
    //开始视频录制，获取到摄像头的视频帧，传入encode方法中
    dispatch_sync(cEncodeQueue, ^{
        // 这是未编码/未压缩的视频流
        [self encode:sampleBuffer];
    });
}

但是有个问题，视频和音频数据都是通过AVFoudation采集，然后交由这个代理方法！那么如何区分是视频还是音频数据呢？

通过captureOutput对象，判断它是AVCaptureVideoDataOutput还是AVCaptureAudioDataOutput。

九、VideoToolBox视频编码实现（1）

9.1 编码函数

和创建编码session一样，视频编码的函数也是C函数

其参数释义如下

• 参数1：编码会话变量
• 参数2：未编码数据
• 参数3：获取到的这个sample buffer数据的展示时间戳。每一个传给这个session的时间戳都要大于前一个展示时间戳.
• 参数4：对于获取到sample buffer数据,这个帧的展示时间.如果没有时间信息,可设置kCMTimeInvalid.
• 参数5：frameProperties: 包含这个帧的属性.帧的改变会影响后边的编码帧.
• 参数6：ourceFrameRefCon: 回调函数会引用你设置的这个帧的参考值.
• 参数7：infoFlagsOut: 指向一个VTEncodeInfoFlags来接受一个编码操作.如果使用异步运行,kVTEncodeInfo_Asynchronous被设置；同步运行,kVTEncodeInfo_FrameDropped被设置；设置NULL为不想接受这个信息.

9.2 视频编码encode

- (void)encode:(CMSampleBufferRef)sampleBuffer {
    //拿到每一帧未编码数据
    CVImageBufferRef imageBuffer = (CVImageBufferRef)CMSampleBufferGetImageBuffer(sampleBuffer);

    //设置帧时间，如果不设置会导致时间轴过长。
    CMTime presentationTimeStamp = CMTimeMake(frameID++, 1000);

    VTEncodeInfoFlags flags;    
    //编码函数
    OSStatus statusCode = VTCompressionSessionEncodeFrame(cEncodeingSession, imageBuffer, presentationTimeStamp, kCMTimeInvalid, NULL, NULL, &flags);
    if (statusCode != noErr) {
        NSLog(@"H.264:VTCompressionSessionEncodeFrame faild with %d",(int)statusCode);
        //结束编码
        VTCompressionSessionInvalidate(cEncodeingSession);
        CFRelease(cEncodeingSession);
        cEncodeingSession = NULL;
        return;
    }
    
    NSLog(@"H264:VTCompressionSessionEncodeFrame Success");
}

此时编码已经完成，接下来有2个问题

1. 去哪里获取编码成功的H264流数据？
2. 拿到编码成功的数据后，接下来做什么？

9.3 编码完成回调

我们先来回答问题1，我们当初配置编码sessioncEncodeingSession时，指定了1个回调函数didCompressH264，这里就能拿到编码成功的H264流数据

void didCompressH264(void *outputCallbackRefCon, void *sourceFrameRefCon, OSStatus status, VTEncodeInfoFlags infoFlags, CMSampleBufferRef sampleBuffer)

还记得我们之前讲解的H264文件格式吗？看下图

在NALU流数据中，第0个和第1个是SPS和PPS，这里面就包含了很多参数等关键信息，当然我们要先处理这个,而获取SPS和PPS，首先得拿到关键帧。这就是问题2:拿到编码成功的数据后，所需要做的事情。

9.3.1 关键帧的判断

大致分为3步

1. 从sampleBuffer中获取数据流数组array

CFArrayRef array = CMSampleBufferGetSampleAttachmentsArray(sampleBuffer, true);

2. 从array中获取索引值为0的object

CFDictionaryRef dic = CFArrayGetValueAtIndex(array, 0);

3. 判断是否关键帧

bool isKeyFrame = !CFDictionaryContainsKey(dic, kCMSampleAttachmentKey_NotSync);

9.3.2 获取SPS/PPS的C函数

• 参数1：图像存储方式
• 参数2：0 索引值
• 参数3、参数4、参数5：传值是地址，输出SPS/PPS的参数信息
• 参数6：输出的信息，默认传0

9.3.3 H264文件的生成

void didCompressH264(void *outputCallbackRefCon, void *sourceFrameRefCon, OSStatus status, VTEncodeInfoFlags infoFlags, CMSampleBufferRef sampleBuffer) {
    NSLog(@"didCompressH264 called with status %d infoFlags %d",(int)status,(int)infoFlags);
    
    //状态错误
    if (status != 0) {
        return;
    }
    
    //没准备好
    if (!CMSampleBufferDataIsReady(sampleBuffer)) {
        NSLog(@"didCompressH264 data is not ready");
        return;
    }
    
    // 将ref（之前桥接的self对象）转换成viewconntroller
    ViewController *encoder = (__bridge ViewController *)outputCallbackRefCon;

    //判断当前帧是否为关键帧
    bool keyFrame = !CFDictionaryContainsKey((CFArrayGetValueAtIndex(CMSampleBufferGetSampleAttachmentsArray(sampleBuffer, true), 0)), kCMSampleAttachmentKey_NotSync);

    //获取sps & pps 数据 只获取1次，保存在h264文件开头的第一帧中
    //sps(sample per second 采样次数/s),是衡量模数转换（ADC）时采样速率的单位

    //pps()
    if (keyFrame) {
        //图像存储方式，编码器等格式描述
        CMFormatDescriptionRef format = CMSampleBufferGetFormatDescription(sampleBuffer);

        //从第0个索引关键帧获取sps
        size_t sparameterSetSize,sparameterSetCount;
        const uint8_t *sparameterSet;

        OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 0, &sparameterSet, &sparameterSetSize, &sparameterSetCount, 0);
        if (statusCode == noErr) {
            //获取pps
            size_t pparameterSetSize,pparameterSetCount;
            const uint8_t *pparameterSet;

            //从第1个索引关键帧获取pps
            OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 1, &pparameterSet, &pparameterSetSize, &pparameterSetCount, 0);
            //sps和pps获取成功，准备写入文件
            if (statusCode == noErr) {
                // pps & sps -> NSData
                NSData *sps = [NSData dataWithBytes:sparameterSet length:sparameterSetSize];
                NSData *pps = [NSData dataWithBytes:pparameterSet length:pparameterSetSize];

                if(encoder) {
                    //写入文件
                    [encoder gotSpsPps:sps pps:pps];
                }
            }
        }
    }
    // 还有其他操作...
}

接着就是写入 sps & pps的方法gotSpsPps:pps:实现，先看图

所以就是添加起始位00 00 00 01

//第一帧写入 sps & pps

- (void)gotSpsPps:(NSData*)sps pps:(NSData*)pps {
    NSLog(@"gotSpsPp %d %d",(int)[sps length],(int)[pps length]);

    //添加起始位00 00 00 01
    const char bytes[] = "\x00\x00\x00\x01";

    //减1是去掉`\0`结束符
    size_t length = (sizeof bytes) - 1;

    NSData *ByteHeader = [NSData dataWithBytes:bytes length:length];
    [fileHandele writeData:ByteHeader];
    [fileHandele writeData:sps];
    [fileHandele writeData:ByteHeader];
    [fileHandele writeData:pps];
}

C++音视频开发学习资料：点击领取→音视频开发（资料文档+视频教程+面试题）（FFmpeg+WebRTC+RTMP+RTSP+HLS+RTP）

十、VideoToolBox视频编码实现（2）

上面已经处理完SPS/PPS了，接着就是之后的NALU流数据处理了，就是下图的CMBlockBuffer

CMBlockBuffer中汇总的就是编码后的数据流，我们需要获取它，然后转换成H264文件格式。

10.1 获取CMBlockBuffer

当然是C函数

很简单，就一句代码

CMBlockBufferRef dataBuffer = CMSampleBufferGetDataBuffer(sampleBuffer);

我们可以将dataBuffer理解为一个数组，我们需要遍历它，获取里面的数据。如何遍历呢？需要3个条件

1. 单个元素的length
2. 总体数据的length
3. 起始地址

然后通过C函数获取

CMBlockBufferRef dataBuffer = CMSampleBufferGetDataBuffer(sampleBuffer);
size_t length,totalLength; // 单个数据length，整个流数据的length
char *dataPointer; //数据的首地址
// 根据单个数据length，整个NALU流数据的length，以及数据的首地址，就可以遍历整个数据流做处理了 -->可以理解为遍历数组
OSStatus statusCodeRet = CMBlockBufferGetDataPointer(dataBuffer, 0, &length, &totalLength, &dataPointer);
if (statusCodeRet == noErr) {
    //这里处理遍历，读取数据
}

10.2 大端模式 & 小端模式

在遍历处理数据之前，需要考虑一个问题 大端模式 & 小端模式。

计算机硬件中，数据的存储方式有2种：大端字节序 和 小端字节序。

• 大端字节序：高位字节在前面，低位字节在后面
• 小端字节序：低位字节在前面，高位字节在后面

比如，16进制数据0x01234567，大端字节序是01 23 45 67，而小端字节序则是67 45 23 01。

为什么会有小端字节序呢？ 因为计算机电路先处理低位字节，效率会比较高！所以，计算机内部处理都是从低位字节开始，而人类的读写习惯是大端字节序，因此，除了计算机内部，其他一般情况都是保持大端字节序。

10.3 循环遍历处理NALU数据

循环遍历有2种方式，一种是通过指针p++偏移来操作，一种是通过步长偏移操作，我们这里采用后者，代码如下

size_t bufferOffset = 0;

static const int AVCCHeaderLength = 4;//返回的nalu数据前4个字节不是001的startcode,而是大端模式的帧长度length
//循环：通过偏移量来获取NALU数据
while (bufferOffset < totalLength - AVCCHeaderLength) {
    uint32_t NALUnitLength = 0;
    //读取 一单元长度的 nalu
    memcpy(&NALUnitLength, dataPointer + bufferOffset, AVCCHeaderLength);
    
    //从大端模式转换为系统端模式(mac上就是小端模式)
    NALUnitLength = CFSwapInt32BigToHost(NALUnitLength);
    
    //获取nalu数据
    NSData *data = [[NSData alloc]initWithBytes:(dataPointer + bufferOffset + AVCCHeaderLength) length:NALUnitLength];
    
    //将nalu数据写入到文件
    [encoder gotEncodedData:data isKeyFrame:keyFrame];
    
    //读取下一个nalu 一次回调可能包含多个nalu数据
    bufferOffset += AVCCHeaderLength + NALUnitLength;
}

10.4 完整版didCompressH264

完整版代码

void didCompressH264(void *outputCallbackRefCon, void *sourceFrameRefCon, OSStatus status, VTEncodeInfoFlags infoFlags, CMSampleBufferRef sampleBuffer) {
    NSLog(@"didCompressH264 called with status %d infoFlags %d",(int)status,(int)infoFlags);

    //状态错误
    if (status != 0) {
        return;
    }

    //没准备好
    if (!CMSampleBufferDataIsReady(sampleBuffer)) {
        NSLog(@"didCompressH264 data is not ready");
        return;
    }

    ViewController *encoder = (__bridge ViewController *)outputCallbackRefCon;

    //判断当前帧是否为关键帧
    bool keyFrame = !CFDictionaryContainsKey((CFArrayGetValueAtIndex(CMSampleBufferGetSampleAttachmentsArray(sampleBuffer, true), 0)), kCMSampleAttachmentKey_NotSync);
    //获取sps & pps 数据 只获取1次，保存在h264文件开头的第一帧中
    //sps(sample per second 采样次数/s),是衡量模数转换（ADC）时采样速率的单位
    //pps()

    if (keyFrame) {
        //图像存储方式，编码器等格式描述
        CMFormatDescriptionRef format = CMSampleBufferGetFormatDescription(sampleBuffer);

        //从第0个索引关键帧获取sps
        size_t sparameterSetSize,sparameterSetCount;
        const uint8_t *sparameterSet;

        OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 0, &sparameterSet, &sparameterSetSize, &sparameterSetCount, 0);
        if (statusCode == noErr) {
            //获取pps
            size_t pparameterSetSize,pparameterSetCount;
            const uint8_t *pparameterSet;

            //从第1个索引关键帧获取pps
            OSStatus statusCode = CMVideoFormatDescriptionGetH264ParameterSetAtIndex(format, 1, &pparameterSet, &pparameterSetSize, &pparameterSetCount, 0);
            
            //sps和pps获取成功，准备写入文件
            if (statusCode == noErr) {
                // pps & sps -> NSData
                NSData *sps = [NSData dataWithBytes:sparameterSet length:sparameterSetSize];
                NSData *pps = [NSData dataWithBytes:pparameterSet length:pparameterSetSize];

                if(encoder) {
                    //写入文件
                    [encoder gotSpsPps:sps pps:pps];
                }
            }
        }
    }

    CMBlockBufferRef dataBuffer = CMSampleBufferGetDataBuffer(sampleBuffer);
    size_t length,totalLength; // 单个数据length，整个流数据的length
    char *dataPointer; //数据的首地址
    // 根据单个数据length，整个NALU流数据的length，以及数据的首地址，就可以遍历整个数据流做处理了 -->可以理解为遍历数组
    OSStatus statusCodeRet = CMBlockBufferGetDataPointer(dataBuffer, 0, &length, &totalLength, &dataPointer);
    if (statusCodeRet == noErr) {
        size_t bufferOffset = 0;
        static const int AVCCHeaderLength = 4;//返回的nalu数据前4个字节不是001的startcode,而是大端模式的帧长度length
        
        //循环：通过偏移量来获取NALU数据
        while (bufferOffset < totalLength - AVCCHeaderLength) {
            uint32_t NALUnitLength = 0;
            //读取 一单元长度的 nalu
            memcpy(&NALUnitLength, dataPointer + bufferOffset, AVCCHeaderLength);

            //从大端模式转换为系统端模式(mac上就是小端模式)
            NALUnitLength = CFSwapInt32BigToHost(NALUnitLength);

            //获取nalu数据
            NSData *data = [[NSData alloc]initWithBytes:(dataPointer + bufferOffset + AVCCHeaderLength) length:NALUnitLength];
            
            //将nalu数据写入到文件
            [encoder gotEncodedData:data isKeyFrame:keyFrame];

            //读取下一个nalu 一次回调可能包含多个nalu数据
            bufferOffset += AVCCHeaderLength + NALUnitLength;

        }
    }
}

接着就是gotEncodedData:isKeyFrame:方法的实现

- (void)gotEncodedData:(NSData*)data isKeyFrame:(BOOL)isKeyFrame {
    NSLog(@"gotEncodeData %d",(int)[data length]);

    if (fileHandele != NULL) {
        //添加4个字节的H264 协议 start code 分割符
        //一般来说编码器编出的首帧数据为PPS & SPS
        //H264编码时，在每个NAL前添加起始码 0x000001,解码器在码流中检测起始码，当前NAL结束。

        /*
         为了防止NAL内部出现0x000001的数据，h.264又提出'防止竞争 emulation prevention"机制，在编码完一个NAL时，如果检测出有连续两个0x00字节，就在后面插入一个0x03。当解码器在NAL内部检测到0x000003的数据，就把0x03抛弃，恢复原始数据。

         总的来说H264的码流的打包方式有两种,一种为annex-b byte stream format 的格式，这个是绝大部分编码器的默认输出格式，就是每个帧的开头的3~4个字节是H264的start_code,0x00000001或者0x000001。

         另一种是原始的NAL打包格式，就是开始的若干字节（1，2，4字节）是NAL的长度，而不是start_code,此时必须借助某个全局的数据来获得编 码器的profile,level,PPS,SPS等信息才可以解码。
         */

        const char bytes[] ="\x00\x00\x00\x01";
        //长度
        size_t length = (sizeof bytes) - 1;
        //头字节
        NSData *ByteHeader = [NSData dataWithBytes:bytes length:length];
        //写入头字节
        [fileHandele writeData:ByteHeader];
        //写入H264数据
        [fileHandele writeData:data];
    }
}

总结

• H264结构与码流解析
• H264结构图
• 视频图像编码后 帧
• 片 一个片（slice）或多个片组成帧
• 宏块 一个或多个宏块（MB）组成片

• H264编码分层
• NAL层: (Network Abstraction Layer,视频数据网络抽象层)
• VCL层:(Video Coding Layer,视频数据编码层)

• 码流
• SODB:(String of Data Bits,原始数据比特流)
• RBSP:(Raw Byte Sequence Payload,SODB+trailing bits)
• EBSP:(Encapsulate Byte Sequence Payload)
• NALU: NAL Header(1B)+EBSP 这个是重点

• NAL Unit
• NAL Unit = 一个NALU头部 + 一个切片
• 切片 = 切片头 + 切片数据
• 切片数据 = 宏块 + ... + 宏块
• 宏块 = 类型 + 预测 + 残差数据

• VideoToolBox
• iOS8.0后推出的原生的硬编码框架，基于Core Foundation，C语言编写
• 基本数据结构 CMSampleBuffer
• 未编码 CVPixelBuffer
• 编码后 CMBlockBuffer

• 编码过程 CVPixelBuffer原始数据 -> video encoder -> CMBlockBuffer -> H264文件格式
• H264文件
• H264文件格式是NALU流数据类型
• 帧的顺序 SPS + PPS + I B P帧

• 识别I B P帧
• 十六进制 换算成 二进制
• 二进制取4-8位，再换算成成十进制
• 十进制结果参照对照表

• NALU单元数据详解
• NALU = NAL Header(1 Byte) + NAL Body
• NAL Header解析
• 1字节，即占8位
• 第0位：F 值必须是0
• 第1-2位：NRI 重要性 000最无用，111最有用
• 第3-7位：TYPE，类型，就是通过它来判断帧类型 I帧 B帧 P帧的
• 5表示I帧
• 7表示SPS序列参数集
• 8表示PPS图像参数集

• NAL类型
• 单一类型:一个RTP包只包含NALU,即H264帧里只包含了一个片
• 组合类型:一个RTP包含多个NALU,例如像pps或者sps
• 分片类型:一个NALU单元分成多个RTP包
• 第1个字节:FU indicator分片单元指示符
• 第2个字节:FU Header 分片单元头,有多个片

• FU Header
• S: start bit用于指明分片的开始
• E: end bit用于指明分片的结束
• R: 未使用,设置为0
• Type:指明分片NAL类型，是关键帧还是非关键帧,是sps还是pps

• NALU单元传输完整的识别
• 收到S包 和 E包
• 中间的包的序号是连续的

• YUV颜色体系
• 也称YCbCr，是电视系统所采用的一种颜色编码方式
• Y: 表示亮度，也就是灰阶值，它是基础信号
• U和V表示的则是色度，UV的作用是描述影像的色彩及饱和度，它们用于指定像素的颜色
• YUV常见格式
• YUV4:2:0(YCbCr 4:2:0) 比RGB少二分之一
• YUV4:2:2(YCbCr 4:2:2) 比RGB少三分之一
• YUV4:4:4(YCbCr 4:4:4) 理解为1:1:1

• YUV存储格式
• 平面格式（planar formats）
• I420:YUV420P (PC专用的)
• YV12:YUV420P

• 紧缩格式（packed formats）
• NV12:YUV420SP (iOS默认)
• NV21:YUV420SP (安卓默认)

• AVFoundation采集视频数据实现
• 整体过程 数据采集 -> 编码完成 -> H264文件 -> 写入沙盒/网络传输
• 数据采集 基于AVFoudation框架
• 输出源AVCaptureVideoDataOutput，需遵循AVCaptureVideoDataOutputSampleBufferDelegate
• 队列同步完成2件事 捕获 和 编码
• video的视频捕捉的像素点压缩方式为 YUV4:2:0
• kCVPixelBufferPixelFormatTypeKey : kCVPixelFormatType_420YpCbCr8BiPlanarFullRange

• 视频编码 基于VideoToolBox框架
• 初始化videoToolbBox
• 创建编码session VTCompressionSessionCreate
• 配制编码的参数 VTSessionSetProperty
• 实时编码kVTCompressionPropertyKey_RealTime
• 舍弃B帧kVTCompressionPropertyKey_ProfileLevel
• 产生B帧kVTCompressionPropertyKey_AllowFrameReordering
• 关键帧（GOPsize）间隔kVTCompressionPropertyKey_MaxKeyFrameInterval
• 期望帧率kVTCompressionPropertyKey_ExpectedFrameRate
• 码率上限kVTCompressionPropertyKey_DataRateLimits
• 码率均值kVTCompressionPropertyKey_AverageBitRate

• VideoToolBox视频编码
• 停止捕捉
• 停止捕捉session
• 移除预览图层
• 结束videoToolbBox
• 关闭文件

• 编码前准备
• 编码的时机点 AVCaptureVideoDataOutputSampleBufferDelegate方法-(void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection

• 编码实现
• 获取未编码每一帧 CMSampleBufferGetImageBuffer
• 编码函数 VTCompressionSessionEncodeFrame
• 获取编码成功的H264流数据
• 编码完成回调 VTCompressionSessionCreate时指定的回调函数
• 从sampleBuffer中获取数据流数组CMSampleBufferGetSampleAttachmentsArray
• 从array中获取索引值为0的CFDictionaryRefdic
• 判断关键帧!CFDictionaryContainsKey(dic, kCMSampleAttachmentKey_NotSync)

• 生成H264文件格式
• 获取SPS/PPS CMVideoFormatDescriptionGetH264ParameterSetAtIndex
• 写入文件
• 根据size和地址指针，读取NSData
• 配置Header
• 添加起始位"\x00\x00\x00\x01"
• 去掉\0结束符

• 写入顺序 Header + spsData + Header + ppsData

• 获取CMBlockBuffer CMSampleBufferGetDataBuffer
• 遍历CMBlockBuffer 获取 nalu数据
• 单个元素的length + 总体数据的length + 起始地址，指针偏移遍历
• 大端模式转换成小端模式（mac系统默认小端模式）

• 将nalu数据写入到文件
• 和写入SPS/PPS一样，配置Header
• 写入顺序 Header + NALData