一、RTP协议头:
1.RTP头定义:
RTP协议头一般固定为12个字段,在每一个RTP数据包中都存在。各字段的含义如下:
version(V):2bits:标识RTP的版本,当前协议版本固定为2.
padding(P):1bits:填充位。默认0,如果为1,则在该报文的末尾填充一个或多个额外的八位组,它们不是有效载荷的一部分。某些具有固定块大小的加密算法可能会使用到填充
extension(X):1bits:扩展位。默认0,如果为1,设置了扩展位,固定头部必须紧跟一个头部扩展。
CSRC count(CC):4bits:CSRC计数器。默认为0,指示CSRC标识符的个数。
marker(M):1bits:不同的载荷有不同的含义,对于视频,标记一帧的结束;对于音频,标记会话的开始。
payload type(PT):7bits:载荷类型。常见的H264视频为96,AAC音频为97
sequence number(SEQ):16bits:序列号。用于标识发送者发送RTP报文的序列号,每次加1,初始值应该是随机的。接收方可以用于检测丢包,或者重排。音频包和视频包是分别计数的。
timestamp:32bits:时间戳。反映RTP数据包中第一个八位字节的采样瞬间,接收者可以用来计算延迟和延迟抖动,结合RTCP包的NTP时间基等概念,接受端可以进行音视频同步控制(以后再深入学习)
ssrc:32bits:同步信源标识。该标识符应当是随机选择的,且同一RTP会话中不同同步源需要有不同的ssrc标识符。
csrc list:0~15个32bits:特约信源。标识符的个数由CC字段给出,一般在混音器插入时才出现,默认不需要。
2.ZLM中关于H264流RTP的构造:
二、RTP封包类型:
H264可以由三种RTP打包方式:1)单NALU打包,一个RTP包包含一个完整的NALU;2)聚合打包,对于较小的NALU,一个RTP包可以包含多个完整的NALU;3)分片打包:对于较大的NALU,一个NALU可以分为多个RTP包发送。比较常见的是单NALU打包和分片打包。
单NALU打包简单,将整个NALU的数据放入到RTP包的载荷中即可。
分片打包。在RTP载荷开始之前有两个字节的信息,然后是NALU的内容。
第一个字节是FU Indicator。标识封包类型。格式如下:F禁止位,NRI两个bite,Type为封包类型。解析方法:futype = fu_indicator & 0x1f;
第二个字节是FU header。用于判断包的位置,和包的类型。FU-A打包中的第一个包时,S设为1;FU-A打包的最后一个包时,E设为1;R为保留位。Type为原来NALU的Type的低位,0x01,0x05,0x07,0x08这些
H264帧的NALU TYPE类型:nal_fu = (fu_indicator & 0xe0) | (fu_header & 0x1f)
在ZLM中使用到的RTP分别类型有3种:Single包、STAP-A包、FU-A包。
三。STAP-A包
1.STAP-A包的完整格式:
2.SPS帧抓包:
其中:80 60 31 4a 00 57 40 e0 00 00 00 02为RTP HEAD,对照RTP HEAD定义可以进行解析。可以得出PT为96,SEQ为12618,Timestamp为5718240,SSRC为000002
剩余部分:78 00 18 67 64 ......
78 -->0111 1000。0x78 & 0x1f = 0x18 。后5位type为24。表示为STAP-A类型包
00 18 载荷长度:24
67 -->NALU TYPE表示为SPS包
之后的内容是SPS包的具体内容,不再分析。
3.PPS帧抓包:
其中:80 60 31 4b 00 57 40 e0 00 00 00 02为RTPHEAD, 可以得出PT为96,SEQ为12619,Timestamp为5718240,SSRC为000002。对比SPS包可以看出,SEQ加1,同一时刻构造的包,SSRC一致。
剩余部分:78 00 05 68 ee 31 b2 1b
78 -->0111 1000。0x78 & 0x1f = 0x18 。后5位type为24。表示为STAP-A类型包
00 15 载荷长度:5
68 -->NALU TYPE表示为PPS包。
之后的内容是PPS包的具体内容,不再分析
四、FU-A包
1、FU-A包完整格式:
2、I帧(起始帧)抓包
其中:80 60 31 4c 00 57 40 e0 00 00 00 02为RTPHEAD, 可以得出PT为96,SEQ为12620,Timestamp为5718240,SSRC为000002。对比SPS包可以看出,SEQ加1,同一时刻构造的包,SSRC一致。
剩余部分:7c 85 b8 ...
7c --> 0111 1100。0x7c & 0x1f = 0x1c。后5位type为28表示为FU-A类型包
85 -->1000 0101。对比FU Head解析,S为1,说明是起始包。后5位为5,说明是I帧。更加完整的NAL TYPE为:(0x7c & 0xe0) | (0x85 & 0x1f) = 0x65
之后的内容是NALU负载,不再分析
3、I帧(中间帧)抓包
其中:80 60 31 4d 00 57 40 e0 00 00 00 02为RTPHEAD, 可以得出PT为96,SEQ为12621,Timestamp为5718240,SSRC为000002。对比SPS包可以看出,SEQ加1,同一时刻构造的包,SSRC一致
剩余部分:7c 05 ad ...
7c --> 0111 1100。0x7c & 0x1f = 0x1c。后5位type为28表示为FU-A类型包
05 -->0000 0101。对比FU Head解析,S为0,E为0,说明是中间包。后5位为5,说明是I帧。更加完整的NAL TYPE为:(0x7c & 0xe0) | (0x05 & 0x1f) = 0x65
之后的内容是NALU负载,不再分析
4、I帧(结尾帧)抓包:
其中:80 e0 31 db 00 57 40 e0 00 00 00 02为RTPHEAD, 可以得出PT为96,SEQ为12763,Timestamp为5718240,SSRC为000002。对比SPS包可以看出,SEQ加了很多,同一时刻构造的包,SSRC一致
剩余部分:7c 05 ad ...
7c --> 0111 1100。0x7c & 0x1f = 0x1c。后5位type为28表示为FU-A类型包
45 -->0100 0101。对比FU Head解析,S为0,E为1,说明是结尾包。后5位为5,说明是I帧。更加完整的NAL TYPE为:(0x7c & 0xe0) | (0x45 & 0x1f) = 0x65
之后的内容是NALU负载,不再分析
至此一个完整的I帧结束
5、P帧(分包)抓包
其中:80 60 31 f2 00 58 83 9c 00 00 00 02为RTPHEAD, 可以得出PT为96,SEQ为12786,Timestamp为5800860,SSRC为000002。对比SPS包可以看出,SEQ加了很多, 时间戳增加,SSRC一致
剩余部分:7c 81 e2 ...
7c --> 0111 1100。0x7c & 0x1f = 0x1c。后5位type为28表示为FU-A类型包
81 -->1000 0001。对比FU Head解析,S为1,E为0,说明是起始包。后5位为1,说明是P帧。更加完整的NAL TYPE为:(0x7c & 0xe0) | (0x81 & 0x1f) = 0x61
五、ZLM对RTP的封装实现:
1、根据H264帧的长度,决定单包还是分包:
2、对于单包,zlm根据配置分别采用单nalu和stap-a两种方式:
3、singlenalu打包:直接将NALU内容放在RTP头后面
4、stap-a打包:作者注释是为了兼容性webrtc。第一个字节为0x24,第二和第三字节为负载长度,后面为NALU内容
5、fu-a打包:设置第一个字节为28,第二个字节有NALU的TYPE和起始结束标识进行构造。在while循环中进行分包处理。
六、ZLM对RTP的解封装实现
1、根据RTP头部之后的第一个字节判读包类型:nal = frame[0] & 0x1f。其中小于24为单包,24为stap-a,28为su-a,其它不支持
2、解封装单包:在负载内容frame之前添加帧分隔符00 00 00 01,组装成H264裸帧
3、解封装stap-a包:stap-a包和单包类似,只不过多了两个字节表示载荷长度,可用于包长度校验。取出nalu载荷之后通上述单包逻辑,组成成H264裸帧。
4、解封装fu-a包:根据RTP头后面的第二个字段,可以判断出是起始/中间/结尾包。根据第一个和第二个字段可以计算出H264帧的类型。如果是起始包,添加00 00 00 01帧头,添加帧类型,缓存后续包;如果是中间包,缓存第二个字节之后的后续包;如果是结尾包,缓存第二个字节之后的后续包之后,至此组装出一个完整的H264裸帧。在分包缓存的过程中根据SEQ序号还就行了帧连续性判断
标签:码流,00,FU,SEQ,H264,RTP,NALU,0x1f From: https://www.cnblogs.com/feixiang-energy/p/18525281