Unity下实现跨平台的RTMP推流|轻量级RTSP服务|RTMP播放|RTSP播放低延迟解决方案

技术背景

 2018年，我们开始在原生RTSP|RTMP直播播放器的基础上，对接了Unity环境下的低延迟播放，毫秒级延迟，发布后，就得到了业内一致的认可。然后我们覆盖了Windows、Android、iOS、Linux的RTMP推送、轻量级RTSP服务和RTSP|RTMP播放。

目前看，Unity环境下，我们在行业内的延迟几乎是最低的（当然原生的RTSP|RTMP播放器也是），已经覆盖了以下模块：

•  Windows平台RTMP直播推送SDK（采集Unity窗体、摄像头或屏幕）;
•  Windows平台轻量级RTSP服务SDK（采集Unity窗体、摄像头或屏幕）;
•  Windows平台RTMP|RTSP直播播放SDK；
•  Linux平台RTMP直播推送SDK（采集Unity窗体、Unity声音）;
•  Linux平台RTMP|RTSP直播播放SDK；
•  Android平台RTMP直播推送SDK（采集Unity窗体、摄像头、麦克风或Unity声音）；
•  Android平台轻量级RTSP服务SDK（采集Unity窗体、摄像头、麦克风或Unity声音）；
•  Android平台RTMP|RTSP直播播放SDK；
•  iOS平台RTMP|RTSP直播播放SDK。

Unity环境下RTMP推流、轻量级RTSP服务模块

Unity环境下，不管是camera还是窗体数据也好，主要是高效率的拿到原始数据，采集端可用的数据格式是RGB的，拿到之后，通过高效率的数据传递，发给封装后的原生SDK，完成数据编码和RTMP推送。

需要注意的地方有几点：

1. 数据采集投递，确保高效率；

2. 屏幕分辨率发生变化，可实时适配；

3. Unity和原生SDK之间通信，比如event回调等；

4. 屏幕数据如有水平或垂直翻转，需要有一定的矫正。

2. Unity环境下RTMP|RTSP播放器

Unity环境下RTMP或RTSP直播播放我们前几年就有发布，并已应用在好多传统行业领域，比如教育或工业仿真或一些低延迟的控制场景。

相关实现逻辑如下：

1. Native RTSP或RTSP直播播放SDK回调RGB/YUV420/NV12等其中的一种未压缩的图像格式；

2. Unity3D创建相应的RGB/YUV420等Shader；

3.Unity3D从各个平台获取图像数据来填充纹理即可；

需要注意的有几点：

1. 多实例支持：播放端和推送不一样，比如智慧城市，播放端有多路场景，所以多实例支持是必备功能，多实例环境下，需要能有好的区分event状态回调等；

2. 尽可能高效率的数据传递，确保资源占有最小化；

3. 视频分辨率变化后，能自动适配；

4. Unity和原生SDK之间通信，比如event回调等；

5. 长时间运行稳定性。