live555开源流媒体服务器实现的是视频和音频的数据传输,在客户端请求音视频后,由上层调用程序将音视频数据推进队列, 待和客户端的RTSP交互完成后,再通过RTP将音视频数据发给客户端; 在客户端往往要2-3秒后才出视频画面;
需求分析:
我们封装实现的EasyRTSPServer是基于live555改造而来,在上层调用程序将音视频推给EasyRTSPServer时,实际上是拷贝到了内存队列, 而在EasyRTSPServer创建队列到上层调用程序推送到队列,这中间经过了较多的步骤. 音视频队列是在上层应用返回媒体信息时创建,即向客户端发送DESCRIBE返回信息时创建, 而发送数据是在向客户端发送完PLAY时才开始, 这中间的过程中,上层调用程序会一直将数据推给队列。
解决方案:
在向客户端发送完PLAY后,先获取音视频队列中的历史帧进行发送,而不是直接取当前帧进行发送;
此处为EasyRTSPServer中为优化的点,可加快客户端出画面的速度,另外还有一点,就是在上层调用程序上需要做缓存,即在EasyRTSPServer回调出EASY_CHANNEL_OPEN_STREAM时,上层调用程序向前端请求音视频流,在此时EasyRTSPServer和客户端的交互还没有完成,而前端的流已经过来了,此时就需要做一个缓存,在EasyRTSPServer和客户端交互完成后,将缓存中的帧全部送到EasyRTSPServer; 如此即可实现视频秒开(还有一点需要注意的是前端的GOP设置, 该设置也决定了出视频画面的速度);