首页 > 其他分享 >跨平台低延迟RTSP转RTMP推送技术方案探讨

跨平台低延迟RTSP转RTMP推送技术方案探讨

时间：2023-07-11 13:33:00浏览次数：38  
标签：pull return RTSP _- 跨平台 api RTMP push handle

实现RTSP摄像头数据转RTMP推送到服务器，可以用第三方库或者工具实现，总体设计架构如下：

跨平台低延迟RTSP转RTMP推送技术方案探讨_大牛直播SDK

一个好的转发模块，首先要低延迟！其次足够稳定、灵活、有状态反馈机制、资源占用低，跨平台，最好以接口形式提供，便于第三方系统集成，整体功能设计如下：

1. 拉流：通过RTSP直播播放SDK的数据回调接口，拿到音视频数据；

2. 转推：通过RTMP直播推送SDK的编码后数据输入接口，把回调上来的数据，传给RTMP直播推送模块，实现RTSP数据流到RTMP服务器的转发；

3. 录像：如果需要录像，借助RTSP直播播放SDK，拉到音视频数据后，直接存储MP4文件即可；

4. 快照：如果需要实时快照，拉流后，解码调用播放端快照接口，生成快照，因为快照涉及到video数据解码，如无必要，可不必开启，不然会额外消耗性能。

5. 拉流预览：如需预览拉流数据，只要调用播放端的播放接口，即可实现拉流数据预览；

6. 数据转AAC后转发：考虑到好多监控设备出来的音频可能是PCMA/PCMU的，如需要更通用的音频格式，可以转AAC后，在通过RTMP推送；

7. 转推RTMP实时静音：只需要在传audio数据的地方，加个判断即可；

8. 拉流速度反馈：通过RTSP播放端的实时码率反馈event，拿到实时带宽占用即可；

9. 整体网络状态反馈：考虑到有些摄像头可能会临时或异常关闭，RTMP服务器亦是，可以通过推拉流的event回调状态，查看那整体网络情况，如此界定：是拉不到流，还是推不到RTMP服务器。

下面分别介绍下两种技术方案：

FFmpeg技术方案

  1. 安装FFmpeg：首先，您需要安装FFmpeg。FFmpeg是一个开源的跨平台视频和音频处理工具，它支持将RTSP流转换为RTMP流。您可以从FFmpeg官方网站下载适用于Windows的二进制安装程序，并按照说明进行安装。
  2. 配置FFmpeg：安装完FFmpeg后，您需要配置其命令行参数，以便将RTSP流转换为RTMP流，并将其推送到目标服务器。您可以使用以下命令行参数：
 ffmpeg -i rtsp://[摄像头地址]/[流媒体地址] -f flv rtmp://[服务器地址]/[直播频道]

其中，rtsp://[摄像头地址]/[流媒体地址]是摄像头的RTSP流地址，rtmp://[服务器地址]/[直播频道]是目标服务器的RTMP流地址。您可以根据实际情况修改这些参数。

  1. 运行FFmpeg：配置完FFmpeg后，您可以使用命令行或脚本文件来运行FFmpeg。您可以在命令行中直接运行上述命令，或者将命令写入脚本文件（例如bat文件），然后运行脚本文件。需要注意的是，上述方案中的摄像头地址、流媒体地址、服务器地址和直播频道都需要替换为实际的地址和信息。此外，您还需要确保摄像头的RTSP流可公开访问，并且目标服务器的RTMP流地址已经配置正确。
  2. 集成到应用程序中：如果您需要在应用程序中实现实时视频流推送，您可以将FFmpeg集成到应用程序中。您可以使用FFmpeg的API或命令行接口，通过编程方式调用FFmpeg的功能，并将摄像头的RTSP流转换为RTMP流，并将其推送到目标服务器。

SDK技术方案

以大牛直播SDK的Windows平台RTSP转RTMP推送C++的demo为例：

1. 拉流：拉流和播放有些类似，但不需要播放（也就是说不要解码，资源消耗非常低），在做过基础的参数配置之后（对应demo里面OpenPullHandle()），设置音视频数据回调，然后调用StartPullStream()即可：

1.1 基础参数设置：

bool nt_stream_relay_wrapper::OpenPullHandle(const std::string& url, bool is_rtsp_tcp_mode, bool is_mute)
{
	if ( pull_handle_ != NULL )
		return true;

	if ( url.empty() )
		return false;

	duration_ = 0;

	NT_HANDLE pull_handle = NULL;

	ASSERT( pull_api_ != NULL );
	if (NT_ERC_OK != pull_api_->Open(&pull_handle, render_wnd_, 0, NULL))
	{
		return false;
	}

	ASSERT(pull_handle != NULL);

	pull_api_->SetEventCallBack(pull_handle, this, &NT_Pull_SDKEventHandle);

	pull_api_->SetBuffer(pull_handle, 0);
	pull_api_->SetFastStartup(pull_handle, 1);
	pull_api_->SetRTSPTcpMode(pull_handle, is_rtsp_tcp_mode ? 1 : 0);
	pull_api_->SetMute(pull_handle, is_mute ? 1 : 0);

	if ( NT_ERC_OK != pull_api_->SetURL(pull_handle, url.c_str()) )
	{
		pull_api_->Close(pull_handle);
		pull_handle = NULL;
		return false;
	}

	if ( setting_pos_ >= 0ll )
	{
		pull_api_->SetPos(pull_handle, setting_pos_);
	}

	pull_handle_ = pull_handle;

	return true;
}

1.2 设置音视频数据回调：

pull_api_->SetPullStreamVideoDataCallBack(pull_handle_, this, &SP_SDKPullStreamVideoDataHandle);
pull_api_->SetPullStreamAudioDataCallBack(pull_handle_, this, &SP_SDKPullStreamAudioDataHandle);

1.3 开始拉流：

auto ret = pull_api_->StartPullStream(pull_handle_);
	if ( NT_ERC_OK != ret )
	{
		if ( !is_playing_ )
		{
			pull_api_->Close(pull_handle_);
			pull_handle_ = NULL;
		}
		
		return false;
	}

拉流整体代码如下：

bool nt_stream_relay_wrapper::StartPull(const std::string& url, bool is_rtsp_tcp_mode, bool is_transcode_aac)
{
	if ( is_pulling_ )
		return false;

	if ( !OpenPullHandle(url, is_rtsp_tcp_mode) )
		return false;

	pull_api_->SetPullStreamVideoDataCallBack(pull_handle_, this, &SP_SDKPullStreamVideoDataHandle);

	pull_api_->SetPullStreamAudioDataCallBack(pull_handle_, this, &SP_SDKPullStreamAudioDataHandle);

	pull_api_->SetPullStreamAudioTranscodeAAC(pull_handle_, is_transcode_aac? 1: 0);

	auto ret = pull_api_->StartPullStream(pull_handle_);
	if ( NT_ERC_OK != ret )
	{
		if ( !is_playing_ )
		{
			pull_api_->Close(pull_handle_);
			pull_handle_ = NULL;
		}
		
		return false;
	}

	is_pulling_ = true;

	return true;
}

2. 停止拉流：

停止拉流流程比较简单，先判断是否在拉流状态，如果拉流，调用StopPullStream() 即可，如没有预览画面，调用Close()接口关闭拉流实例。

void nt_stream_relay_wrapper::StopPull()
{
	if ( !is_pulling_ )
		return;

	pull_api_->StopPullStream(pull_handle_);

	if ( !is_playing_ )
	{
		pull_api_->Close(pull_handle_);
		pull_handle_ = NULL;
	}

	is_pulling_ = false;
}

3. 拉流端预览：

拉流端预览，说白了就是播放拉流数据，流程比较简单，demo调用如下，如不需要播放声音，调用SetMute()，实时打开/关闭即可：

bool nt_stream_relay_wrapper::StartPlay(const std::string& url, bool is_rtsp_tcp_mode, bool is_mute)
{
	if ( is_playing_ )
		return false;

	if ( !OpenPullHandle(url, is_rtsp_tcp_mode, is_mute) )
		return false;

	pull_api_->SetMute(pull_handle_, is_mute ? 1 : 0);

	auto ret = pull_api_->StartPlay(pull_handle_);
	if ( NT_ERC_OK != ret )
	{
		if ( !is_pulling_ )
		{
			pull_api_->Close(pull_handle_);
			pull_handle_ = NULL;
		}

		return false;
	}

	is_playing_ = true;

	return true;
}

4. 拉流端关闭预览：

void nt_stream_relay_wrapper::StopPlay()
{
	if ( !is_playing_ )
		return;

	pull_api_->StopPlay(pull_handle_);

	if ( !is_pulling_ )
	{
		pull_api_->Close(pull_handle_);
		pull_handle_ = NULL;
	}

	is_playing_ = false;
}

5. 开始推流到RTMP服务器：

推流的流程，如之前所述，调用RTMP推送模块，然后数据源传编码后的音视频数据即可，下图的demo源码，同时展示了，RTSP流获取到后，转推RTMP的时候，数据解密的处理：

bool nt_stream_relay_wrapper::StartPush(const std::string& url)
{
	if ( is_pushing_ )
		return false;

	if ( url.empty() )
		return false;

	if ( !OpenPushHandle() )
		return false;

	auto push_handle = GetPushHandle();
	ASSERT(push_handle != nullptr);

	ASSERT(push_api_ != NULL);
	if ( NT_ERC_OK != push_api_->SetURL(push_handle, url.c_str(), NULL) )
	{
		if ( !is_started_rtsp_stream_ )
		{
			push_api_->Close(push_handle);
			SetPushHandle(nullptr);
		}

		return false;
	}

	if ( NT_ERC_OK != push_api_->StartPublisher(push_handle, NULL) )
	{
		if ( !is_started_rtsp_stream_ )
		{
			push_api_->Close(push_handle);
			SetPushHandle(nullptr);
		}

		return false;
	}

	is_pushing_ = true;

	return true;
}

6. 传递转推RTMP数据：

void nt_stream_relay_wrapper::OnVideoDataHandle(NT_HANDLE handle, NT_UINT32 video_codec_id, 
	NT_BYTE* data, NT_UINT32 size, NT_SP_PullStreamVideoDataInfo* info)
{
	if (!is_pushing_ && !is_started_rtsp_stream_)
		return;

	if ( pull_handle_ != handle )
		return;

	if (data == NULL)
		return;

	if (size < 1)
		return;

	if (info == NULL)
		return;

	std::unique_lock<std::recursive_mutex> lock(push_handle_mutex_);

	if (!is_pushing_ && !is_started_rtsp_stream_)
		return;

	if (push_handle_ == NULL)
		return;

	push_api_->PostVideoEncodedDataV2(push_handle_, video_codec_id,
		data, size, info->is_key_frame_, info->timestamp_, info->presentation_timestamp_);
}

void nt_stream_relay_wrapper::OnAudioDataHandle(NT_HANDLE handle, NT_UINT32 auido_codec_id,
	NT_BYTE* data, NT_UINT32 size, NT_SP_PullStreamAuidoDataInfo* info)
{
	if (!is_pushing_ && !is_started_rtsp_stream_)
		return;

	if (pull_handle_ != handle)
		return;

	if (data == NULL)
		return;

	if (size < 1)
		return;

	if (info == NULL)
		return;

	std::unique_lock<std::recursive_mutex> lock(push_handle_mutex_);

	if (!is_pushing_ && !is_started_rtsp_stream_)
		return;

	if (push_handle_ == NULL)
		return;

	push_api_->PostAudioEncodedData(push_handle_, auido_codec_id, data, size,
		info->is_key_frame_, info->timestamp_, 
		info->parameter_info_, info->parameter_info_size_);
}

7. 关闭实时RTMP转推

void nt_stream_relay_wrapper::StopPush()
{
	if ( !is_pushing_ )
		return;

	is_pushing_ = false;

	std::unique_lock<std::recursive_mutex> lock(push_handle_mutex_);

	if ( nullptr == push_handle_ )
		return;

	push_api_->StopPublisher(push_handle_);

	if ( !is_started_rtsp_stream_ )
	{
		push_api_->Close(push_handle_);

		push_handle_ = nullptr;
	}
}

总结

无论您选择哪种方案，需要确保以下几点：

  1. 选择一个稳定可靠的第三方库或服务，以确保转换的质量和可靠性；
  2. 了解和掌握相关的技术和协议，例如RTSP和RTMP，以及如何使用相关的库和工具进行转换和处理；
  3. 考虑性能和资源的问题，特别是在处理大量视频流或高并发的场景下。需要确保系统具有足够的处理能力和带宽，以避免延迟或丢帧等问题。

Windows平台上的RTSP转RTMP推送需要一些技术准备和规划，以及对相关协议和工具的理解和使用经验，做个基础的demo，用FFmpeg就可以，但是如果产品话，需要考虑的点实在太多了。


标签：pull,return,RTSP,_-,跨平台,api,RTMP,push,handle
From： https://blog.51cto.com/daniusdk/6687759

相关文章

  • 跨平台轻量级RTSP服务模块设计思路及实现探讨
    技术背景为满足内网无纸化/电子教室等内网超低延迟需求，避免让用户配置单独的服务器，我们发布了轻量级RTSP服务模块，轻量级RTSP服务解决的核心痛点是避免用户或者开发者单独部署RTSP或者RTMP服务，实现本地的音视频数据（如摄像头、麦克风），编码后，汇聚到内置RTSP服务，对外提供可供拉流的RTSP......
  • 树莓派Linux跨平台免授权CNC数控数据采集协议，TCP协议包，支持（fanuc、三菱、西门子、海德
    市面上的数控基本都支持了跨平台通讯，下面以三菱为列讲解跨平台协议如何通讯，无需任何DLL，适配任何开发语言，纯Socket通讯先上采集图   代码如下usingSystem;usingSystem.Collections.Generic;usingSystem.ComponentModel;usingSystem.Data;usingSystem.Drawing;us......
  • RTSP协议报文交互过程全记录
    一。rtsp拉流(UDP)1.OPTIONS：OPTIONSrtsp://10.0.16.111:554/Streaming/Channels/101RTSP/1.0CSeq:1User-Agent:Lavf59.26.100 RTSP/1.0200OKCSeq:1Public:OPTIONS,DESCRIBE,PLAY,PAUSE,SETUP,TEARDOWN,SET_PARAMETER,GET_PARAMETERDate:  Thu,......
  • Avalonia跨平台入门第二十一篇之玩耍CEF
    在前面分享的几篇中咱已经玩耍了Popup、ListBox多选、Grid动态分、RadioButton模板、控件的拖放效果、控件的置顶和置底、控件的锁定、自定义Window样式、动画效果、Expander控件、ListBox折叠列表、聊天窗口、ListBox图片消息、窗口抖动、语音发送、语音播放、语音播放问题;今晚......
  • 跨平台应用的全新时代：Avalonia V11
    译介今天，我们非常高兴地宣布Avalonia11.0版本的发布！在经历了近一年的预览版本和无数个数以千计的工作小时后，现在是时候发布一款改变游戏规则的跨平台应用程序开发工具了。Avaloniav11代表着我们在实现目标上的巨大飞跃，为开发人员提供了高效、功能丰富和无缝的体验，可以在所有主......
  • 电视频道rtmp推流地址搜索
    CCTV视频直播推流地址CCTV1高清：http://ivi.bupt.edu.cn/hls/cctv1hd.m3u8CCTV3高清：http://ivi.bupt.edu.cn/hls/cctv3hd.m3u8CCTV5高清：http://ivi.bupt.edu.cn/hls/cctv5hd.m3u8CCTV5+高清：http://ivi.bupt.edu.cn/hls/cctv5phd.m3u8CCTV6高清：http://ivi.bupt.edu.cn/hls/cctv......
  • web js 播放rtsp视频流方案
    场景需要在web端预览海康无线摄像头视频流，所以采用海康自身提供的websdk无法使用方案1rtsp流推送到应用服务器，应用服务器再通过ffmpeg推送到nginx,js再去拉流缺点：多了一层转发，造成了一定的延迟方案2通过webRTC方案，使用现有开源插件webrtc-streamerhttps://github......
  • KMM跨平台开发入门，看这一篇就够了~
    前言近些年，不管是最初的RN还是到现在的Flutter、Compose，他们都在做着一件事——跨平台。他们的成就主要都是在UI上跨平台，当然Flutter虽然可以处理一些公共的业务逻辑，但目前在业务较重的情况下仍然需要各自处理。  而KMM却与之相反，接下来让我们来一起了解一下吧~什么是KMMKMM即K......
  • 关于vue的跨平台打包方式
    在先前写了一个vue的程序，想着万一以后会用到网页端转移动端的功能，就尝试着使用打包功能。1.使用cordova进行跨平台的打包（需要准备：java，sdk（最好下一个androidstudio，要做好发墙的准备），gradle等）具体操作可以参考https://blog.csdn.net/qq_21963133/article/details/88546086，我在使......
  • RTMP 推流增加对H265的支持
     RTMP协议本身是不支持H265的。但现在的设备越来越追求更高的压缩比和更高的图形质量。H265相对其他的媒体格式更多受到厂家的重视。rtmp协议要支持H265首先要定义一个ID。按照大家的约定来看，基本使用12(0xc)作为ID.同时相对H264对NALU的分析要进行改变。并对发送的Metadata数据......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99