如何让Android平台像网络摄像机一样实现GB28181前端设备接入?

技术背景

好多开发者在做国标对接的时候，首先想到的是IPC（网络摄像头），通过参数化配置，接入到国标平台，实现媒体数据的按需查看等操作。

像执法记录仪等智能终端，跑在Android平台，对接GB28181平台的需求也非常大，网上相关demo也不少，但真正设计符合相关协议规范、功能完善、长时间稳定运行的并不多。基于此，华脉智联研发了Android平台GB28181接入模块，目前功能设计，总的来说，IPC有的功能要有，IPC缺失的，但是对业务诉求有要求的，也要有，比如MobilePosition实时位置上报，实时快照、本地录像、屏幕采集、拉取RTSP或RTMP对接到GB28181平台、实时动态水印、实时音量调节、外部编码前后对接等：

[视频格式]H.264/H.265(Android H.265硬编码)；

[音频格式]G.711 A律、AAC；

[音量调节]Android平台采集端支持实时音量调节；

[H.264硬编码]支持H.264特定机型硬编码；

[H.265硬编码]支持H.265特定机型硬编码；

[软硬编码参数配置]支持gop间隔、帧率、bit-rate设置；

[软编码参数配置]支持软编码profile、软编码速度、可变码率设置；

支持横屏、竖屏推流；

Android平台支持后台service推送屏幕(推送屏幕需要5.0+版本)；

支持纯视频、音视频PS打包传输；

支持RTP OVER UDP和RTP OVER TCP被动模式；

支持信令通道网络传输协议TCP/UDP设置；

支持注册、注销，支持注册刷新及注册有效期设置；

支持设备目录查询应答；

支持心跳机制，支持心跳间隔、心跳检测次数设置；

支持移动设备位置(MobilePosition)订阅和通知；

支持国标GB/T28181—2016平台接入；

支持语音广播及语音对讲；

[实时水印]支持动态文字水印、png水印；

[镜像]Android平台支持前置摄像头实时镜像功能；

[实时静音]支持实时静音/取消静音；

[实时快照]支持实时快照；

[降噪]支持环境音、手机干扰等引起的噪音降噪处理、自动增益、VAD检测；

[外部编码前视频数据对接]支持YUV数据对接；

[外部编码前音频数据对接]支持PCM对接；

[外部编码后视频数据对接]支持外部H.264数据对接；

[外部编码后音频数据对接]外部AAC数据对接；

[扩展录像功能]支持录像相关功能。

技术接口设计

接口设计这块，我们分三个部分：一个是供Publisher实例调用的接口，一个是RTP发送相关的接口，还有一个是针对语音广播这块，实现的接收RTP数据播放接口。

先说供GB28181推送实例调用的接口：

/*+++++++++++++++GB28181相关接口+++++++++++++++*/
private native long nativeCreate(String server_ip, int
port, String server_id,
 String
server_domain, String device_id, String device_pwd,
 String
device_name, int tcpudp, int heartbeat_interval,
 int
reg_expire, String sdk_version);



private native void nativeRegister(final long ptr);
private native void nativeUnRegister(final long ptr);
/*+++++++++++++++GB28181相关接口+++++++++++++++*/

再说RTP发送相关的接口：

/*+++++++++++++++RTP Sender相关接口+++++++++++++++*/
public native void nativePushEncodedAudio(long handle,
int devId, byte[] data, int length);
public native void nativePushEncodedVideo(long handle,
int devId, byte[] data, int length);

/*+++++++++++++++RTP Sender相关接口+++++++++++++++*/

接收相关的接口

void sip_audio_decode_cb(AVFrame * frame, void *
userdata)
{
log_print(HT_LOG_INFO,"PTT- %s start
sip_audio_decode_cb",__FUNCTION__ );
 SUA * p_sua =
(SUA *) userdata;
 if (NULL ==
p_sua->media_info.audio_player)
 {
log_print(HT_LOG_INFO,"PTT- %s, p_sua->media_info.audio_player
is null###",__FUNCTION__ );
#ifdef ANDROID_AS
p_sua->media_info.dataQueue = new DataQueue();
p_sua->media_info.audio_player = new
OpenSlEsPlayer(p_sua->media_info.dataQueue, 8000);
p_sua->media_info.audio_player->play();
#endif
 }
 if
(p_sua->media_info.audio_player)
 {
 PcmData
*pdata = new PcmData((char *) frame->data[0], frame->nb_samples *
frame->channels * av_get_bytes_per_sample((enum
AVSampleFormat)frame->format));
p_sua->media_info.dataQueue->putPcmData(pdata);
 }
}

上述接口说过之后，大家可能疑惑，信令交互呢？信令交互，我们是在Android上层实现。

如基础参数配置：

GBParam(
 ip =
"222.185.255.66",
 port = 5060,
 server_id =
"34020000002000000001",
 server_domain =
"3402000000",
 device_id =
"34020000001320000609",
 device_pwd =
"123456",
 device_name =
"GB28181 Device",
 tcpudp = 0,
heartbeat_interval = 30,
 reg_expire =
3600
)

信令交互处理：

private val engineEventHandler =
IEngineEventHandler { type, state ->
 if (type ==
EventHandlerStatus.EventHandlerType.type_register) {
 when
(state) {
EventHandlerStatus.RegisterState.unregister -> { //反注册
logI("onState: id=${type.toCallTypeString()},
state=unregister($state)")
 }
EventHandlerStatus.RegisterState.register_fail -> { //注册失败
logI("onState: id=${type.toCallTypeString()},
state=register_fail($state)")
 }
 EventHandlerStatus.RegisterState.register_success
-> { //注册成功
logI("onState: id=${type.toCallTypeString()},
state=register_success($state)")
 }
EventHandlerStatus.RegisterState.register_forbidden -> { //注册失败,udp/tcp协议不对、密码不对等注册参数不对
logI("onState: id=${type.toCallTypeString()},
state=register_forbidden($state)")
 }
else -> {
logI("onState: id=${type.toCallTypeString()},
state=PUEVT_REG_PASS($state)")
 }
 }
 } else {
logI("onState: id=${type.toCallTypeString()},
state=${state.toEventString()}")
 }
 if (type ==
EventHandlerStatus.EventHandlerType.type_call_in) { //呼入事件
 when
(state) {
EventHandlerStatus.EventState.PUEVT_CALL_IN -> { //视频监控呼入
 }
EventHandlerStatus.EventState.PUEVT_CONNECT -> { //视频监控接通
 }
EventHandlerStatus.EventState.PUEVT_HANGUP -> { //视频监控挂断
 }
 }
 }
 }

除了基础的Camera接口外，5.0开始新的Camera2数据依旧可以正常对接，感兴趣的开发者可酌情参考。