首页 > 其他分享 >Android平台GB28181设备接入侧音频采集推送示例

Android平台GB28181设备接入侧音频采集推送示例

时间:2023-07-18 16:31:43浏览次数:43  
标签:示例 GB28181 音频 param sample int rate Android channel

技术背景

GB/T28181是广泛应用于视频监控行业的标准协议规范,可以在不同设备之间实现互联互通。今天我们主要探讨Android平台的Audio采集部分。

先说如何拿到数据源,在Android平台上采集音频,常用的方式如下:

  1. 使用MediaRecorder类:MediaRecorder类提供了一组API,可以用于录制音频。您可以使用MediaRecorder.AudioSource.MIC来源来从麦克风采集音频,并使用MediaRecorder.setOutputFormat()方法设置输出文件格式,使用MediaRecorder.setAudioEncoder()方法设置音频编码等。一旦设置完毕,您可以使用MediaRecorder.prepare()方法准备录制,使用MediaRecorder.start()方法开始录制,使用MediaRecorder.stop()方法停止录制,最后使用MediaRecorder.release()方法释放资源。
  2. 使用AudioRecord类:AudioRecord类提供了一组API,可以用于实时采集音频数据。您可以使用AudioRecord.AudioSource.MIC来源来从麦克风采集音频,并设置采样率、声道数、采样精度等参数。一旦配置完毕,您可以使用AudioRecord.read()方法来读取音频数据,并进行处理。
  3. 使用第三方SDK:一些第三方SDK也提供了音频采集功能,例如OpenCV、OpenAL等。您可以在这些SDK中寻找适合您需求的音频采集API,并按照其文档进行使用和配置。

技术实现

本文以大牛直播SDK的Android平台GB28181设备接入侧模块为例,这里我们使用的是AudioRecord类完成audio数据源的采集,采集到audio数据,进行PCMA或AAC编码(关于AAC编码,GB/T28181-2022有明确说明)。

Android平台GB28181设备接入侧音频采集推送示例_GB28181推流

设置音频编码类型:

    /**
     * Set audio encoder type(设置音频编码类型)
     * 
     * @param type: if with 1:AAC, if with 2: SPEEX, if with 3: PCMA
     * 
     * @return {0} if successful
     */
    public native int SmartPublisherSetAudioCodecType(long handle, int type);

如果是AAC,还可以设置编码码率:

	/**
	 * Set audio encoder bit-rate(设置音频编码码率), 当前只对AAC编码有效
	 *
	 * @param kbit_rate: 码率(单位是kbps), 如果是0的话将使用默认码率, 必须大于等于0
	 *
	 * @return {0} if successful
	 */
	public native int SmartPublisherSetAudioBitRate(long handle, int kbit_rate);

Android工程调用如下:

void CheckInitAudioRecorder() {
        if (audioRecord_ == null) {
            audioRecord_ = new NTAudioRecordV2(this);
        }

        if (audioRecord_ != null) {
            Log.i(TAG, "CheckInitAudioRecorder call audioRecord_.start()+++...");

            audioRecordCallback_ = new NTAudioRecordV2CallbackImpl();

            // audioRecord_.IsMicSource(true);      //如采集音频声音过小,可以打开此选项

            // audioRecord_.IsRemoteSubmixSource(true);

            audioRecord_.AddCallback(audioRecordCallback_);

            audioRecord_.Start(is_pcma_?8000: 44100,1);

            Log.i(TAG, "CheckInitAudioRecorder call audioRecord_.start()---...");
        }
    }

鉴于GB28181会涉及到语音广播和语音对讲,需要打开回音消除设置,还有就是噪音抑制等相关设置。

    /**
     * Set Audio Noise Suppression(设置音频噪音抑制)
     * 
     * @param isNS: if with 1:suppress, if with 0: does not suppress
     * 
     * @return {0} if successful
     */
    public native int SmartPublisherSetNoiseSuppression(long handle, int isNS);
    
    
    /**
     * Set Audio AGC(设置音频自动增益控制)
     * 
     * @param isAGC: if with 1:AGC, if with 0: does not AGC
     * 
     * @return {0} if successful
     */
    public native int SmartPublisherSetAGC(long handle, int isAGC);
    

	/**
	 * Set Audio Echo Cancellation(设置音频回音消除)
	 *
	 * @param isCancel: if with 1:Echo Cancellation, if with 0: does not cancel
	 *
	 * @param delay: echo delay(ms), if with 0, SDK will automatically estimate the delay.
	 *
	 * @return {0} if successful
	 */
	public native int SmartPublisherSetEchoCancellation(long handle, int isCancel, int delay);

如果需要调整采集端的audio音量,可以用以下接口:

	/**
	 * 设置输入音量, 这个接口一般不建议调用, 在一些特殊情况下可能会用, 一般不建议放大音量
	 *
	 * @param index: 一般是0和1, 如果没有混音的只用0, 有混音的话, 0,1分别设置音量
	 *
	 * @param volume: 音量,默认是1.0,范围是[0.0, 5.0], 设置成0静音, 1音量不变
	 *
	 * @return {0} if successful
	 */
	public native int SmartPublisherSetInputAudioVolume(long handle, int index, float volume);

编码前audio数据投递接口设置如下:

	/**
	 * 传递PCM音频数据给SDK, 每10ms音频数据传入一次
	 * 
	 *  @param pcmdata: pcm数据, 需要使用ByteBuffer.allocateDirect分配, ByteBuffer.isDirect()是true的才行.
	 *  @param size: pcm数据大小
	 *  @param sample_rate: 采样率,当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100
	 *  @param channel: 通道, 当前通道支持单通道(1)和双通道(2),推荐单通道(1)
	 *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
	 */
	public native int SmartPublisherOnPCMData(long handle, ByteBuffer pcmdata, int size, int sample_rate, int channel, int per_channel_sample_number);


	/**
	 * 传递PCM音频数据给SDK, 每10ms音频数据传入一次
	 *
	 *  @param pcmdata: pcm数据, 需要使用ByteBuffer.allocateDirect分配, ByteBuffer.isDirect()是true的才行.
	 *  @param offset: pcmdata的偏移
	 *  @param size: pcm数据大小
	 *  @param sample_rate: 采样率,当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100
	 *  @param channel: 通道, 当前通道支持单通道(1)和双通道(2),推荐单通道(1)
	 *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
	 */
	public native int SmartPublisherOnPCMDataV2(long handle, ByteBuffer pcmdata, int offset, int size, int sample_rate, int channel, int per_channel_sample_number);


	/**
	 * 传递PCM音频数据给SDK, 每10ms音频数据传入一次
	 *
	 *  @param pcm_short_array: pcm数据, short是native endian order
	 *  @param offset: 数组偏移
	 *  @param len: 数组项数
	 *  @param sample_rate: 采样率,当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100
	 *  @param channel: 通道, 当前通道支持单通道(1)和双通道(2),推荐单通道(1)
	 *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
	 */
	public native int SmartPublisherOnPCMShortArray(long handle, short[] pcm_short_array, int offset, int len, int sample_rate, int channel, int per_channel_sample_number);


	/**
	 * 传递PCM音频数据给SDK, 每10ms音频数据传入一次
	 *
	 *  @param pcm_float_array: pcm数据
	 *  @param offset: 数组偏移
	 *  @param len: 数组项数
	 *  @param sample_rate: 采样率,当前只支持{44100, 8000, 16000, 24000, 32000, 48000}, 推荐44100
	 *  @param channel: 通道, 当前通道支持单通道(1)和双通道(2),推荐单通道(1)
	 *  @param per_channel_sample_number: 这个请传入的是 sample_rate/100
	 */
	public native int SmartPublisherOnPCMFloatArray(long handle, float[] pcm_float_array, int offset, int len, int sample_rate, int channel, int per_channel_sample_number);


	/**
	 * 请参考SmartPublisherOnPCMFloatArray
	 */
	public native int SmartPublisherOnPCMFloatNative(long handle, long pcm_float_data, int offset, int len, int sample_rate, int channel, int per_channel_sample_number);

	/**
	 * Set far end pcm data
	 * 
	 * @param pcmdata : 16bit pcm data
	 * @param sampleRate: audio sample rate
	 * @param channel: auido channel
	 * @param per_channel_sample_number: per channel sample numbers
	 * @param is_low_latency: if with 0, it is not low_latency, if with 1, it is low_latency
	 * @return {0} if successful
	 */
	public native int SmartPublisherOnFarEndPCMData(long handle,  ByteBuffer pcmdata, int sampleRate, int channel, int per_channel_sample_number, int is_low_latency);

如何是编码后的audio数据,可以用以下接口投递:

    /**
     * 设置音频数据(AAC/PCMA/PCMU/SPEEX)
     *
     * @param codec_id:
     *
     *  NT_MEDIA_CODEC_ID_AUDIO_BASE = 0x10000,
     *	NT_MEDIA_CODEC_ID_PCMA = NT_MEDIA_CODEC_ID_AUDIO_BASE,
     *	NT_MEDIA_CODEC_ID_PCMU,
     *	NT_MEDIA_CODEC_ID_AAC,
     *	NT_MEDIA_CODEC_ID_SPEEX,
     *	NT_MEDIA_CODEC_ID_SPEEX_NB,
     *	NT_MEDIA_CODEC_ID_SPEEX_WB,
     *	NT_MEDIA_CODEC_ID_SPEEX_UWB,
     *
     * @param data audio数据
     *
     * @param offset data的偏移
     *
     * @param size data length
     *
     * @param is_key_frame 是否I帧, if with key frame, please set 1, otherwise, set 0, audio忽略
     *
     * @param timestamp video timestamp
     *
     * @param parameter_info 用于AAC special config信息填充
     *
     * @param parameter_info_size parameter info size
     *
     * @param sample_rate 采样率,如果需要录像的话必须传正确的值
     *
     *@param channels 通道数, 如果需要录像的话必须传正确的值, 一般是1或者2
     *
     * @return {0} if successful
     */
    public native int SmartPublisherPostAudioEncodedData(long handle, int codec_id,
                                                           ByteBuffer data, int offset, int size,
                                                           int is_key_frame, long timestamp,
                                                           byte[] parameter_info, int parameter_info_size,
                                                           int sample_rate, int channels);

audio数据投递实例:

class NTAudioRecordV2CallbackImpl implements NTAudioRecordV2Callback {
  @Override
  public void onNTAudioRecordV2Frame(ByteBuffer data, int size, int sampleRate, int channel, int per_channel_sample_number) {
    /*
    		 Log.i(TAG, "onNTAudioRecordV2Frame size=" + size + " sampleRate=" + sampleRate + " channel=" + channel
    				 + " per_channel_sample_number=" + per_channel_sample_number);

    		 */

    if (publisherHandle != 0) {
      libPublisher.SmartPublisherOnPCMData(publisherHandle, data, size, sampleRate, channel, per_channel_sample_number);
    }
  }
}

停止Audio采集:

if (audioRecord_ != null) {
  Log.i(TAG, "stopPush, call audioRecord_.StopRecording..");

  audioRecord_.Stop();

  if (audioRecordCallback_ != null) {
    audioRecord_.RemoveCallback(audioRecordCallback_);
    audioRecordCallback_ = null;
  }

  audioRecord_ = null;
}

总结

GB28181设置接入侧,一般采用G.711A律或AAC编码,数据接入可能是直接通过AudioRecord采集,也可以是外部编码后的Audio数据,具体根据场景来选择即可。

标签:示例,GB28181,音频,param,sample,int,rate,Android,channel
From: https://blog.51cto.com/daniusdk/6756225

相关文章

  • Android使用Dagger注入的方式初始化对象的简单使用
    一.Dagger简介Dagger2是Google开源的一款依靠注入结构,它的前身是square的Dagger1,Dagger2在Android中有着较为广泛的运用。Dagger2根据Java注解,采用annotationProcessor(注解处理器)在项目编译时动态生成依靠注入需求的Java代码,然后咱们在合适的位置手动完结......
  • Android之adb安装busybox使用wget、telnet等服务
    二、通过busybox安装使用wgetbusyboxwget1也可以直接输入wget,不用加busybox了三、通过busybox使用telnet服务(1)进入root权限su1(2)每次开启adbshell后都需要设置环境变量才能重启busybox服务(没有安装busybox可以看DHCPv6之GitHub项目Android侧验证)exportPATH=/data/busybox:......
  • AIGC 之 Stable Diffusion 生成的带文字图片示例
    文字文字为HOTAIGC网址导航效果图片1图片2图片3图片4图片5图片6图片7图片8大家觉得效果如何,要是大家感兴趣下篇分享生成原理及参数。......
  • php实现站群软件权限管理功能示例
    1.管理员页面RBAC.php<!DOCTYPEhtml><html><head><metacharset="UTF-8"><title>权限管理</title><scriptsrc="bootstrap/js/jquery-1.11.2.min.js"></script></head><body>......
  • 设计模式-组合模式在Java中的使用示例-杀毒软件针对文件和文件夹进行杀毒
    场景组合模式组合模式(CompositePattern):组合多个对象形成树形结构以表示具有“整体—部分”关系的层次结构。组合模式对单个对象(即叶子对象)和组合对象(即容器对象)的使用具有一致性,组合模式又可以称为“整体—部分”(Part-Whole)模式,它是一种对象结构型模式。在组合模式中引......
  • python 使用OpenCV进行目标检测和识别的完整示例
    #导入OpenCV库importcv2#加载图像image=cv2.imread('image.jpg')#创建Haar级联分类器cascade_classifier=cv2.CascadeClassifier('haarcascade_frontalface_default.xml')#检测目标图像中的行人gray=cv2.cvtColor(image,cv2.COLOR_BGR2GRAY)faces=ca......
  • beginnersbook C 语言示例·翻译完成 | ApacheCN
    译者:飞龙协议:CCBY-NC-SA4.0简单的C程序C语言中的HelloWorld程序C程序:检查给定的整数是正还是负C程序:使用递归函数反转给定的数字C程序:查找最大的三个数字C程序:显示Fibonacci序列C程序:使用递归查找数字的阶乘C程序:查找给定范围内的素数C程序:检查阿姆斯特朗数C程序......
  • Android平台如何高效率实现GB28181对接?
    技术背景GB28181协议是一种用于设备状态信息报送的协议,可以在不同设备之间进行通信和数据传输。在安卓系统上实现GB/T28181非常必要,GB28181协议实现分两部分,一部分是信令,另外一部分就是媒体数据的编码。信令主要包括SIPRegister,SIPMessage,SIPInvite,SIPNOTIFY,SIPSUBSCRIBE等......
  • GB28181设备接入侧录像查询和录像下载技术探究之实时录像
    技术背景我们在对接GB28181设备接入侧的时候,除了常规实时音视频按需上传外,还有个重要的功能,就是本地实时录像,录像后的数据,在执法记录仪等前端设备留底,然后,到工作站拷贝到专门的平台。本文探讨的是,基于GB28181设备接入更进一步的处理:录像查询和录像下载,本文以我们Android平台开发的G......
  • adb如何做Android ui自动化(这一篇就够了)
    一.简介我们都知道在做Androidui自动化的时候用的是appium,环境搭建贼难受。如果我们在工作中遇到需要实现简单的自动化功能,可以直接使用adb来完成,无需去搭建繁琐的appium。ADB(AndroidDebugBridge)是一个用于在Android设备和计算机之间传输数据、安装应用程序、调试和测试Androi......