目前流媒体开发工程师工作内容主要是在做什么?
这是来自知识星球一位朋友的提问,非常好的一个问题,也是很多想要进入音视频领域的粉丝朋友们想要了解的。
在知识星球内回答了一下,正好也放出来供大家参考一下。
有想要加入知识星球的朋友,可以通过如下链接了解一下:
以下是提问的原文内容:
目前国内流媒体开发做的需求主要包含哪些内容呢?
因为很多大厂数年前就已经构建了各自的音视频底层框架,发展到现在我觉得底层框架层面是不是比较完善了,现在的需求是不是就只有 修bug、适配新协议 这些?
具体到业务上又会有哪些需求呢?
没实际经历过流媒体开发,但又特别想知道在大厂里流媒体/音视频工作到底需要做些什么,所以想咨询一下星主,谢谢。
以下是回复的原文内容:
1. 先说音视频的本质:音视频的本质就是在极端复杂的网络情况下,充分利用终端硬件,给用户最好的音视频体验。
所以说,音视频的开发过程其实是一个追求极致的过程。
换句话说,如果你的业务有很多用户,是公司的主营业务,上面老板也非常重视这一块业务,那你能做的事情就会很多。
如果你的业务可做可不做,你连修bug、适配新协议这些工作都不用做。
其实很多初创公司都是拿webrtc直接编译,然后用接口封装下,就用于直播、视频通话了。
2. 因为你问的是大厂的现状,那接下来会以大厂的音视频开发这个话题展开。
首先,当今的流媒体应用领域已经不仅仅局限于视频通话了,它面向的是音频通话、直播、极速直播(比如远程抓娃娃)、视频会议、在线教育、视频通话、互动白板等诸多业务场景或领域。
每个领域的用户痛点是不同的,所以底层框架并不是“很早就构建”。
要完整解决用户问题,在webrtc形成的音视频底层框架的基础上,轻则换组建,重则要重构。
比如你要应用于连麦直播,为了提升音频质量,至少音频编码要从opus换成aac吧。
至于重构,出于信息安全的考虑,我只能告诉你,这几个大厂的音视频底层框架其实都是经过重构过的。
接下来,我从流媒体涉及到的模块以及分工来展开讲述
在的流媒体开发,已经不是几个人小作坊似的开发模式了,一般会按照模块进行部门或租的分工。
大体可以分为SDK组,主要职能是提供对外接口支持、对接指导以及业务层、逻辑层的维护;
音频组,主要工作分为音频工程开发、音频算法开发、音频传输开发。
其中,音频算法开发主要是实现特定业务场景或通用场景的音频前处理算法开发及优化、以及音频编解码协议、算法、实现的优化,音频传输开发主要是在jitbuffer,plc等技术基础上进行音频传输的优化,而音频工程开发主要是集成其他两部分同事的工作打包给SDK同事进行流媒体SDK的集成开发;
视频组,主要职能就是视频图像处理及视频编解码;
网络组,主要职能就是负责流媒体的传输模块,在保证延时的基础上提升流媒体的弱网抗性,这个模块里耳熟能详的技术有fec,arq,svc等等,其实也远远不限定于这些技术。
经过业务场景多元化和模块划分很细的讲解,你应该知道这里工作量很大了吧。
每个大厂的阶段不一样,业务不一样,这里不太好直接指明他们具体会有哪些工作,也涉及到人家信息安全的风险,只能说这里工作量很大,不然人家也不会招那么多人,而且还在继续招人。
为了让你初步了解这里的工作量,举个例子,比如音频采集。你看起来是不是很容易。
但是实际上,现在大厂里面有一些人就是专门做这一块的,因为现实中设备很复杂,比如你要考虑蓝牙、麦克风、耳机等等不同设备的采集,兼容性问题突出;
其次,不同设备不同场景下的采集方式是不一样的,比如你用耳机采集,回声问题影响较小,如果你应用于直播场景,那你就要关掉硬件降噪,对软件3A进行适配,在不引入回声的基础上提升音质;
最后就是,Android里面,opensl和audiotrack,audiorecord不同设备不同场景下的选择也是一大难点。
3. 看到你对工作“修Bug”的描述,这里想纠正一下你的观念,可能对你有用。
对咱们做工程的来说,工作永远不可能是修Bug,即使产品或者技术再稳定,更不要把自己的工作局限为修Bug。
一旦一个音视频SDK接入的APP多了,用户规模上去了,整个SDK方方面面都是挑战,比如稳定性、性能优化、SDK本身质量、音视频体验上的优化。
即使你修一个Bug,也不会是一个单点问题,而是系统问题,你需要考虑对其他模块的影响,你需要考虑是否有一种通用的方案来系统解决同类型的问题,甚至你需要考虑解决了这个Bug之后怎么验证等等。
上面这些都是我们的日常工作。除了日常工作,其他的需要思考的地方就更多了。
比如你要考虑排障成本、测试效率、服务成本(需要基于用户反馈找到ROI,以最小成本满足用户需求),也要考虑SDK的复用,如何快速赋能更多业务。
每个大厂阶段不一样,水平不一样,你的leader水平可能也不一样,这些你可能之前没有考虑过,但是实际上真正提升技术以及让你的SDK做的更好都是我们需要深刻思考的。
以上就是回答的全部内容,希望对你能够有帮助!!!