首页 > 其他分享 >京东云魏伟:做最懂视频的云

京东云魏伟:做最懂视频的云

时间:2023-06-14 10:03:59浏览次数:28  
标签:视频 云魏伟 音频 魏伟 直播 体验 京东


京东云魏伟:做最懂视频的云_ide




第一次见到魏伟是2018年七八月间在京东的办公室,那时他刚刚加入京东云。一年多过去了,魏伟搭建了视频云团队,并开发上线了从视频增强、Codec、网络传输到客户端的全链条产品,这一过程让他“充满挑战和兴奋”。

文 / 魏伟

策划 / LiveVideoStack

LiveVideoStack:魏伟你好,非常荣幸代表LiveVideoStack采访您,可能还有一些读者对您不太熟悉,能否简单介绍下自己?

 

魏伟:我是京东云视频云产品研发部的负责人,有十多年视频行业研发经验,先后从事于AVS标准制定、广电音视频系统、互联网视频平台、视频云服务平台的架构设计和研发工作,具有丰富的广电、互联网视频、视频云等行业的研发和管理经验。2018年加入京东云,现在主要关注媒体处理、RTC、直播、点播、CDN、P2P等视频云服务相关技术和产品。

 

LiveVideoStack:加入京东云一年了,回顾这一年,主要做了哪些工作?有哪些充满挑战、欣喜与兴奋的瞬间?

 

魏伟:这一年多时间里,建立起了包括产品、研发、测试、运维等职能的完整团队,具备了底层算法、产品开发、终端开发、网络传输等完整的端到端视频技术研发能力,推出了直播、点播、媒体处理、推流和播放SDK等等产品,这些产品都已具备了成熟的主流功能,并在核心功能的关键性能指标上领先于竞品厂商;这些都是充满挑战、让团队欣喜和兴奋的。过去一年中,我们将京东集团内的全部视频相关业务搬迁到京东云上,今年618期间,支持商城所有视频类项目。应对618期间商家大并发发起直播为店铺带货引流、大流量观众观看直播下单,保障用户稳定流畅的访问直播内容,并可将有需要的直播流实时转成点播文件供点播访问,保障业务平稳。此外,也服务了游戏直播、娱乐直播、体育直播、点播、短视频、教育等等领域的客户,这些也都充满挑战和让人兴奋。

 

LiveVideoStack:视频云服务是一个涉及大量技术栈、基础学科与工程经验的领域。京东云选择哪些关键技术突破?

 

魏伟:视频云服务涉及音视频、流媒体、网络、平台、客户端等大量技术栈,也涉及从汇编、C\C++、Go、Python、Java、OC等大量编程语言。京东云视频云提供了从生产、处理、传输、消费等多个环节的完整端到端服务,为用户提供全链路的音视频极致体验,除了全链条的功能丰富度之外,围绕视频服务体验提升,重点在视频编解码、音频编解码、质量检测和修复、视频内容安全、弱网传输优化等方向深入优化,已经推出了京享超清、极速转码、舒适音频、质量检测和修复、视频动态加密、多码率自适应等功能。

 

LiveVideoStack:如果用一句话连描述京东云视频云,您会怎么说?

 

魏伟:京东云视频云是最懂视频的视频云!

 

LiveVideoStack:编码技术是多媒体服务中的重中之重,你们做了哪些工作?

 

魏伟:在H.264、H.265两个主要视频标准、AAC音频标准的编码技术方面,近一年我们在音频、视频,转码等方面深耕,开发了京享超清、舒适音频、极速转码等功能。京享超清,通过京东云特有的视频编码能力和优化算法,对视频中的内容、场景、画面进行智能分析和处理,让视频拥有高画质的同时降低视频码率,有效地提升视频质量并为客户节约带宽成本;舒适音频,基于京东云独特的“智享Audio”音频分析处理技术,对音频音量水平进行分析,自动实现音频的自动增益和动态范围调整,让不同场景的节目音量过度更加平滑,给客户带来更加舒适的视听享受;极速转码,基于京东云自研的“粒子转码”技术,支持倍数转码加速,极大的降低转码需要的时间,1080P可以超过10倍的处理速度,满足客户视频内容快速生产快速发布的需求。

 

LiveVideoStack:网络是另一个直接关系到用户体验的关键技术,比如实现码率自适应与移动网络与WiFi平滑切换,网络协议优化等等。能否介绍下这方面的研发进展?

 

魏伟:不同类型网络切换、即使相同网络下稳定性的变化,都是对视频流畅播放体验的挑战。为提升用户复杂网络下平滑、流畅的极致观看体验,以DASH标准为参考,京东云自研多码率平滑切换的全链路解决方案,在视频编码、音频编码、客户端播放SDK等模块做技术改进,实现了点播、直播在网络切换、网络带宽变化情况下仍保持流畅播放的体验。相关的技术,首先要解决同一内容不同档次之间的帧级精确对齐,然后是客户端依据自身网络带宽、机型等实际情况自适应选择视频流并无缝切换,切换过程画面无黑屏、无回退、无跳跃。我们在这方面已经推出成熟方案,点播、直播产品中都已实现。

 

LiveVideoStack:用户体验与成本永远是一对矛盾,一方面,如何在保证用户体验的前提下,降低运营成本?另一方面,为用户降低成本,让利与用户?

 

魏伟:首先使用公有云服务,就是相比自建视频服务平台降低成本的最根本办法。公有视频云服务范围内,我理解体验和成本并不是矛盾、而是平衡,技术的改进和提升则是为了达到更好的平衡点。我们综合考虑体验和成本两方面,有些技术提升体验、有些技术降低成本,整体上在不增加成本的情况下提升体验。一方面是云服务的体验提升和客户成本降低,,我们推出的京享超清、舒适音频、极速转码等功能都没有增加成本,产品体验大幅提升;另一方面是帮助客户提升用户体验和降低成本,我们在更低的带宽成本情况下,提供高画质、低卡顿的播放体验。

 

LiveVideoStack:AI与多媒体技术结合是大势所趋,已经应用于内容理解,自动生成海报等。京东云做了哪些探索?

 

魏伟:AI与多媒体的结合也是京东云探索的重点方向,这方面我们集中在图像理解、视频分析、人脸/脸识别等方面。

 

图像理解包含智能鉴黄、拍照购、特定物品识别等,基于业界领先的深度学习图像识别技术,对图片影像的肤色、姿态和场景等进行智能识别,准确快速的输出每张图片“色情”、"低俗”、“性感”、“正常”的概率,有效的规避涉黄风险;视频分析包括视频摘要和视频内容分析,基于客户提供的视频,通过对视频片段和视频帧的深度理解,提取视频中的精彩片段或多张具有代表性的视频帧作为视频摘要,对视频进行文字、人脸、物体、场景多维度分析,输出视频中的人或物,泛标签,关键帧及精彩片段。

 

LiveVideoStack:未来,从4K、8K到16K,VR与沉浸式体验,5G等新技术将逐步成熟,您和您的团队做了哪些准备?

 

魏伟:5G到来以后,延时更低、带宽更大,比4G多了更多可能性,比如超高清视频、5G+8K的视频传输和实现,更多包括视频监控和AR/VR技术将更为受益;可明确预见的是超高清视频甚至超过8K的视频处理都将很快变成可能。5G大带宽和低延时属性,正好是4K/8K/VR落地的最佳载体,视频超高清、5G、云和AI融合是未来大趋势,京东云已开始在5G+4K/8K直播方面技术积累,积极构建端到端超高清解决方案,一起迎接万物万联的时代。

采访后记

 

2018年,我邀请了魏伟来LiveVideoStackCon分享。今年,来自京东云的讲师从一个人变成了四个人,话题也从单一的Codec拓展到视频前后处理、网络优化、海量视频存储架构、高性能直播架构。


标签:视频,云魏伟,音频,魏伟,直播,体验,京东
From: https://blog.51cto.com/u_13530535/6475582

相关文章

  • Netflix如何通过重构视频Gatekeeper提升内容运营效率?
    Gatekeeper是Netflix的视频内容评估管理平台,可以展示视频剧集的metadata,如合同信息、字幕、标题、内容分级等。但此前,运营人员无法通过Gatekeeper实时更新剧集信息,本文将介绍新的gatekeeper架构,以及因此获得的收益。 文/ DrewKoszewnik译/Johnhttps://medium.com/netflix-t......
  • 通过Canvas在浏览器中更酷的展示视频
    有了Canvas可以更灵活的展示体验更好的视频,能够与页面更好的融合。文/MatthewMcClure译/Johnhttps://mux.com/blog/canvas-adding-filters-and-more-to-video-using-just-a-browser/视频无疑是网页中最引人关注的元素之一。在一个兼容性良好的网页内,视频的动态画面让网页内容......
  • IINA-Mac免费视频播放器
    IINA是一款Mac免费的视频播放器,支持播放Flash。在iOS中是一款非常受欢迎的播放器,同时也可以使用IINA播放Flash和音频,也可以播放其他格式的音视频。IINA支持Flash、ASF、SVG、AVI、MKV、DAT等格式。IINA支持多种音轨,比如Flash,ASF,SVG和AVI,音频播放方面有SRS空间......
  • Canvas_绘制线段、圆形、文本、图像、视频、处理图像数据
    Canvas_绘制线段、圆形、文本、图像、视频、处理图像数据绘制线段varcanvas1=document.querySelector("#canvas1");varctx=canvas1.getContext("2d");//设置开始路径ctx.beginPath()//设置绘制的起始点ctx.moveTo(50,50);//设置经过某个位置ctx.lineTo(50,30......
  • 【视频】ARIMA时间序列模型原理和R语言ARIMAX预测实现案例
    全文链接:http://tecdat.cn/?p=32773原文出处:拓端数据部落公众号分析师:FeierLiARIMA是可以拟合时间序列数据的模型,根据自身的过去值(即自身的滞后和滞后的预测误差)“解释”给定的时间序列,因此可以使用方程式预测未来价值。任何具有模式且不是随机白噪声的“非季节性"时间序列......
  • JavaCV音视频开发宝典:使用JavaCV读取海康平台或海康网络摄像头sdk回调视频TS码流并解
    《JavaCV音视频开发宝典》专栏目录导航《JavaCV音视频开发宝典》专栏介绍和目录​前言两年前博主写了如何利用JavaCV解析各种h264裸流,《JavaCV音视频开发宝典:使用javacv读取GB28181、海康大华平台和网络摄像头sdk回调视频码流并解析预览图像》,但是随着时间变化,各个厂商sdk也......
  • 视频汇聚融合平台EasyCVR使用国标级联出现云台控制异常的解决方法
    EasyCVR视频融合平台基于云边端协同一体化架构,具备强大的数据接入、处理及分发能力,平台可提供视频直播、录像、回放、检索、云存储、平台级联、告警、集群、H.265自动转码等功能。有用户反馈,使用EasyCVR通过国标级联到另一个EasyCVR,上级平台使用云台控制出现返回失败的问题,如下......
  • 端到端神经视频编码=A Better Trade-off ?
    归根结底,每一种视频压缩方法都要权衡利弊(trade-off):如果允许更大的文件大小,就可以拥有更好的图像质量;但如果想让文件非常小,那就必须要容忍错误出现的概率。但现在(以及不久的将来),人们希望基于神经网络的方法能够在视频文件大小和质量之间做出更好的权衡与交换(abettertrade-off)。 ......
  • 互动协作白板与音视频实时同步技术实践
    本文整理自即构科技互动白板技术负责人陈晓聪在LiveVideoStack的线上分享,内容主要围绕白板与音视频的同步和白板的多端实时互动两个角度,深度解析即构在互动白板方面的技术探索实践。文/陈晓聪整理/LiveVideoStack大家好,我是来自即构的陈晓聪,现在主要负责互动白板的技术研发工作......
  • opencv 视频提取
    视频提取importcv2importmatplotlibaspltimportnumpyaspy#cv2.VideoCapture可捕获摄像头用数字控制不同设备,如0,1#如果是视频文件直接指定路径即可。vc=cv2.VideoCapture('C:/Users/59925/Desktop/pytest/video/video_minions.mp4')ifvc.isOpened():#判断图像是......