首页 > 其他分享 >音视频技术开发周刊 | 148

音视频技术开发周刊 | 148

时间:2023-07-20 11:06:48浏览次数:43  
标签:qq 视频 weixin 148 音视频 技术开发 mp https com


架构

腾讯云低延时直播系统架构设计与弱网优化实践

“直播带货”可能是2020年最具代表性的词汇之一,那么传统电商该如何融合直播系统,直播过程如何保障用户的最佳观看体验?本文由腾讯云资深架构师何书照在LiveVideoStack线上分享中的内容整理而成,详解了大规模、低延时电商直播系统架构设计以及电商直播的难点、技术挑战与突破。

https://mp.weixin.qq.com/s/oBPR1sv3QHtEMjqWAITWWA

面向新手的 WebRTC:术语及其工作原理概述

WebRTC是Web实时通信的缩写。这是一种低延迟技术,使用JavaScript api访问计算机的摄像头和麦克风,从而使媒体能够在两个对等点之间直接来回发送。使用WebRTC,你可以通过浏览器(如Chrome或Firefox)直播流,而无需使用插件或应用(如Zoom)。由于WebRTC传输数据只需几毫秒,因此它非常适合视频聊天等交互式用例。

https://www.wowza.com/blog/webrtc-terminology-and-how-it-works

建立自己的Slack

聊天和视频会议应用程序淹没了世界。Slack,Microsoft Teams,Zoom,Google Meet,Facebook Rooms等应用程序(不断增加)越来越受欢迎。

https://medium.com/@gjovanov/building-your-own-slack-54874bf5fd7a

传输网络

基于QUIC的下一代HTTP协议

HTTP/3是当前正在开发的下一HTTP协议版本,现在正由IETF QUIC工作组进行开发。HTTP/3的开发旨在改进HTTP/2仍存在的一些缺点,其改动主要是在传输层上进行优化。与之前的HTTP协议不同,HTTP/3不再使用TCP作为主要协议,转而使用了由Google提出的QUIC。

https://mp.weixin.qq.com/s/xbHeOEGEjveC7fCxUcJvSA

HESP协议

现在的网络视频在爆炸性增长,用户对于视频的要求也水涨船高,但目前的OTT视频分发却要在低延迟,大规模和观众体验等几个方面进行折衷,无法兼顾,只能给出次优的视频传输方案。我们下一代的传输协议可以不再做折衷。

https://mp.weixin.qq.com/s/RgJ8y8up9XK1wntQGvtOVA

互动直播中的前端技术 -- 即时通讯

在这全民互动直播的时期,网易云音乐前端团队和我们一起来聊聊互动直播中的即时通讯技术在前端中的使用。

与 Insertable Streams 和 E2EE( SFrame )

Janus + Insertable Streams + SFrame = Lorenzo 大神隔离太久的结果

https://www.meetecho.com/blog/janus-e2ee-sframe/

亚马逊发布 Chime 白板 SDK,带数据消息的实时信令白板

Amazon Chime提供了托管中继服务器和信号通道,使在各种网络环境中启动视频会议变得容易。新特性利用该信令的托管通信路径来允许交换任意数据消息。因此,开发人员可以很容易地将共享白板之类的东西添加到他们的视频会议系统中,而无需提供消息传递服务器。

https://medium.com/@dannadori/amazon-chime-sdk-whiteboard-with-data-messages-for-real-time-signaling-c0740575a6c0

PCC Vivace: Online-Learning Congestion Control

PCC Vivace结合了一篇2015年NSDI的PCC[1]的基本框架,以及机器学习中online convex optimization的原理[2],通过调整发送端速率的调整方向、调整步长和调整阈值,来解决网络的拥塞控制问题。 

https://www.jianshu.com/p/82b8f780c548

编解码

百度BD265编码器初体验:更快更省更AI

本次访谈介绍百度在视频解码器技术上的一些进展,重点介绍百度如何结合AI技术打造BD265编码器,以及百度BD265编码器在业务落地上的一些实战经验。

https://mp.weixin.qq.com/s/xapzbnjJqz_EZFJY_WHCOA

AV1的实时模式

不久前,Google Duo宣布将全面转向AV1。相比于VP9,AV1能够带来更好的编码效率,为用户提供更好的视频体验。本文来自Google软件工程师 姜健在LiveVideoStack线上分享的内容。

https://mp.weixin.qq.com/s/JVkADQaFmTOD7_g90XFoMg

HLS+FMP4方案对H.265+AAC支持要点

2017年的苹果WWDC大会上,苹果宣布HEVC支持HLS,涉及了iOS、MacOS和tvOS等系统终端。苹果之所以乐意这个事情,首先HLS就是他们家的,近些年一直把HLS致力于推成Web标准,其次苹果手握大量H.265的专利,也不想谷歌的AOM对应的VP9标准一家独大,HLS虽然延时有些大,但不可否认的,目前HLS是跨平台做的最好的协议。

https://mp.weixin.qq.com/s/3uWUJNSZ9IHdKDCd_pv6SA

如何通过Jupyter Notebook在浏览器上做视频编码

Jupyter Notebook是一个功能强大的Web应用程序,可在一个地方提供可共享的工作空间,其中包含实时代码(Python,Shell,JavaScript,HTML…),数据可视化和文档。它已被数据科学和机器学习社区广泛采用。人们将其用于原型设计,协作,项目演示,数据分析和处理等等。

https://medium.com/@jina.liu/encode-videos-from-your-browser-with-jupyter-notebook-d27e516e02ae

开源编解码器 SOLO 源码解读:带宽扩展与窄带编码

声网 Agora 在 2019 年 10 月 24 日,正式对所有开发者开源自研的抗丢包音频编解码器 SOLO。该编解码器适用于需要实时音频交互的场景,特别针对弱网对抗进行了优化,并且在相同弱网环境下 MOS 分优于 Opus。SOLO 可应用于各类 RTC 应用,并且可不与 Agora SDK 绑定使用。本文将从源码角度解读 SOLO 的带宽扩展与窄带编码。

https://mp.weixin.qq.com/s/HAZ91HD-2Y99xgJG1Da_5Q

MPEG-5 EVC重新启动的视频编解码器战争

随着AV1编解码器在软件和在线服务中悄然普及,新的视频编解码器并没有带来麻烦。今年5月,三星、华为和高通宣布支持MPEG-5核心视频编码(EVC),这是HEVC/H.265的另一种选择。

https://www.macg.co/logiciels/2020/06/la-guerre-des-codecs-video-relancee-par-le-mpeg-5-evc-114437

视频技术

云媒体处理中的创新:VOD工作流程的新解决方案

本文是streaming media的演讲,演讲者是Jeff Malkin和Eric Schumacher-Rasmussen,前者是Encoding.com的总裁,后者是Streaming media的副总裁兼编辑。演讲主题是云媒体处理中的创新:VOD工作流程的新解决方案。

https://mp.weixin.qq.com/s/_XshYdfmPTuZK8YCFrT1rw

AI智能

CVPR 2020丨动态卷积:自适应调整卷积参数,显著提升模型表达能力

轻量级卷积神经网络能够在较低的计算预算下运行,却也牺牲了模型性能和表达能力。对此,微软 AI 认知服务团队提出了动态卷积,与传统的静态卷积(每层单个卷积核)相比,根据注意力动态叠加多个卷积核不仅显著提升了表达能力,额外的计算成本也很小,因而对高效的 CNN 更加友好,同时可以容易地整合入现有 CNN 架构中。

https://mp.weixin.qq.com/s/eRZ3jNuceMYKE3lEj-g1aw

高糊图片可以做什么?Goodfellow等人用它生成一组合理图像

给出一张低分辨率图像,你可以用它做什么,用机器学习方法将它尽量恢复原貌?除此之外呢?近日,谷歌 David Berthelot、Peyman Milanfar,以及 Goodfellow 提出了一种名为 LAG 的生成器,可以基于一张低分辨率图像生成一组合理的高分辨率图像。

https://mp.weixin.qq.com/s/vSFocmAo6iVl7oNN91T1jQ

图像

又想骗我换新 iPhone:苹果集体照合成专利曝光,一键制造「在场证明」

即使身处地球的不同角落,只要启动手机摄像头,所有人就能获得一张「合影」照片。苹果的新技术让物理距离从此不再「遥不可及」。

https://mp.weixin.qq.com/s/6uJ8_QpilbiiJ3otjrUiZw

资源推荐

SRS多进程

SRS定位是运营级的互联网直播服务器集群,追求更好的概念完整性和最简单实现的代码。

Python小工具:利用ffmpy3库3秒钟将视频转换为音频

ffmpy3 是 ffmpy 的一个分支,它是一个简单的 FFmpeg 命令行包装程序。ffmpy 实现了一个 Pythonic 接口,用于通过命令行执行 FFmpeg,并使用 Python 的子进程模块进行同步执行。使用 Python 的 asyncio.subprocess 模块也支持异步执行。

活动推荐

今晚7:30,我们邀请到百度智能云RTC产品技术负责人李永兴分享WebRTC服务端工程实践,详细介绍如何使用开源SFU构建RTC云服务以及遇到的难点与突破。

1. 分析现有开源SFU在分布式部署方面的不足;

2. 单端口方案的必要性及实现;

3. 信令分离的必要性及实现;

4. SFU级联relay私有协议的必要性及实现;

5. RTC云服务的其他模块,包括混流器,接入网关等


标签:qq,视频,weixin,148,音视频,技术开发,mp,https,com
From: https://blog.51cto.com/u_13530535/6783394

相关文章

  • 音视频技术开发周刊 | 147
    架构十大必知开源WebRTC服务器WebRTC是一个非常新的技术,很多用户仍然在初步摸索阶段。有一些用户是不清楚WebRTC的用户场景,不知道WebRTC究竟可以使用在哪些应用场景中。https://mp.weixin.qq.com/s/W76r12SIHCGuAU9-IawhzQ大型群组音视频通话中的WebRTCCPU要求在WebRTC中启用大......
  • 音视频技术开发周刊 | 171
    架构从0到1打造一个WebRTC应用本文作者张宇航,微医云服务团队前端工程师,一个不文艺的处女座程序员。WebRTC加密和安全:你需要知道的一切好消息是WebRTC非常安全。坏消息是——沒有哪一个系统是没有缺陷,WebRTC的安全性也很复杂。在本文中,我将讨论WebRTC如何处理安全问题,以及确定一......
  • 音视频技术开发周刊 | 170
    传输网络实时5G实时视频流必不可少的6个原因正如最近在博客中详细讨论的那样,以视频为中心的社交活动,沉浸式娱乐,教育,远程医疗等方面的趋势使网络对实时视频丰富的个人体验的支持成为网络空间新时代的特征。从分散的劳动力投入到视频监控,再到在工程设计,建筑,培训,手术和其他方面的沉浸......
  • 音视频技术开发周刊 | 168
    架构带ICEforking的多设备呼叫Signal向WebRTC添加了ICEforking功能。https://signal.org/blog/ice-forking/新的Azure通信服务如何实现WebRTC?GustavoGarcia对Azure通信服务如何使用WebRTC进行了详细分析和深入分析。https://webrtchacks.com/how-does-azure-communicatio......
  • 音视频技术开发周刊 | 169
    架构WebRTC安全体系架构的8个组件WebRTC不仅仅是为低延迟实时流媒体传输而设计的。为了满足现代流媒体应用程序的需求,WebRTC还提供了流安全性。本文主要研究WebRTC的安全体系结构以及如何设置它。https://mp.weixin.qq.com/s/CqhjrRJQBwZylAWC6O9vowGoogleMeet如何使用WebRTC中......
  • 音视频技术开发周刊 | 164
    架构WebRTC首帧显示优化策略全解析音视频实时通话首帧的显示是一项重要的用户体验标准。本文主要通过对接收端的分析来了解和优化视频首帧的显示时间。浅析低延迟Camera架构广播电视、机器视觉、视频监控是videocamera产品的几个传统应用方向,近些年随着互联网的发展,网络直播行业......
  • 音视频技术开发周刊 | 165
    内容推荐碎片化时代,别让用户费脑子本次讲师采访我们邀请到了本次LiveVideoStackCon2020北京站的讲师,摩象科技的技术总监刘智美来做采访,作为互联网的从业者,尤其是专注于服务内容生产领域的专家,这篇采访我想从一个最近大家比较关注的事件引出。https://mp.weixin.qq.com/s/fk_GYljl......
  • 音视频技术开发周刊 | 160
    架构WebRTC1.0标准中更新了Candidate筛选优先级内容WebRTC1.0:浏览器之间的实时通信https://www.w3.org/blog/news/archives/8666NATtraversal如何工作的?在我们的文章中,我们涵盖了关于Tailscale如何工作的很多内容。然而,我们忽略了如何通过NATs(网络地址转换器)直接连接你的......
  • 解决直播间源码音视频不同步问题的有效方式
     随着网络技术的发展和移动设备的普及,电视、电脑、手机等数码产品越来越智能,我们不管是在家或是在外面都可以运用不同的数码产品去看剧或是短视频等,但可能很多人遇到过这样一种情况:当我们在看剧或是短视频的时候,可能出现声音与画面不对等的情况,举个例子,视频画面进度到了第十分钟......
  • Mediabox:年度最佳音视频开发工具
    “2023稀土开发者大会”落下帷幕,由稀土掘金社区评选的的掘金技术引力榜重磅出炉,共有22个优秀实践案例上榜,涵盖对技术行业发展有特别贡献的人物、开发工具、开源项目、技术团队和技术方案。其中,阿里云视频云「MediaBox」突出重围,斩获「年度最佳开发工具」。01什么是MediaBox?Med......