首页 > 其他分享 >谷歌 I/O 2021 在音视频领域中有哪些技术值得被关注?

谷歌 I/O 2021 在音视频领域中有哪些技术值得被关注?

时间:2023-06-14 15:00:49浏览次数:51  
标签:AI 谷歌 音视频 芯片 TPU v4 2021 3D


时隔两年Google I/O大会再次与大家见面。虽然去年的大会因新冠疫情被迫取消,但技术的迭代发展却未被打断,反而因疫情的影响促使了技术的创新变得愈加以人们的需求为首要考量,从而变得更具人性化也更具智能化。

整理 / LiveVideoStack

谷歌 I/O 2021 在音视频领域中有哪些技术值得被关注?_人工智能

“在重要的时刻提供帮助”——是此次谷歌 I/O 2021大会的主题。从充满人情味的主题开场,并围绕AI在视频聊天、地图、医疗诊断、数据安全等方面发布了一系列最新的技术进展。而在音视频领域中最值得关注的是:全息视频聊天技术——Project Starline,谷歌AI芯片的最新版本——TPU v4,以及基于AI模型的皮肤病问诊应用程序。

Project Starline 3D视频聊天新体验

谷歌 I/O 2021 在音视频领域中有哪些技术值得被关注?_人工智能_02

Project Starline 3D视频聊天互动 演示

该项技术可以说是本次大会的绝对黑科技了,使一些无法进行线下见面的人们(如:疫情影响)能够在同一空间中进行实时的3D互动聊天。据悉,Project Starline利用全息影像技术打破人们身处不同空间的隔阂,并与传统的视频聊天的区别在于,让你想见到的人就“坐”在你对面,感觉像是真的在你身边一样。

谷歌 I/O 2021 在音视频领域中有哪些技术值得被关注?_大数据_03

如图所示,就好像置身在一个「3D聊天室」当中

而为了实现这一技术,在硬件部分谷歌采用了65英寸的光场显示器,并配备了定制高分辨率传感器和数十个景深扫描传感器,从多个角度捕捉用户的外貌和动作,然后进行融合,并在联合驱动下生成流畅细致的实时3D模型。由于其所产生的数据每秒高达数千兆字节,因此,对于在现有网络上发送如此之大的图像,谷歌研发了新的压缩和流算法,可将数据减少100倍以上。

谷歌 I/O 2021 在音视频领域中有哪些技术值得被关注?_机器学习_04

关键突破包括3D成像,实时压缩和3D显示

而在软件部分则是通过在计算机视觉、机器学习、空间音频和数据压缩技术等方面数年之久的开发,通过硬件与软件的整合才得以实现今天的Project Starline。除此之外,突破性的光场系统也是支持这一技术的亮点,让人们可以免去佩戴眼镜、耳机就能体验到逼真的体积和深度感。

目前Project Starline仅在谷歌的几个办公室中被应用,由于它依赖于定制的硬件和高度专业化的设备,还未在市场中进行推广。

新定制AI芯片TPU v4:性能提升10倍

谷歌 I/O 2021 在音视频领域中有哪些技术值得被关注?_深度学习_05

在谷歌 I/O大会中还推出了谷歌最新定制的AI芯片——TPU v4。这类定制芯片对其所要处理的AI任务有着数量级的性能优势,如图像识别、语音助手、视频、视觉计算处理等。而TPU v4的动力来源于v4芯片,其速度是v3(上一个TPU版本)的两倍以上。TPU v4:一个Pods里面有4069个v4芯片,可以提供每秒 10^18 次浮点运算;并提供一个exaflop以上的容量,相当于一千万台笔记本电脑的计算能力之和,性能比上一代提升了10倍。Sundar Pichai表示:“这是我们部署过的最快的系统,对我们来说是一个历史性的里程碑”。而全球超算TOP 500排行榜第一名的日本富岳的最高性能也只有它的一半。

谷歌 I/O 2021 在音视频领域中有哪些技术值得被关注?_机器学习_06

TPU v4芯片托盘

谷歌TPU之所以能够做到效率提高是在于:它可将看似相互独立的数百块芯片转为密切互联的单个系统来使用。Sundar Pichai谈到:"每块芯片的互连带宽是其他网络技术的10倍"。并透露会在年底对开发者开放使用。

另外,TPU v4在提高效率的同时,其数据中心也将以90%(或接近)的无碳能源运行。

AI“问诊”:针对皮肤病的诊断新功能

谷歌 I/O 2021 在音视频领域中有哪些技术值得被关注?_人工智能_07

本次谷歌 I/O大会的另一个亮点便是AI“问诊”。这是一个由AI驱动的皮肤病学辅助工具的预览,能够帮助人们了解自身皮肤、头发和指甲等有关的问题。并使用很多与CT扫描相同的技术来检测一些眼部疾病或肺癌。可通过手机的摄像头来识别皮肤病,如手臂上的皮疹。

其具体工作原理是基于Web应用程序,通过上传拍摄的图片,利用AI模型来分析图片中所出现的症状信息,从而为用户提供与之匹配的条件列表。对于条件列表中的每个匹配条件,都源自于皮肤科医生审核过的信息和常见问题的答案,以及来自网络中的类似匹配图像。然而,值得注意的是该应用程序所得出的匹配结果并不能作为诊断依据,也不能替代医学建议,因为许多情况还是需要在医院中进行专业的检查。因此,该应用的意义在于希望用户在此访问到权威信息,为下一步做出更为明智的决定。

该款应用工具已经过3年的机器学习研究和产品开发,并发表了多篇同行评审的论文,以验证其AI模型。除此之外,谷歌的深度学习方法对皮肤病的评估还曾发表于《自然医学》杂志中,并表明其AI系统可以达到与美国董事会认证的皮肤科医生相同的准确性。目前,为该款应用程序所提供的AI模型已成功通过了临床认证,其应用程序在欧盟也获得了CE标记为I类医疗设备。

编辑:Teresa Li

参考:

https://blog.google/technology/developers/io21-helpful-google/

https://blog.google/technology/research/project-starline/

https://blog.google/technology/health/ai-dermatology-preview-io-2021/


标签:AI,谷歌,音视频,芯片,TPU,v4,2021,3D
From: https://blog.51cto.com/u_13530535/6477352

相关文章

  • 2021百度之星- 复赛 Add or Multiply 1 第二类斯特林数计数
    AddorMultiply1本质上这个题目中乘法和加法没有任何区别因为加法乘法均满足交换律不妨考虑乘法最后分成了k块每块内部没有顺序但是块之间有顺序有顺序共有m个乘法操作这样的方案数是\(s(m,k)k!\)这个时候要求k-1个空隙必须有加法但是开头和结尾可以有也可以没有这个......
  • 在线教育音视频质量评价与感知系统
    为了探讨用一套客观,完备的评价系统对在线教育的音视频通信质量做出评价,力求做到定量,准确,横向可对比,并基于线上运行的大数据系统,发掘端到端通信平台存在的问题,找到优化方向,提升在线教育的用户体验,VIPKID音视频团队负责人张武峰在LiveVideoStackCon2019北京站上做了有关在线......
  • 音视频技术开发周刊(第128期)
    架构大家都切换到UnifiedPlan了吗? 忽悠,继续忽悠统计的数据。在Chrome中使用WebRTCICE服务器进行端口扫描这真是相当不错的。不知道将开放多长时间。浅谈WebRTCNetEQWebRTCNative代码里面有很多值得学习的宝藏,其中一个就是WebRTC的NetEQ模块。根据WebRTC术语表......
  • 音视频技术开发周刊 | 134
    架构Peer5与其他ECDN技术如今,公司依靠基于云的视频平台将内容流传输给员工。不幸的是,无论云基础架构有多强大,流质量和并发收视率都受到办公室ISP连接能力的限制,而在大型视频事件中,办公室ISP连接的能力很快就会饱和。当所有员工同时开始观看视频时,根本没有足够的带宽来使用。https:/......
  • 音视频技术开发周刊 | 136
    架构WebRTC之addTransceiver()与addTrack()addTrack()Firefox74加强了附加安全性特性,简化了从MicrosoftEdge的数据导入方式Firefox的WebRTC中不再支持TLS1.0/1.1。https://betanews.com/2020/03/10/firefox-74/使用全参考模型评估WebRTC应用中的视频和音频的QoE(......
  • 各种音视频协议技术及特点
    IP协议网络层协议,主要负责将数据包发送给最终的目标计算机,无状态、不可靠无连接协议无状态:无状态是指IP通信双方是不同步传输数据的状态信息。所有IP数据报的发送、传输和接收都是相互独立。无连接:无连接是指IP通信双方都不长久的维持对方的任何信息。上层协议每次发送数据的......
  • JavaCV音视频开发宝典:使用JavaCV读取海康平台或海康网络摄像头sdk回调视频TS码流并解
    《JavaCV音视频开发宝典》专栏目录导航《JavaCV音视频开发宝典》专栏介绍和目录​前言两年前博主写了如何利用JavaCV解析各种h264裸流,《JavaCV音视频开发宝典:使用javacv读取GB28181、海康大华平台和网络摄像头sdk回调视频码流并解析预览图像》,但是随着时间变化,各个厂商sdk也......
  • 互动协作白板与音视频实时同步技术实践
    本文整理自即构科技互动白板技术负责人陈晓聪在LiveVideoStack的线上分享,内容主要围绕白板与音视频的同步和白板的多端实时互动两个角度,深度解析即构在互动白板方面的技术探索实践。文/陈晓聪整理/LiveVideoStack大家好,我是来自即构的陈晓聪,现在主要负责互动白板的技术研发工作......
  • 流媒体发展新趋势 p2p网络技术 p2p穿透 p2p音视频解决方案
    一、流媒体系统及其发展趋势 所谓流媒体是指用户通过网络或者特定数字信道边下载边播放多媒体数据的一种工作方式。流媒体应用的一个最大的好处是用户不需要花费很长时间将多媒体数据全部下载到本地后才能播放,而仅需将起始几秒的数据先下载到本地的缓冲区中就可以开始播放,后面收......
  • CRI陆宵吴:夯实底层,音视频技术未来不远
    目前,音视频技术的应用越来越火爆,这也让音视频技术从曾经一个比较小的子系统,越来越让人瞩目,而市场的需求与人才的缺乏也越来越成为一个亟需解决的矛盾。LiveVideoStack特别采访了陆宵吴经理,请他以资深从业者的角度,讲述了他对音视频技术的理解。 讲师信息 陆宵吴,CRI中国的技术经理,......