首页 > 其他分享 >即构发布 | 移动端实时超分辨率技术,迭代视觉新体验

即构发布 | 移动端实时超分辨率技术,迭代视觉新体验

时间:2023-10-31 18:55:06浏览次数:35  
标签:视频 场景 新体验 迭代 分辨率 超分 画质 即构

 

超分辨率(Super Resolution,简称 SR),是计算机视觉的一个经典应用。SR 是指通过软件或硬件的方法,从观测到的低分辨率图像重建出相应的高分辨率图像,简单来说就是通过 AI 算法来放大原有图像的分辨率以达到提升画质的效果。在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。  

近年来,随着深度学习技术的快速发展和设备运算能力的不断提升,基于 AI 的超分技术在图像恢复与增强领域也已经呈现出广阔的应用前景,并且在实时通信领域也掀起了革新应用之风。

条件限制,引发清晰度困扰

在前期的市场调研中,我们针对即构用户进行了深入访谈沟通,了解到了目前业务上的一些瓶颈。现在,就跟随小编来一起看一下这些用户究竟遇到了怎样的问题?

国内用户场景:

场景一:小张用手机看PC端主播的直播,发现画质不好。因为手机是竖屏分辨率,需要从横屏分辨率的画面裁剪下来才能将画面填满手机屏幕,但是裁剪导致分辨率下降,画质降低。  

场景二:小学生小张使用智能手表与妈妈手机视频通话的时候,发现手表容易发热,流量也用得快。因为受限于芯片性能,发送高分辨率的视频时比较消耗性能

海外用户场景:

场景一:小张在印度生活,平常看直播只能看标清视频,因为当地网络不好,再提高分辨就会容易卡顿,体验很差,因此只能接受标清的画质

场景二:小张在美国留学,有天和在印度的朋友视频通话时发现画质有点差,因为印度网络质量不好,只能推送标清视频

由此可以看出,用户在一些特殊场景下,画质清晰度十分不理想。那么,以上用户的问题我们可不可解?

即构推出自研超分,清晰度 up!

目前,​​即构科技​​​推出了基于深度学习的自研超分、自研去编码效应,通过 AI 算法来放大原有图像的分辨率以达到提升画质的效果。   通过使用超分,可以在本地将实时视频的分辨率放大两倍(x2),比如将 360P 超分成 720P 画质更清晰、纹理细节更细腻、文字更清楚,并且在播放端本地超分,不会增量带宽、流量,解放网络压力,同时在播放端本地超分,也不依赖推流端,解放主播/推流用户性能。点击​​即构超分技术​​。使用超分后的优势总结如下:

1、提升画质 —— 由于分辨率的提升,像素点更多,画质整体会比原画面更加清晰;

2、去编码脏块 —— 去除由于码率不足引起的编码脏块,画面更加平滑整洁;

3、不会增加流量以及带宽成本 —— 超分功能是端上的能力,只依赖设备性能;

4、不会增加推流端的性能消耗 —— 超分在拉流端(播放端)运行。

我们一起来看一下使用即构超分后带来的效果变化:

 

 (详细效果可点击查看:​​mp.weixin.qq.com/s/PRhXGpRUI…​​)

 

那么我们上述提到的三个客户场景在使用 ZEGO SDK 超分后,又是怎样的效果变化?

国内用户场景一:使用即构技术后:画质达到超清(720P/960P),无视恶劣的网络条件;

国内用户场景二:使用即构技术后:画质达到超清,不用担心跨端导致画质降低的问题了;

海外用户场景一:使用即构技术后:画质达到超清,不再受限于网络条件;

海外用户场景二:使用即构技术后:画质达到超清,沟通和以前一样流畅;

由此可见,当使用超分黑科技加成后,画质飞跃。

那么何种场景适合使用超分?可以简单理解为用于想提升画质,却又受到某些限制的环境 具体分为以下几类:

1、网络环境受到限制。对于网络环境压力大的地区,选择超分提升画质档次,避开网络的限制;

2、硬件条件受到限制。摄像头无法提供高分辨率、推流端的性能不够编更高分辨率的视频;

3、购买成本受到限制。期望提升画质,但是对应的分辨率/带宽/流量档位价格太高。

一览即构超分优势

1、在资源受限的移动端,基于深度学习的自研超分、自研去编码效应,对比业界 SOTA 及友商,模型大小相当时,即构自研 SR 主客观数据更好,覆盖机型更广;

2、在性能不变的情况下可以累加编码去脏去块效应和累加智能锐化,也就是说,一个模型,可以完成超分+去编码效应+智能锐化,性能不变

3、极小超低轻量级模型,仅0.69G FLOPs,我们在Set5中的PSNR/SSIM可以达到

36.898/0.9554,在此运算量下,几无对手

4、机型覆盖更广,支持 2500+ 种机型,国内 Android 设备覆盖率为 50%,iOS 设备覆盖率为90%;

目前即构科技已可以在1v1视频通话,秀场直播、电商直播等单主播场景,低分辨率场景,智能硬件,跨端通信等场景接入超分。了解更多:​​即构超分技术​​。

未来展望

高分辨率的视频能提供更清晰的画面和更高阶的感官体验,对于提升视频质量和用户视觉感受有很大的帮助。即构自研超分,帮助客户获得畅爽的视频体验,致力于打造更高水平的图像恢复和图像增强。  

未来,即构超分将继续进行算法性能优化,在效果不下降的情况下,覆盖更多机型,包括网络模型的性能优化、前馈推理库的性能优化,支持PC端,并且会结合去编码块效应(更低性能消耗),进一步提升视频效果!

 

标签:视频,场景,新体验,迭代,分辨率,超分,画质,即构
From: https://www.cnblogs.com/zegoinfo/p/17801009.html

相关文章

  • python和迭代器区别
    Python列表:它们是否为迭代器 文章目录列表是可迭代对象列表不是迭代器列表与迭代器的区别总结Python列表:它们是否为迭代器在本文中,我们将介绍Python列表和迭代器之间的关系。Python列表是一种常用的数据结构,用于存储多个元素。而迭代器是一种访问集合元素的对象......
  • 灵性·挖掘 3:自我迭代之路
    灵性·挖掘3:自我迭代之路你的观众只有一个,就是你自己不谈感受,只谈行动式感受熬竞争对手用力过猛会反杀自己。进入这种状态是无我的状态。 你的观众只有一个,就是你自己我活着到底是为了干啥呢?我吃喝玩乐好像也没那么有意思,那是为了干啥呢?买辆买辆车,买辆买个套房子也就那样,也不会......
  • 灵性·挖掘 4:自我迭代之路
    灵性·挖掘4:自我迭代之路升级产业链生态位技术、管理、双百 升级产业链生态位小白做生意,都是在货的角度做生意。如果你的生意只有一个维度,就是你的产品。除非质量特别牛逼,品牌特别大,然后成为在中国前三名的A级品牌。卖高价。就就很多人会来买,然后你就赚他一次的钱,但是因为你......
  • 灵性·挖掘 2:自我迭代之路
    灵性·挖掘2:自我迭代之路所有事情发生,本质就是来教你成长的;所有伤害你的人存在,就是来帮你长大的你到底那个事儿是大事儿还是小事儿?是让你痛苦还是不痛苦?关键在于你的认知,你的经历。打得有多开人活着不是只活自己的。我没有资格抑郁、难受。绝路就等于出路。痛苦就等于智慧。挫折......
  • 08迭代器源码分析
    Iterator一、源码分析size:集合的长度。cursor:光标,表示迭代器的指针,默认指向0索引位置二、modCount作用modCount++;是集合变化的次数(删除或者添加)。expectedModCount创建的迭代器的时候会把集合变化的次数传递给这个变量。(相当于迭代器对次数自己做了一次记录)c......
  • python循环迭代
    学习目标掌握for与while循环掌握continue,break,pass的区别核心知识循环中有3种常见的方式顺序:从上向下,顺序执行代码(从上往下执行)分支:根据条件判断,决定执行代码的分支(if/else)循环:让特定代码重复执行(for/while)for循环for可循环遍历的对象有字符串,列表,字典,集合,元组#......
  • AIGC加速迭代,云栖大会视频云「媒体服务」专场与你共话云智深度融合
    2023杭州·云栖大会倒计时5天!阿里云视频云5大并行Session11场话题演讲深度演绎云智融合的全面进化「媒体服务」Tech专场重磅议题剧透来袭 01「媒体服务」Tech•新数智时代,视频云的核心技术架构和智能化路径将如何升级?•AIGC极速迭代,如何全面提升智能媒体处理与生产......
  • C++迭代器iterator遍历
    iterator是通用的遍历容器的方式通用模板anySet<a...>as;anySet<a...>::iteratorit=as.begin();for(;it!=as.end();it++){cout<<(*it);//即迭代器it指向的元素}四种迭代器正向迭代器,定义方法如下:容器类名::iterator迭代器名;常量正向迭代器,定义......
  • Day18_有参装饰器_迭代器_可迭代对象___iter__()方法__next__()方法_for循环原理_自定
    1.Day17复习无参装饰器模版: 2.Day17复习装饰器的补充: 3.有参函数的知识储备: 4.有参装饰器不用语法糖,使用套用的方式从数据源取数据: 5.有参装饰器不用语法糖,使用套用的方式二从数据源取数据: 6.有参装饰器语法糖: 7.有参装饰器模板: 8.迭代器的介绍和为何存在迭......
  • 前端打怪之旅=>Es6入门(迭代器、生成器)
    迭代器迭代器(Iterator)是一种接口,为各种不同的数据结构提供统一的访问机制。任何数据结构只要部署Iterator接口!就可以完成遍历操作。ES6创造了一种新的遍历命令for...of循环,Iterator接口主要供for.of消费原生具备iterator接口的数据(可用forof遍历)ArrayArgumentsSetMapStringTyped......