大家在刷短视频或者看娱乐直播时,会发现有些主播使用了虚拟背景,实际上他们并没有用到特别复杂的操作,只是应用了美颜SDK中的“人像抠图技术”。下面,小编就以短视频为例子,给大家讲述一下美颜SDK人像抠图技术与它的场景实现。
一、人像抠图技术是什么?
用大白话为大家讲解,人物的抠图技术实际上就是深度学习解决图像分割问题的一个具体实现。图像分割问题是指对一张输入图像,分出一个物体的准确轮廓的过程,而深度学习中的抠图原理比较好理解了,只需要通过全卷积进行人体图像分割,最后再对单张图片提供的一个通用解决方式“U-net网络”处理即可。
二、U-bet网络
接下来我们再来讲一下U-net网络,上文中我们可以得知他是一个非常重要的组成,一般的处理流程是端到端的网络,网络中没有全连接层,只有卷积层和下采样层。它还包括两个部分:一是特征提取,二是上采样。特征提取的每一个关键点都会包含多个尺度,受限于技术问题,上采样的过程中会弥补图像卷积等操作造成的图像信息确实,以此保留更多的图像细节,所以U-net比较适合精确级别的图像分割。
三、人物抠图技术是怎样训练的?
应用在美颜SDK中的人像抠图训练过程很容易实现,通过输入大量的人像图像和对应的GT图像,一边是对应的输入图像,一边是人工标注的GT图像,分别进行训练即可。它还受限于人工标注和其它问题,对于边缘分割效果不好的问题需要进行一些辅助处理。为了获得更好的实现效果,一般会采用拉普拉斯算子解决图形的软边缘问题,并用拉布拉斯算子处理软边缘并构建图形结构,然后添加语义近似的非本地颜色,将分析出来的高级信息与低级信息有效地融合在一起。接下来对创建出来的各个图形填充纯色并进行分层,然后进行类似于PS里的蒙版处理,这样就可以将图像的软边缘细致地标记出来,以此实现更好的填充色分层处理效果。
以上就是人物抠图技术在美颜SDK中的应用和实现过程,如果您对人像抠图或者其它美颜技术感兴趣的话,请关注我!后续我会为大家带来更多精彩内容。
标签:分割,人像,技术,美颜,图像,SDK From: https://blog.51cto.com/u_14584991/5798002