2024-10-31,由韩国首尔国立大学的研究团队创建的GS-Blur数据集,通过3D场景重建和相机视角移动合成了多样化的真实感模糊图像,为图像去模糊领域提供了一个大规模、高覆盖度的新工具,显著提升了去模糊算法在真实世界场景中的泛化能力。
数据集地址:GS-Blur|图像去模糊数据集|图像处理数据集
一、研究背景:
图像去模糊是图像恢复领域的一个重要挑战,尤其是在动态场景中,由于相机和物体之间的相对运动,常常会产生模糊的图像。为了训练去模糊网络,需要成对的模糊和清晰图像数据集。现有的数据集通过合成或真实拍摄的方式收集模糊图像,但这些方法要么在模糊类型上缺乏多样性,要么需要大量的人力来重建大规模数据集,无法全面反映现实世界的模糊情况。
目前遇到困难和挑战:
1、现有数据集在模糊类型(模糊轨迹)上的多样性不足,限制了去模糊算法的泛化能力。
2、真实世界模糊图像的捕获需要复杂的相机系统,这限制了数据集的规模和模糊轨迹的多样性。
3、现有数据集在模拟真实世界模糊图像时,往往无法充分覆盖模糊长度和方向的多样性。
数据集地址:GS-Blur|图像去模糊数据集|图像处理数据集
二、让我们一起来看一下GS-Blur数据集
GS-Blur是一个通过3D场景重建和随机相机运动轨迹合成的大规模真实感模糊图像数据集。
利用3D Gaussian Splatting(3DGS)技术,从多视图图像中重建3D场景,然后通过在这些场景中移动相机视角来渲染模糊图像。这种方法允许研究者在3D空间中随机生成相机运动轨迹,从而合成具有不同模糊长度和方向的图像,更好地模拟现实世界的模糊情况。
数据集特点:
1、包含156,209对清晰和模糊图像,覆盖了多样化的模糊类型。
2、通过随机生成的3D运动轨迹,提供了更广泛的模糊长度和方向。
3、合成的模糊图像具有真实感,能够更好地泛化到真实世界的模糊场景。
GS-Blur数据集可以用于训练和评估去模糊算法,通过提供清晰和模糊图像对,研究者可以测试他们的方法在多样化模糊类型上的性能。
基准测试 :
使用GS-Blur数据集训练的去模糊网络在多个现有的去模糊基准测试中表现出色,包括GoPro、REDS、BSD和RSBlur等数据集,证明了其良好的泛化能力。
提议的 GS-Blur 数据集的示例。帧的左半部分显示合成生成的模糊,而右半部分显示尖锐的帧对。
合成、真实和 GS-Blur 数据集的运动分布可视化。
GS-Blur 数据集中生成模糊和清晰图像对的整体管道。
随机生成的 3D 轨迹及其相应的运动模糊图像 的可视化
使用各种模糊生成管道在 GS-Blur 上训练 NAFNet [3] 时的去模糊性能比较。叉号 ✓ 和 ✗分别表示是否应用相应的组件来重建 GS-Blur 数据集。最后一行表示我们最终的 GS-Blur 数据集。
三、让我们展望数据集的应用
比如,我是一名专业的摄影师。
我拍照的时候,有的时候手稍微一抖,或者被拍摄的对象动得太快,那照片就糊了,特别影响效果。
上次,我接了一个拍摄婚礼的任务。婚礼嘛,场面热闹,新娘新郎、亲朋好友都在动,我得抓拍那些美好的瞬间。但是,那天特别的冷,手抖得不行,再加上他们动作太快,好多照片拍出来都是模糊的。我当时用的是传统的后期处理软件,就是那种一键去模糊的功能,但效果真的很一般。有时候照片是清楚了一点,但细节损失严重,有点像油画,不够真实。特别是那些我想要突出的表情和细节,比如新娘的泪光、新郎的笑容,都因为模糊变得不那么清晰了。客户虽然没说什么,但我自己心里清楚,这些照片没能达到我的标准。
现在有了GS-Blur数据集之后,情况就大不一样了。
这个数据集里有大量的模糊和清晰照片对,我可以利用这些数据训练一个更智能的去模糊算法。比如,我在婚礼前,就可以用这个数据集来训练我的算法,让它学会识别和处理各种模糊情况。
在婚礼当天,我还是像往常一样拍照,但是这次,嘻嘻,秘密武器——一个经过GS-Blur数据集训练的去模糊算法。当我拍到模糊的照片时,我就用这个算法来处理。它不仅能减少模糊,还能保持照片的自然感和细节。比如,我可以清楚地看到新娘面纱上的绣花,新郎领带上的纹理,甚至是他们脸上的每一个表情。这些细节在以前用传统软件处理后都会丢失很多。
最最厉害的就是这个算法还能处理那种因为物体快速移动造成的模糊。比如婚礼上的舞蹈环节,以前我根本不敢拍,因为知道拍出来肯定是模糊的。但现在,我用这个算法一处理,那些快速旋转的裙摆、舞动的手臂都变得清晰可见,而且非常自然。
我不再担心因为手抖或者物体快速移动而拍出模糊的照片了,因为我知道,无论发生什么,我都有办法让照片恢复清晰。这让我更有信心地去捕捉那些转瞬即逝的美妙瞬间,也让我的客户更加满意。