目 录
目录
基于深度学习的图片风格转换系统 1
摘 要 1
Abstract 2
1 背景介绍及选题意义 11
1.1 背景介绍 11
1.2 选题意义 11
2 相关方法介绍 13
2.1 纹理建模 13
2.2 图像重建 13
2.3 图像风格迁移 13
2.3.1 基于在线图像优化的慢速图像风格迁移算法 13
2.3.2 基于离线模型优化的快速图像风格迁移算法 14
2.4 图像风格迁移效果评估 15
3 具体方法介绍 15
3.1 内容图像表示 15
3.2 风格图像表示 XVIII
3.3 风格迁移 1
3.4 基于神经网络的风格转换 1
四 核心代码实现 3
4.1 VGG 19应用： 3
4.2 UI搭建 4
4.3 主函数功能实现 9
五 成果 11
5.1 UI界面 11
5.2 风格转换类型展示： 12
参考文献 35
致谢 36
2 相关方法介绍
2.1 纹理建模
纹理建模主要研究如何表示一种纹理，常用方法可以分为两大类：基于统计分布的参数化纹理建模方法、基于 MRF 的非参数化纹理建模方法。
基于统计分布的参数化纹理建模方法主要将纹理建模为 N 阶统计量，基于 MRF 的非参数化纹理建模方法主要是用 patch 相似度匹配进行逐点合成。纹理建模解决了图片风格迁移中“如何对风格图中的风格特征进行建模和提取”的问题。
2.2 图像重建
图像重建的输入是特征表达，输出是特征表达对应的图像；即把某个特征逆向重建为原来的图像。通过重建预训练的分类网络中的高层特征，可以发现重建结果中能保留高层语义信息，而摒弃了低层的颜色等信息。因此，我们将图像重建用于“与内容混合然后还原成一个相应的风格化结果”。图像重建方法可以分为两类：基于在线图像优化的慢速图像重建方法、基于离线模型优化的快速图像重建方法。
本设计采用更为优质的离线模型优化法，基于离线模型优化的快速图像重建方法，这个方法就是因为第一个方法太慢了，为了加速重建，大家希望能设计一个前向网络，提前用很多训练数据进行训练，训练过程将一个特征表达作为输入，重建结果图像作为输出。这个训练好的网络只需要一次前向就能输出一个结果图。
2.3 图像风格迁移
2.3.1 基于在线图像优化的慢速图像风格迁移算法
1)基于统计分布的参数化慢速风格化迁移算法：
其中代表性的就是图像风格迁移领域的开山鼻祖 Gatys等人[1]提出基于神经网络的风格迁移。这种方法的过程简单地说，就是由随机噪声作为起始图，然后不断迭代改变图片的所有像素值来 寻找一个目标结果图 x’ ，这个目标结果图的特征表达和我们作为重建目标的目标特征表达 Φ(x) 相似，即像素迭代的目标为 Φ(x’)≈Φ(x)。
由于每个重建结果都需要在像素空间进行迭代优化很多次，这种方式是很耗时的（几百乘几百的图需要几分钟），所需计算资源及时间成本过高。
2)基于 MRF 的非参数化慢速风格化迁移算法：
其[7]核心思想是提出了一个取代 Gram 损失的新的 MRF 损失。思路与传统的 MRF 非参数化纹理建模方法相似， 即先将风格图和重建风格化结果图分成若干 patch，然后对于每个重建结果图中的patch，去寻找并逼近与其最接近的风格。
相比[1]的方法，优势在于：当风格图不是一幅艺术画作，而是和内容图内容相近的一张摄影照片，这种基于 patch 匹配的方式可以很好地保留图像中的局部结构等信息。
