Keras-GAN:使用Keras实现各种生成对抗网络

Keras-GAN:使用Keras实现各种生成对抗网络
生成对抗网络(Generative Adversarial Networks, GAN)是近年来深度学习领域最热门的研究方向之一。自2014年Ian Goodfellow等人提出GAN以来,各种GAN变体层出不穷,在图像生成、风格迁移、超分辨率等多个领域取得了突破性进展。然而,由于GAN的训练较为困难,实现一个稳定工作的GAN模型并非易事。

Keras-GAN项目旨在为深度学习研究者和实践者提供各种GAN的Keras参考实现。该项目由Erik Linder-Norén发起,目前已包含20多种GAN变体的实现,涵盖了DCGAN、CGAN、CycleGAN等经典模型。所有模型都使用Keras深度学习框架实现,代码简洁易懂,非常适合学习和二次开发。

Keras-GAN Logo

项目特点
涵盖广泛:包含20多种GAN变体实现,几乎覆盖了所有主流GAN模型。

代码规范:所有模型都遵循相似的代码结构,便于对比学习不同GAN的异同。

易于使用:每个模型都提供了训练和生成示例,只需几行命令即可运行。

详细文档:README中对每个模型都有简要介绍和论文链接,方便深入学习。

持续更新:项目一直在维护,不断加入新的GAN变体实现。

主要模型
Keras-GAN项目实现的部分经典GAN模型包括:

DCGAN:第一个成功将CNN应用于GAN的模型,极大提升了GAN生成图像的质量。

Conditional GAN:引入条件信息,实现可控的图像生成。

CycleGAN:无需配对数据的图像风格迁移模型。

Pix2Pix:有监督的图像到图像转换模型。

WGAN:引入Wasserstein距离,提高GAN训练稳定性。

下面我们来详细介绍其中几个代表性模型。

DCGAN
DCGAN(Deep Convolutional GAN)是第一个成功将卷积神经网络应用于GAN的模型。相比原始GAN使用全连接网络,DCGAN的生成器和判别器都采用了卷积结构,大幅提升了生成图像的质量。

DCGAN的主要改进包括:

使用转置卷积代替池化层进行上采样
在生成器中使用BatchNorm
移除全连接层
在判别器中使用LeakyReLU激活函数
DCGAN的Keras实现代码如下:

def build_generator(self):
model = Sequential()

model.add(Dense(128 * 7 * 7, activation="relu", input_dim=self.latent_dim))
model.add(Reshape((7, 7, 128)))
model.add(UpSampling2D())
model.add(Conv2D(128, kernel_size=3, padding="same"))
model.add(BatchNormalization(momentum=0.8))
model.add(Activation("relu"))
model.add(UpSampling2D())
model.add(Conv2D(64, kernel_size=3, padding="same"))
model.add(BatchNormalization(momentum=0.8))
model.add(Activation("relu"))
model.add(Conv2D(self.channels, kernel_size=3, padding="same"))
model.add(Activation("tanh"))

return model

def build_discriminator(self):
model = Sequential()

model.add(Conv2D(32, kernel_size=3, strides=2, input_shape=self.img_shape, padding="same"))
model.add(LeakyReLU(alpha=0.2))
model.add(Dropout(0.25))
model.add(Conv2D(64, kernel_size=3, strides=2, padding="same"))
model.add(ZeroPadding2D(padding=((0,1),(0,1))))
model.add(BatchNormalization(momentum=0.8))
model.add(LeakyReLU(alpha=0.2))
model.add(Dropout(0.25))
model.add(Conv2D(128, kernel_size=3, strides=2, padding="same"))
model.add(BatchNormalization(momentum=0.8))
model.add(LeakyReLU(alpha=0.2))
model.add(Dropout(0.25))
model.add(Conv2D(256, kernel_size=3, strides=1, padding="same"))
model.add(BatchNormalization(momentum=0.8))
model.add(LeakyReLU(alpha=0.2))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(1, activation='sigmoid'))

return model

DCGAN在MNIST数据集上的生成效果如下:

DCGAN生成效果

Conditional GAN
Conditional GAN(CGAN)通过在输入中加入额外的条件信息(如类别标签),实现了对生成过程的控制。这使得GAN可以生成指定类别的样本,大大增强了模型的实用性。

CGAN的主要改进是在生成器和判别器的输入中都加入条件信息:

生成器:将随机噪声z和条件c连接后输入
判别器:将图像x和条件c连接后输入
CGAN的Keras实现关键代码如下:

def build_generator(self):

model = Sequential()

model.add(Dense(256, input_dim=self.latent_dim+self.num_classes))
model.add(LeakyReLU(alpha=0.2))
model.add(BatchNormalization(momentum=0.8))
model.add(Dense(512))
model.add(LeakyReLU(alpha=0.2))
model.add(BatchNormalization(momentum=0.8))
model.add(Dense(1024))
model.add(LeakyReLU(alpha=0.2))
model.add(BatchNormalization(momentum=0.8))
model.add(Dense(np.prod(self.img_shape), activation='tanh'))
model.add(Reshape(self.img_shape))

noise = Input(shape=(self.latent_dim,))
label = Input(shape=(1,), dtype='int32')
label_embedding = Flatten()(Embedding(self.num_classes, self.latent_dim)(label))

model_input = concatenate([noise, label_embedding])
img = model(model_input)

return Model([noise, label], img)

def build_discriminator(self):

model = Sequential()

model.add(Dense(512, input_dim=np.prod(self.img_shape)+self.num_classes))
model.add(LeakyReLU(alpha=0.2))
model.add(Dense(512))
model.add(LeakyReLU(alpha=0.2))
model.add(Dropout(0.4))
model.add(Dense(512))
model.add(LeakyReLU(alpha=0.2))
model.add(Dropout(0.4))
model.add(Dense(1, activation='sigmoid'))

img = Input(shape=self.img_shape)
label = Input(shape=(1,), dtype='int32')

label_embedding = Flatten()(Embedding(self.num_classes, np.prod(self.img_shape))(label))
flat_img = Flatten()(img)

model_input = concatenate([flat_img, label_embedding])

validity = model(model_input)

return Model([img, label], validity)

CGAN在MNIST数据集上可以生成指定数字的手写体图像:

CGAN生成效果

CycleGAN
CycleGAN是一种无需配对数据的图像到图像转换模型。它可以学习两个域之间的映射关系,实现风格迁移、季节变换等任务。CycleGAN的核心思想是引入循环一致性损失,确保转换的可逆性。

CycleGAN包含两个生成器G和F,以及两个判别器DA和DB。其训练目标包括:

对抗损失:生成的图像要能骗过判别器
循环一致性损失:G(F(x)) ≈ x, F(G(y)) ≈ y
身份映射损失:G(y) ≈ y, F(x) ≈ x
CycleGAN的核心实现代码如下:

def build_generator(self):
"""U-Net Generator"""

def conv2d(layer_input, filters, f_size=4):
    """Layers used during downsampling"""
    d = Conv2D(filters, kernel_size=f_size, strides=2, padding='same')(layer_input)
    d = LeakyReLU(alpha=0.2)(d)
    d = InstanceNormalization()(d)
    return d

def deconv2d(layer_input, skip_input, filters, f_size=4, dropout_rate=0):
    """Layers used during upsampling"""
    u = UpSampling2D(size=2)(layer_input)
    u = Conv2D(filters, kernel_size=f_size, strides=1, padding='same', activation='relu')(u)
    if dropout_rate:
        u = Dropout(dropout_rate)(u)
    u = InstanceNormalization()(u)
    u = Concatenate()([u, skip_input])
    return u

# Image input
d0 = Input(shape=self.img_shape)

# Downsampling
d1 = conv2d(d0, self.gf)
d2 = conv2d(d1, self.gf*2)
d3 = conv2d(d2, self.gf*4)
d4 = conv2d(d3, self.gf*8)

# Upsampling
u1 = deconv2d(d4, d3, self.gf*4)
u2 = deconv2d(u1, d2, self.gf*2)
u3 = deconv2d(u2, d1, self.gf)

u4 = UpSampling2D(size=2)(u3)
output_img = Conv2D(self.channels, kernel_size=4, strides=1, padding='same', activation='tanh')(u4)

return Model(d0, output_img)

def build_discriminator(self):

def d_layer(layer_input, filters, f_size=4, normalization=True):
    """Discriminator layer"""
    d = Conv2D(filters, kernel_size=f_size, strides=2, padding='same')(layer_input)
    d = LeakyReLU(alpha=0.2)(d)
    if normalization:
        d = InstanceNormalization()(d)
    return d

img = Input(shape=self.img_shape)

d1 = d_layer(img, self.df, normalization=False)
d2 = d_layer(d1, self.df*2)
d3 = d_layer(d2, self.df*4)
d4 = d_layer(d3, self.df*8)

validity = Conv2D(1, kernel_size=4, strides=1, padding='same')(d4)

return Model(img, validity)

CycleGAN可以实现多种有趣的图像转换效果,如下图所示的苹果到橙子的转换:

CycleGAN效果

使用方法
Keras-GAN项目的使用非常简单,以DCGAN为例:

克隆项目
git clone https://github.com/eriklindernoren/Keras-GAN
cd Keras-GAN/
安装依赖
pip install -r requirements.txt
训练模型
cd dcgan/
python3 dcgan.py
每个模型文件夹下都有独立的Python脚本,直接运行即可开始训练。训练过程中会定期保存生成的图像样本,可以直观地观察训练进展。

总结
Keras-GAN项目为我们提供了丰富的GAN参考实现,是学习和实践GAN的绝佳资源。通过阅读和运行这些代码,我们可以深入理解各种GAN的工作原理,为自己的GAN应用开发打下坚实基础。
文章链接：www.dongaigc.com/a/keras-gan-implementing-generative-adversarial-networks
https://www.dongaigc.com/a/keras-gan-implementing-generative-adversarial-networks
www.dongaigc.com/p/eriklindernoren/Keras-GAN
https://www.dongaigc.com/p/eriklindernoren/Keras-GAN