Datawhale X 魔搭 AI夏令营 AIGC方向 Task2

代码逐行解析

先记录一下baseline代码通义千问生成的逐行解析：

# 安装 Data-Juicer 和 DiffSynth-Studio
!pip install simple-aesthetics-predictor # 安装simple-aesthetics-predictor
!pip install -v -e data-juicer # 安装data-juicer
!pip uninstall pytorch-lightning -y # 卸载pytorch-lightning
!pip install peft lightning pandas torchvision # 安装 peft lightning pandas torchvision
!pip install -e DiffSynth-Studio # 安装DiffSynth-Studio

# 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime
from modelscope.msdatasets import MsDataset  #引入数据集模块msdatasets
ds = MsDataset.load(
    'AI-ModelScope/lowres_anime',
    subset_name='default',
    split='train',
    cache_dir="/mnt/workspace/kolors/data" # 指定缓存目录
) # 从魔搭数据集中下载数据集AI-ModelScope/lowres_anime，赋值给参数ds

# 生成数据集
import json, os # 导入json和os模块
from data_juicer.utils.mm_utils import SpecialTokens # 导入SpecialTokens
from tqdm import tqdm # 导入tqdm进度条管理
os.makedirs("./data/lora_dataset/train", exist_ok=True) # 创建文件夹./data/lora_dataset/train
os.makedirs("./data/data-juicer/input", exist_ok=True) # 创建文件夹./data/data-juicer/input
with open("./data/data-juicer/input/metadata.jsonl", "w") as f:
    for data_id, data in enumerate(tqdm(ds)): # 遍历数据集ds
        image = data["image"].convert("RGB") # 将数据集的图片转换为RGB
        image.save(f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg") # 保存数据集的图片
        metadata = {"text": "二次元", "image": [f"/mnt/workspace/kolors/data/lora_dataset/train/{data_id}.jpg"]} # 生成当前图片的索引数据
        f.write(json.dumps(metadata)) # 将索引数据写入文件./data/data-juicer/input/metadata.jsonl
        f.write("\n")

# 配置data-juicer，并进行数据筛选过滤
# 配置过滤的规则
data_juicer_config = """
# global parameters
project_name: 'data-process' # 名称
dataset_path: './data/data-juicer/input/metadata.jsonl'  # 你前面生成的数据的索引文件
np: 4  # 线程数

text_keys: 'text' # 文件./data/data-juicer/input/metadata.jsonl的描述的字段名
image_key: 'image' # 文件./data/data-juicer/input/metadata.jsonl的图片字段名
image_special_token: '<__dj__image>'

export_path: './data/data-juicer/output/result.jsonl' # 筛选通过的图片结果保存的的索引文件

# process schedule
# a list of several process operators with their arguments
# 过滤的规则
process:
    - image_shape_filter: # 图片尺寸过滤
        min_width: 1024 # 最小宽度1024
        min_height: 1024 # 最小高度1024
        any_or_all: any # 符合前面条件的图片才会被保留
    - image_aspect_ratio_filter: # 图片长宽比过滤
        min_ratio: 0.5 # 最小长宽比0.5
        max_ratio: 2.0 # 最大长宽比2.0
        any_or_all: any # 符合前面条件的图片才会被保留
"""

# 保存data-juicer配置到data/data-juicer/data_juicer_config.yaml
with open("data/data-juicer/data_juicer_config.yaml", "w") as file:
    file.write(data_juicer_config.strip())
# data-juicer开始执行数据筛选
!dj-process --config data/data-juicer/data_juicer_config.yaml


# 通过前面通过data-juicer筛选的图片索引信息./data/data-juicer/output/result.jsonl，生成数据集
import pandas as pd # 导入pandas
import os, json # 导入os和json
from PIL import Image # 导入Image
from tqdm import tqdm # 导入tqdm进度条管理
texts, file_names = [], [] # 定义两个空列表，分别存储图片描述和图片名称
os.makedirs("./data/lora_dataset_processed/train", exist_ok=True) # 创建文件夹./data/lora_dataset_processed/train
with open("./data/data-juicer/output/result.jsonl", "r") as file: # 打开前面data-juicer筛选的图片索引文件./data/data-juicer/output/result.jsonl
    for data_id, data in enumerate(tqdm(file.readlines())): # 遍历文件./data/data-juicer/output/result.jsonl
        data = json.loads(data) # 将json字符串转换为对象
        text = data["text"] # 获取对象中的text属性，也就是图片的描述信息
        texts.append(text) # 将图片的描述信息添加到texts列表中
        image = Image.open(data["image"][0]) # 获取对象中的image属性，也就是图片的路径,然后用这个路径打开图片
        image_path = f"./data/lora_dataset_processed/train/{data_id}.jpg" # 生成保存图片的路径
        image.save(image_path) # 将图片保存到./data/lora_dataset_processed/train文件夹中
        file_names.append(f"{data_id}.jpg") # 将图片名称添加到file_names列表中
data_frame = pd.DataFrame() # 创建空的DataFrame
data_frame["file_name"] = file_names # 将图片名称添加到data_frame中
data_frame["text"] = texts # 将图片描述添加到data_frame中
data_frame.to_csv("./data/lora_dataset_processed/train/metadata.csv", index=False, encoding="utf-8-sig") # 将data_frame保存到./data/lora_dataset_processed/train/metadata.csv
data_frame # 查看data_frame


# 下载可图模型
from diffsynth import download_models # 导入download_models
download_models(["Kolors", "SDXL-vae-fp16-fix"]) # 下载可图模型
# DiffSynth-Studio提供了可图的Lora训练脚本，查看脚本信息
!python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py -h


# 执行可图Lora训练
import os
cmd = """
python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py \ # 选择使用可图的Lora训练脚本DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py
  --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors \ # 选择unet模型
  --pretrained_text_encoder_path models/kolors/Kolors/text_encoder \ # 选择text_encoder
  --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors \ # 选择vae模型
  --lora_rank 16 \ # lora_rank 16 表示在权衡模型表达能力和训练效率时，选择了使用 16 作为秩，适合在不显著降低模型性能的前提下，通过 LoRA 减少计算和内存的需求
  --lora_alpha 4.0 \ # 设置 LoRA 的 alpha 值，影响调整的强度
  --dataset_path data/lora_dataset_processed \ # 指定数据集路径，用于训练模型
  --output_path ./models \ # 指定输出路径，用于保存模型
  --max_epochs 1 \ # 设置最大训练轮数为 1
  --center_crop \ # 启用中心裁剪，这通常用于图像预处理
  --use_gradient_checkpointing \ # 启用梯度检查点技术，以节省内存
  --precision "16-mixed" # 指定训练时的精度为混合 16 位精度（half precision），这可以加速训练并减少显存使用
""".strip()
os.system(cmd) # 执行可图Lora训练


# 加载lora微调后的模型
from diffsynth import ModelManager, SDXLImagePipeline # 导入ModelManager和SDXLImagePipeline
from peft import LoraConfig, inject_adapter_in_model # 导入LoraConfig和inject_adapter_in_model
import torch # 导入torch
# 加载LoRA配置并注入模型
def load_lora(model, lora_rank, lora_alpha, lora_path):
    lora_config = LoraConfig(
        r=lora_rank, # 设置LoRA的秩(rank)
        lora_alpha=lora_alpha, # 设置LoRA的alpha值，控制LoRA的影响权重
        init_lora_weights="gaussian", # 初始化LoRA权重为高斯分布
        target_modules=["to_q", "to_k", "to_v", "to_out"], # 指定要应用LoRA的模块
    )
    model = inject_adapter_in_model(lora_config, model) # 将LoRA配置注入到模型中
    state_dict = torch.load(lora_path, map_location="cpu") # 加载LoRA微调后的权重
    model.load_state_dict(state_dict, strict=False) # 将权重加载到模型中，允许部分权重不匹配
    return model # 返回注入LoRA后的模型
# 加载预训练模型
model_manager = ModelManager(
    torch_dtype=torch.float16, # 设置模型的数据类型为float16，减少显存占用
    device="cuda", # 指定使用GPU进行计算
    file_path_list=[
        "models/kolors/Kolors/text_encoder", # 文本编码器的路径
        "models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors", # UNet模型的路径
        "models/kolors/Kolors/vae/diffusion_pytorch_model.safetensors" # VAE模型的路径
    ]
)
# 初始化图像生成管道
pipe = SDXLImagePipeline.from_model_manager(model_manager) # 从模型管理器中加载模型并初始化管道
# 加载并应用LoRA权重到UNet模型
pipe.unet = load_lora(
    pipe.unet, 
    lora_rank=16, # 设置LoRA的秩(rank)，与训练脚本中的参数保持一致
    lora_alpha=2.0, # 设置LoRA的alpha值，控制LoRA对模型的影响权重
    lora_path="models/lightning_logs/version_0/checkpoints/epoch=0-step=500.ckpt" # 指定LoRA权重的文件路径
)


# 生成图像
torch.manual_seed(0) # 设置随机种子，确保生成的图像具有可重复性。如果想要每次生成不同的图像，可以将种子值改为随机值。
image = pipe(
    prompt="二次元，一个紫色短发小女孩，在家中沙发上坐着，双手托着腮，很无聊，全身，粉色连衣裙", # 设置正向提示词，用于指导模型生成图像的内容
    negative_prompt="丑陋、变形、嘈杂、模糊、低对比度", # 设置负向提示词，模型会避免生成包含这些特征的图像
    cfg_scale=4, # 设置分类自由度 (Classifier-Free Guidance) 的比例，数值越高，模型越严格地遵循提示词
    num_inference_steps=50, # 设置推理步数，步数越多，生成的图像细节越丰富，但生成时间也更长
    height=1024, width=1024, # 设置生成图像的高度和宽度，这里生成 1024x1024 像素的图像
)
image.save("1.jpg") # 将生成的图像保存为 "1.jpg" 文件


# 图像拼接，展示总体拼接大图
import numpy as np  # 导入numpy库，用于处理数组和数值计算
from PIL import Image  # 导入PIL库中的Image模块，用于图像处理
images = [np.array(Image.open(f"{i}.jpg")) for i in range(1, 9)]  # 读取1.jpg到8.jpg的图像，转换为numpy数组，并存储在列表images中
image = np.concatenate([  # 将四组图像在垂直方向上拼接
    np.concatenate(images[0:2], axis=1),  # 将第1组（images[0:2]）的两张图像在水平方向上拼接
    np.concatenate(images[2:4], axis=1),  # 将第2组（images[2:4]）的两张图像在水平方向上拼接
    np.concatenate(images[4:6], axis=1),  # 将第3组（images[4:6]）的两张图像在水平方向上拼接
    np.concatenate(images[6:8], axis=1),  # 将第4组（images[6:8]）的两张图像在水平方向上拼接
], axis=0)  # 将四组拼接后的图像在垂直方向上拼接
image = Image.fromarray(image).resize((1024, 2048))  # 将拼接后的numpy数组转换为图像对象，并调整大小为1024x2048像素
image  # 输出最终生成的图像对象，用于显示图像

一些疑问记录

下面是对几个代码之中我不太理解用法的地方的学习记录：

1. 下面是关于data-juicer的解释以及它在这个上下文中的用途：

data-juicer 是什么？

data-juicer 是一个数据处理工具包，设计用于帮助清理和过滤大型数据集，特别是那些用于训练大型语言模型或多模态模型的数据集。它包含多种过滤器和处理器来确保数据的质量和适宜性，以便于训练。其目标是通过移除或纠正问题数据点来提高训练过程的效率和效果。

data-juicer 在代码片段中的用途：

1. 配置：

   • 创建一个 YAML 配置文件 (data_juicer_config.yaml) 来指定数据过滤和处理的规则。
   • 参数包括输入元数据文件的路径、包含文本和图像信息的字段、过滤后数据集的输出路径以及过滤标准（例如，图像尺寸和长宽比）。

2. 数据过滤：

   • 使用 dj-process 命令和指定的配置文件来应用过滤器。
   • 过滤规则包括对图像的最小宽度和高度的要求，以及对长宽比的约束。

3. 数据集生成：

   • 过滤后，所选图像及其对应的文本描述用于创建一个新的数据集。
   • 这一过程涉及读取过滤后的元数据、提取文本和图像路径、将图像保存到新位置，并编制一个包含文件名和文本描述的 CSV 文件，以供训练使用。

4. 模型训练：

   • 数据集随后被用来训练一个模型，采用 LoRA（低秩适应）技术，这是一种使用有限数据对大型预训练模型进行微调的方法。
   • 训练脚本设置训练环境、指定模型架构，并利用准备好的数据集进行训练。

5. 加载微调后的模型：

   • 最后，代码提供了一个函数来加载带有注入的 LoRA 适配器的微调模型。

综上所述，data-juicer 是一个用于预处理和清理数据集的工具，在这里用于准备一个数据集以训练一个多模态模型，特别侧重于过滤不符合特定质量标准的图像。
data-juicer 是一个用于数据清洗和预处理的工具，它可以用于处理各种类型的数据集，尤其是那些用于训练大规模语言模型或多模态模型的数据集。在配置 data-juicer 时，你需要定义一系列参数来指导数据的清洗流程。
2. data-juicer的参数书写

配置文件示例

data-juicer 通常使用 YAML 格式的配置文件来指定这些参数。下面是一个简化版的配置文件示例：

# data_juicer_config.yaml 示例

input_path: /path/to/input_data.json  # 输入数据文件的路径
output_path: /path/to/output_data.json  # 输出数据文件的路径

fields:
  - name: text  # 指定文本字段
    type: text
  - name: image_url  # 指定图像字段
    type: image_url

# 定义数据清洗的步骤
filters:
  - name: ImageSizeFilter  # 图像尺寸过滤器
    params:
      min_width: 300  # 最小宽度
      min_height: 300  # 最小高度
  - name: TextLengthFilter  # 文本长度过滤器
    params:
      min_length: 10  # 最小文本长度
      max_length: 100  # 最大文本长度
  - name: AspectRatioFilter  # 长宽比过滤器
    params:
      min_ratio: 0.5  # 最小长宽比
      max_ratio: 2.0  # 最大长宽比

主要参数说明

1. input_path: 输入数据文件的位置。
2. output_path: 清洗后数据的输出位置。
3. fields: 数据集中字段的定义，通常包括文本和图像字段。
   • name: 字段的名称。
   • type: 字段的类型，比如 text 或者 image_url。
4. filters: 定义了一系列过滤器，每个过滤器都负责执行某种特定的数据检查或清洗任务。
   • name: 过滤器的名称，对应 data-juicer 内置或自定义的过滤器。
   • params: 过滤器的具体参数，这些参数会根据过滤器的不同而变化。

过滤器示例

• ImageSizeFilter: 用于过滤掉不符合最小宽度和高度要求的图像。
• TextLengthFilter: 用于过滤掉文本长度过短或过长的记录。
• AspectRatioFilter: 用于过滤掉长宽比不在指定范围内的图像。

使用方法

你可以使用 data-juicer 的命令行工具来运行配置文件，例如：

dj-process --config /path/to/data_juicer_config.yaml

这将按照配置文件中定义的规则来清洗数据，并将清洗后的数据输出到指定的位置。

以上就是一个基本的 data-juicer 配置文件的例子及说明。你可以根据实际需求调整这些参数，添加更多的过滤器或者自定义过滤器来满足特定的数据清洗需求。
3. 这段代码的主要目的是使用DiffSynth-Studio的训练脚本来训练一个LoRA（Low-Rank Adaptation）模型。LoRA是一种轻量级的微调方法，主要用于调整预训练模型以适应特定的任务，同时保持较低的计算成本和内存占用。

解释 cmd 命令的作用

1. cmd 变量定义

cmd 变量定义了一个字符串，该字符串包含了用于训练LoRA模型的命令行指令。让我们逐行解析这个命令：

• python DiffSynth-Studio/examples/train/kolors/train_kolors_lora.py: 这指定了要运行的Python脚本路径，即训练LoRA模型的脚本。
• --pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors: 指定了预训练的UNet模型的路径，这是一个核心组件，用于处理图像生成任务。
• --pretrained_text_encoder_path models/kolors/Kolors/text_encoder: 指定了预训练的文本编码器模型的路径，用于处理文本输入。
• --pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors: 指定了预训练的VAE（变分自动编码器）模型路径，该模型使用FP16格式，以节省内存和加快训练速度。
• --lora_rank 16: 设置了LoRA的秩（rank），秩较小意味着模型参数较少，从而减少计算和内存需求。
• --lora_alpha 4.0: 设置了LoRA的alpha值，这会影响模型更新的程度。
• --dataset_path data/lora_dataset_processed: 指定了用于训练的数据集路径。
• --output_path ./models: 指定了训练完成后模型输出的路径。
• --max_epochs 1: 设置了最大训练轮数为1，这意味着整个数据集会被遍历一次。
• --center_crop: 启用了中心裁剪功能，这是一种常见的图像预处理技术。
• --use_gradient_checkpointing: 启用了梯度检查点技术，这是一种节省内存的技术，通过在训练过程中只保存必要的梯度。
• --precision "16-mixed": 指定了训练使用的精度为混合16位浮点数（half precision），这种设置可以加速训练并减少GPU显存使用。

2. os.system(cmd) 调用

os.system(cmd) 是一个Python内置函数调用，它将cmd变量中的字符串作为命令传递给操作系统。这意味着它将在操作系统级别执行这个命令，即启动Python解释器来运行指定的脚本，并传递给脚本所有定义好的参数。

加载LoRA微调后的模型

接下来的部分展示了如何加载已经微调过的LoRA模型。这部分代码定义了一个名为 load_lora 的函数，该函数接受模型、LoRA的秩、LoRA的alpha值和LoRA的路径作为参数，并使用 peft 库中的 LoraConfig 类来创建LoRA配置。之后，通过 inject_adapter_in_model 函数将LoRA适配器注入到模型中。

接下来就是修改代码使其生成效果图啦

我在示例的基础上做了一些提示词修改，让他创作另一种风格的画作：
给通义千问的提示词生成命令：

你是一个文生图专家，我们现在要做一个实战项目，就是要编排一个文生图话剧
话剧由8张场景图片生成，你需要输出每张图片的生图提示词

具体的场景图片
1、初中生女主正在上课，老师在讲物理并且有些无聊
2、逐渐开始睡着了
3、进入梦乡，梦到自己站在路旁，穿着红色的连衣裙
4、王子骑马而来
5、两人相谈甚欢
6、一起坐在马背上
7、突然梦醒了，生气的老师拍桌子弄醒了她
8、又回到了学习生活中，准备课堂小测，有些担心

生图提示词要求
1、风格为写实画作，人物尽量真实
2、根据场景确定是使用全身还是上半身
3、人物描述
4、场景描述
5、做啥事情

例子：
写实风，写实画，一个黑色长发少女，坐在教室里，盯着黑板，深思，上半身，蓝色校服

通义千问生成的提示词：
好的，基于你的要求，我会为每个场景编写生成图像的提示词。这些提示词会包括风格、人物特征、场景细节以及正在进行的动作。下面是为每个场景设计的提示词：

场景 1: 初中生女主正在上课，老师在讲物理并且有些无聊

• 写实风，写实画
• 一个黑色长发少女，身穿蓝色校服，坐在教室里，盯着黑板，表情略显困倦
• 上半身特写
• 教室内部，窗外阳光透过窗帘洒落
• 老师站在讲台上，手里拿着物理课本讲解，学生们的注意力各异

场景 2: 逐渐开始睡着了

• 写实风，写实画
• 黑色长发少女，身穿蓝色校服，靠在课桌上，闭着眼睛，头微微歪向一侧
• 上半身特写
• 教室内部，同学们仍在认真听课
• 老师的声音渐渐模糊，背景略微模糊化

场景 3: 进入梦乡，梦到自己站在路旁，穿着红色的连衣裙

• 写实风，写实画
• 黑色长发少女，身穿红色连衣裙，站在乡村的小路旁
• 全身特写
• 一条宁静的乡间小道，周围是绿色的草地与树木
• 少女正眺望着远方，似乎在等待什么

场景 4: 王子骑马而来

• 写实风，写实画
• 英俊的年轻男子，身着骑士装束，骑在一匹白色的马上
• 上半身特写，马的下半身
• 乡村小道，远处是穿着红色连衣裙的少女
• 男子朝着少女微笑，眼神充满温柔

场景 5: 两人相谈甚欢

• 写实风，写实画
• 黑色长发少女，身穿红色连衣裙；英俊的年轻男子，身着骑士装束
• 上半身特写
• 乡村小道，周围是自然风光
• 两人面对面站立，互相交谈，脸上洋溢着笑容

场景 6: 一起坐在马背上

• 写实风，写实画
• 黑色长发少女，身穿红色连衣裙；英俊的年轻男子，身着骑士装束
• 全身特写
• 马儿缓缓前行于乡间小道上
• 两人坐在同一匹马上，手拉手，共同享受旅程

场景 7: 突然梦醒了，生气的老师拍桌子弄醒了她

• 写实风，写实画
• 黑色长发少女，身穿蓝色校服，猛然惊醒
• 上半身特写
• 教室内部，同学们的目光都集中在她身上
• 老师怒视着她，手中拍打着桌面

场景 8: 又回到了学习生活中，准备课堂小测，有些担心

• 写实风，写实画
• 黑色长发少女，身穿蓝色校服，双手拿着笔，凝视着试卷
• 上半身特写
• 教室内部，同学们都在专心答题
• 少女表情严肃，眉头紧锁，似乎对即将到来的测试感到不安

以上就是每个场景的提示词。如果你需要我为你生成这些图像，我可以帮你调用AI绘画服务。请告诉我是否需要生成这些图像，或者你有其他任何需求。
最终的生成结果展示：

个人感受

大致理解了baseline代码的基本构成和含义，不过全自己写肯定还这些不出来···