学习内容提要：

从通过代码实现AI文生图逐渐进阶，教程偏重图像工作流、微调、图像优化等思路，最后会简单介绍AIGC应用方向、数字人技术（选学）

Task01:简单了解一下文生图相关的基础知识

具体Datawhale教程学习内容见链接：https://linklearner.com/activity/14/10/24

报名赛事

链接：https://tianchi.aliyun.com/competition/entrance/532254

基础知识

关于文生图技术研究的发展：

文生图基础知识：

提示词

提示词很重要，一般写法：主体描述，细节描述，修饰词，艺术风格，艺术家

Lora

Stable Diffusion中的Lora（LoRA）模型是一种轻量级的微调方法，它代表了“Low-Rank Adaptation”，即低秩适应。Lora不是指单一的具体模型，而是指一类通过特定微调技术应用于基础模型的扩展应用。在Stable Diffusion这一文本到图像合成模型的框架下，Lora被用来对预训练好的大模型进行针对性优化，以实现对特定主题、风格或任务的精细化控制。

参考图控制

ControlNet是一种用于精确控制图像生成过程的技术组件。它是一个附加到预训练的扩散模型（如Stable Diffusion模型）上的可训练神经网络模块。扩散模型通常用于从随机噪声逐渐生成图像的过程，而ControlNet的作用在于引入额外的控制信号，使得用户能够更具体地指导图像生成的各个方面（如姿势关键点、分割图、深度图、颜色等）。

ComfyUI

ComfyUI 是一个工作流工具，主要用于简化和优化 AI 模型的配置和训练过程。通过直观的界面和集成的功能，用户可以轻松地进行模型微调、数据预处理、图像生成等任务，从而提高工作效率和生成效果。

工具

python语言

Data-Juicer：数据处理和转换工具，旨在简化数据的提取、转换和加载过程

DiffSynth-Studio：高效微调训练大模型工具

实践步骤

Step0：开通阿里云PAI-DSW试用

链接：https://free.aliyun.com/?productCode=learn

• 在魔搭社区进行授权

Step1：报名赛事！(点击即可跳转)

赛事链接：https://tianchi.aliyun.com/competition/entrance/532254

> 链接：https://www.modelscope.cn/my/mynotebook/authorization

Step2：在魔搭社区创建PAI实例！

​
链接：https://www.modelscope.cn/my/mynotebook/authorization

Step3：30 分钟体验一站式 baseline！

1. 下载baseline文件（大约需要2分钟）

   git lfs install
   git clone https://www.modelscope.cn/datasets/maochase/kolors.git
   

2. 进入文件夹，打开baseline文件

3. 安装环境，然后重启kernel

• 安装 Data-Juicer 和 DiffSynth-Studio

4. 运行代码

代码块按照功能主要分成这几类

• 使用Data-Juicer处理数据，整理训练数据文件

• 使用DiffSynth-Studio在基础模型上，使用前面整理好的数据文件进行训练微调

• 加载训练微调后的模型

• 使用微调后的模型，生成用户指定的prompt提示词的图片
  

最后结果：生成的图片还挺清晰的~

最喜欢这张

Step4：微调结果上传魔搭

链接：https://www.modelscope.cn/models/create

最后别忘了关掉PAI实例

写在最后

感觉挺有意思的，使用了阿里云的算力，魔塔社区跟阿里云合作，能够使用云端深度学习开发环境，Notebook功能由阿里云提供产品和资源支持。感觉是国内能对标Google colab的产品组合了。