首页 > 其他分享 >“Datawhale x魔搭 AI夏令营”-AIGC方向-Day3从零入门AI生图原理&实践

“Datawhale x魔搭 AI夏令营”-AIGC方向-Day3从零入门AI生图原理&实践

时间:2024-08-17 22:48:43浏览次数:8  
标签:生图 github AI ComfyUI AIGC com https path 数据

学习内容提要

从通过代码实现AI文生图逐渐进阶,教程偏重图像工作流、微调、图像优化等思路,最后会简单介绍AIGC应用方向、数字人技术(选学)

Task03:进阶上分-实战优化

具体Datawhale教程学习内容见链接:https://linklearner.com/activity/14/10/37

框架

资源网站

名称 链接地址
在魔搭使用ComfyUI,玩转AIGC! https://modelscope.cn/headlines/article/429
ComfyUI的官方地址 https://github.com/comfyanonymous/ComfyUI
ComfyUI官方示范 https://comfyanonymous.github.io/ComfyUI_examples/
别人的基础工作流示范 https://github.com/cubiq/ComfyUI_Workflows
https://github.com/wyrde/wyrde-comfyui-workflows
工作流分享网站 https://comfyworkflows.com/
推荐一个比较好的comfyui的github仓库网站 https://github.com/ZHO-ZHO-ZHO/ComfyUI-Workflows-ZHO?tab=readme-ov-file

Lora 微调参数表

参数名称 参数值 说明
pretrained_unet_path models/kolors/Kolors/unet/diffusion_pytorch_model.safetensors 指定预训练UNet模型的路径
pretrained_text_encoder_path models/kolors/Kolors/text_encoder 指定预训练文本编码器的路径
pretrained_fp16_vae_path models/sdxl-vae-fp16-fix/diffusion_pytorch_model.safetensors 指定预训练VAE模型的路径
lora_rank 16 设置LoRA的秩(rank),影响模型的复杂度和性能
lora_alpha 4 设置LoRA的alpha值,控制微调的强度
dataset_path data/lora_dataset_processed 指定用于训练的数据集路径
output_path ./models 指定训练完成后保存模型的路径
max_epochs 1 设置最大训练轮数为1
center_crop 启用中心裁剪,用于图像预处理
use_gradient_checkpointing 启用梯度检查点,节省显存
precision "16-mixed" 设置训练时的精度为混合16位精度(half precision)

数据集来源整理

以下渠道来源均需要考虑合规性问题,请大家在使用数据集过程中谨慎选择。

来源类型推荐
公开的数据平台魔搭社区内开放了近3000个数据集,涉及文本、图像、音频、视频和多模态等多种场景,左侧有标签栏帮助快速导览,大家可以看看有没有自己需要的数据集。
其他数据平台推荐:
  • ImageNet:包含数百万张图片,广泛用于分类任务,也可以用于生成任务。
  • Open Images:由Google维护,包含数千万张带有标签的图片。
  • Flickr:特别是Flickr30kK和Flickr8K数据集,常用于图像描述任务。
  • CelebA:专注于人脸图像的数据集。
  • LSUN (Large-scale Scene Understanding):包含各种场景类别的大规模数据集。
使用API或爬虫获取
  1. 如果需要特定类型的内容,可以利用API从图库网站抓取图片,如Unsplash、Pexels等。
  2. 使用网络爬虫技术从互联网上抓取图片,但需要注意版权问题。
数据合成利用现有的图形引擎(如Unity、Unreal Engine)或特定软件生成合成数据,这在训练某些类型的模型时非常有用。最近Datawhale联合阿里云天池,做了一整套多模态大模型数据合成的学习,欢迎大家一起交流。从零入门多模态大模型数据合成
数据增强对于较小的数据集,可以通过旋转、翻转、缩放、颜色变换等方式进行数据增强。
购买或定制如果你的应用是特定领域的,比如医学影像、卫星图像等,建议从靠谱的渠道购买一些数据集。

标签:生图,github,AI,ComfyUI,AIGC,com,https,path,数据
From: https://www.cnblogs.com/zhuomoyixia/p/18365130

相关文章

  • AI+服装电商细分赛道的落地应用:图应AI模特的进化史干货篇
    文章目录AI绘制人物的效果进化史2022年2023年2024年摄影师、设计师、模特三方在AI商拍领域的位置国家统计局的一些服装行业数据遇到的一些问题以及相应的解决方案图应AI这个产品未来可能怎么走统一回答某些投资人的一个问题AI绘制人物的效果进化史2022年还记得我20......
  • 聚星文社AI工具
    聚星文社AI工具是一款基于人工智能技术的文学创作辅助工具。聚星文社AI工具https://docs.qq.com/doc/DRU1vcUZlanBKR2xy它能够帮助作者生成文字内容、自动校对、提供创作灵感等功能。通过聚星文社AI工具,作者可以更快速地完成文学作品的创作,提高创作效率并且能够得到更好的......
  • 聚星文社AI工具小说推文工具
    聚星文社AI工具小说推文工具是一个帮助作者推广小说作品的工具。它可以自动生成吸引读者注意的推文内容,帮助作者在社交媒体平台上宣传自己的作品。聚星文社AI工具小说推文工具https://docs.qq.com/doc/DRU1vcUZlanBKR2xy使用这个工具,作者可以输入小说的关键信息,例如故事背景......
  • Copy AI——营销和内容创作
    一、CopyAI介绍CopyAI是一个基于人工智能的文案生成工具,旨在帮助用户快速生成高质量的营销内容、广告文案、社交媒体帖子、博客文章、电子邮件等。它利用自然语言处理(NLP)和深度学习技术,通过理解用户输入的关键信息,生成符合要求的文本内容。二、CopyAI核心功能多场景文......
  • Datawhale X 魔搭 AI夏令营-大模型应用(二)
    一.首先重大突破是完成了向量数据库的搭建二.初次的版本由于每次运行都要下载yuan模型,且每次都要运行模型嵌套函数,导致模型运行卡顿,以下是初版三.后来我们组想到可以先把模型下载到本地,然后优化代码,把两个代码文件合二为一,成功的提了速度,期间还有懒加载的思考,还有max_new_tok......
  • “Datawhale X 魔搭 AI夏令营”Day03
    一、打卡Datawhale二、学习1、ComfyUI(1)、什么是ComfyUIGUI是"GraphicalUserInterface"(图形用户界面)的缩写。简单来说,GUI就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。ComfyUI是GUI的一种,是基于节点工作的用户界面,主要用于操作图像的生成技术,Comfy......
  • Datawhale X魔搭 AI夏令营
    DatawhaleX魔搭AI夏令营AIGC方向Task02学习笔记1.活动简介从零入门AI生图原理&实践是Datawhale2024年AI夏令营第四期的学习活动(“AIGC”方向),基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习—— 适合想入门并实践AIGC文生图、工作流搭建、Lo......
  • Datawhale X魔搭 AI夏令营 第四期 AIGC方向 task03笔记
    一、ComfyUI  1、这次课首先介绍了ComfyUI,什么是ComfyUI?ComfyUI主要用于生成图像。它采用基于节点的工作流程,为用户提供更大的控制力和灵活性。用户可以通过连接不同的节点来直观地构建工作流程,并且允许对图像进行高级定制。用户还可以拖放节点、轻松调整参数,并实时查看......
  • SciTech-BigDataAIML-LLM-Transformer Series-Self-Attention:由Dot-Product(向量点乘)
    SelfAttention:由Dot-Product(向量点乘)说起https://lulaoshi.info/deep-learning/attention/transformer-attention.html#self-attention-从向量点乘说起Transformer[1]论文提出了一种Self-Attention(自注意力机制),Self-Attention的最核心的公式为:\(\large\begin{align*}......
  • 【网络流模板题 EK增广路】luogu P2740 [USACO4.2] 草地排水Drainage Ditches)
    [P2740USACO4.2]草地排水DrainageDitches)大意:网络流模板做法:EK增广路#include<cstdio>#include<queue>#include<deque>#include<stack>#include<map>#include<cmath>#include<algorithm>#include<iostream>#include......