首页 > 其他分享 >“Datawhale X 魔搭 AI夏令营“ AIGC 学习笔记 Task3(优化)

“Datawhale X 魔搭 AI夏令营“ AIGC 学习笔记 Task3(优化)

时间:2024-08-17 23:23:57浏览次数:13  
标签:Task3 AI ComfyUI 模型 微调 AIGC 模块 Lora 加载

认识ComfyUI

CpmfyUI主要用于让生成和调整 AI 图像的过程变得更加直观和容易。它允许用户通过图形界面来控制文本到图像的生成过程中的各种参数。

ComfyUI核心及图片生成流程

ComfyUI核心模块由模型加载器、提示词管理器、采样器、解码器。

本小节内容来自魔搭社区,具体内容可点击查看:魔搭官方教程icon-default.png?t=N7T8https://datawhaler.feishu.cn/wiki/QHSTwBPFKiZxqfkA1INc1u4fn0f#part-P5ufdxyIEo1U6ixULfGcQA8bnSf

模型加载器:Load Checkpoint用于加载基础的模型文件,包含了Model、CLIP、VAE三部分

CLIP模块将文本类型的输入变为模型可以理解的latent space embedding作为模型的输入

解码器:VAE模块的作用是将Latent space中的embedding解码为像素级别的图像

ComfyUI工作流实践

  1. 不带Lora的工作流样例

  2. 带Lora的工作流样例

Lora微调

是一种用于在预训练模型上进行高效微调的技术。

Lora微调原理

Lora(Low-Rank Adaptation,低秩适应)微调是一种用于深度学习模型的参数高效微调技术,特别适用于大规模预训练模型的优化。

标签:Task3,AI,ComfyUI,模型,微调,AIGC,模块,Lora,加载
From: https://blog.csdn.net/m0_74851616/article/details/141287009

相关文章

  • “Datawhale X 魔搭 AI夏令营“ AIGC 学习笔记 Task2
    精读代码:baseline的代码主要分为以下几个部分:安装和卸载依赖包加载数据集数据预处理使用Data-Juicer进行数据处理数据整理与训练图像生成:设置正向提示词,反向提示词,执行次数,图片尺寸设置随机种子,控制图片是否可以重复生成,并将图像保存为jpg文件。合并图像......
  • “Datawhale x魔搭 AI夏令营”-AIGC方向-Day3从零入门AI生图原理&实践
    学习内容提要从通过代码实现AI文生图逐渐进阶,教程偏重图像工作流、微调、图像优化等思路,最后会简单介绍AIGC应用方向、数字人技术(选学)Task03:进阶上分-实战优化具体Datawhale教程学习内容见链接:https://linklearner.com/activity/14/10/37框架资源网站名称链接地......
  • AI+服装电商细分赛道的落地应用:图应AI模特的进化史干货篇
    文章目录AI绘制人物的效果进化史2022年2023年2024年摄影师、设计师、模特三方在AI商拍领域的位置国家统计局的一些服装行业数据遇到的一些问题以及相应的解决方案图应AI这个产品未来可能怎么走统一回答某些投资人的一个问题AI绘制人物的效果进化史2022年还记得我20......
  • 聚星文社AI工具
    聚星文社AI工具是一款基于人工智能技术的文学创作辅助工具。聚星文社AI工具https://docs.qq.com/doc/DRU1vcUZlanBKR2xy它能够帮助作者生成文字内容、自动校对、提供创作灵感等功能。通过聚星文社AI工具,作者可以更快速地完成文学作品的创作,提高创作效率并且能够得到更好的......
  • 聚星文社AI工具小说推文工具
    聚星文社AI工具小说推文工具是一个帮助作者推广小说作品的工具。它可以自动生成吸引读者注意的推文内容,帮助作者在社交媒体平台上宣传自己的作品。聚星文社AI工具小说推文工具https://docs.qq.com/doc/DRU1vcUZlanBKR2xy使用这个工具,作者可以输入小说的关键信息,例如故事背景......
  • Copy AI——营销和内容创作
    一、CopyAI介绍CopyAI是一个基于人工智能的文案生成工具,旨在帮助用户快速生成高质量的营销内容、广告文案、社交媒体帖子、博客文章、电子邮件等。它利用自然语言处理(NLP)和深度学习技术,通过理解用户输入的关键信息,生成符合要求的文本内容。二、CopyAI核心功能多场景文......
  • Datawhale X 魔搭 AI夏令营-大模型应用(二)
    一.首先重大突破是完成了向量数据库的搭建二.初次的版本由于每次运行都要下载yuan模型,且每次都要运行模型嵌套函数,导致模型运行卡顿,以下是初版三.后来我们组想到可以先把模型下载到本地,然后优化代码,把两个代码文件合二为一,成功的提了速度,期间还有懒加载的思考,还有max_new_tok......
  • “Datawhale X 魔搭 AI夏令营”Day03
    一、打卡Datawhale二、学习1、ComfyUI(1)、什么是ComfyUIGUI是"GraphicalUserInterface"(图形用户界面)的缩写。简单来说,GUI就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。ComfyUI是GUI的一种,是基于节点工作的用户界面,主要用于操作图像的生成技术,Comfy......
  • Datawhale X魔搭 AI夏令营
    DatawhaleX魔搭AI夏令营AIGC方向Task02学习笔记1.活动简介从零入门AI生图原理&实践是Datawhale2024年AI夏令营第四期的学习活动(“AIGC”方向),基于魔搭社区“可图Kolors-LoRA风格故事挑战赛”开展的实践学习—— 适合想入门并实践AIGC文生图、工作流搭建、Lo......
  • Datawhale X魔搭 AI夏令营 第四期 AIGC方向 task03笔记
    一、ComfyUI  1、这次课首先介绍了ComfyUI,什么是ComfyUI?ComfyUI主要用于生成图像。它采用基于节点的工作流程,为用户提供更大的控制力和灵活性。用户可以通过连接不同的节点来直观地构建工作流程,并且允许对图像进行高级定制。用户还可以拖放节点、轻松调整参数,并实时查看......