首页 > 其他分享 >Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task3随笔

Datawhale AI夏令营第四期魔搭-AIGC文生图方向Task3随笔

时间:2024-08-17 10:53:56浏览次数:12  
标签:Task3 name 文生 ComfyUI 模型 AI Lora type id

目录

Task3

一、ComfyUI

1、初识ComfyUI

(1)什么是ComfyUI

(2)核心模块

(3)生成流程

(4)优势

2、速通安装ComfyUI

(1)下载脚本代码文件

(2)进入ComfyUI的安装文件

(3)一键执行安装程序

(4)进入预览界面

3、浅尝ComfyUI工作流

(1)不带Lora的工作流样例

(2)带Lora的工作流样例

4、补充资料

二、Lora微调

1、Lora简介

(1)Lora微调的原理

(2)Lora微调的优势

2、Lora详解

(1)Task2中的的微调代码

(2)参数详情表

 (3)Net、VAE和文本编码器的协作关系

三、数据集

四、成果展示

五、拓展

1、利用 ComfyUI Manager 进行插件安装:

2、自定义节点

3、官方教程

六、总结


Task3

一、ComfyUI

1、初识ComfyUI

(1)什么是ComfyUI

        GUI 是 "Graphical User Interface"(图形用户界面)的缩写。简单来说,GUI 就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。

        ComfyUI 是GUI的一种,是基于节点工作的用户界面,主要用于操作图像的生成技术,ComfyUI 的特别之处在于它采用了一种模块化的设计,把图像生成的过程分解成了许多小的步骤,每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程,这样用户就可以根据需要定制自己的图像生成过程。

        了解ComfyUI:

ComfyUI系统性教程来啦!简体中文版整合包+全新升级云部署!预装超多模块组一键启动!内置超全标准工作流!Stable Diffusion | Ai+建筑_哔哩哔哩_bilibiliicon-default.png?t=N7T8https://www.bilibili.com/video/BV14r4y1d7r8/?spm_id_from=333.788&vd_source=b02e9adfb9d3d5a15d322ef0d6982866

(2)核心模块

        核心模块有模型加载器、提示词管理器、采样器、解码器。

(1)模型加载器:Load Checkpoint用于加载基础的模型文件,包含了Model、CLIP、VAE三部分

(2)CLIP模块将文本类型的输入变为模型可以理解的latent space embedding作为模型的输入

(3)解码器:VAE模块的作用是将Latent space中的embedding解码为像素级别的图像

(4)采样器:用于控制模型生成图像,不同的采样取值会影响最终输出图像的质量和多样性。采样器可以调节生成过程的速度和质量之间的平衡。

        Stable Diffusion的基本原理是通过降噪的方式(如完全的噪声图像),将一个原本的噪声信号变为无噪声的信号(如人可以理解的图像)。

        其中的降噪过程涉及到多次的采样。采样的系数在KSampler中配置:

  • seed:控制噪声产生的随机种子

  • control_after_generate:控制seed在每次生成后的变化

  • steps:降噪的迭代步数,越多则信号越精准,相对的生成时间也越长

  • cfg:classifier free guidance决定了prompt对于最终生成图像的影响有多大。更高的值代表更多地展现prompt中的描述。

  • denoise: 多少内容会被噪声覆盖 sampler_name、scheduler:降噪参数。

(3)生成流程

(4)优势

模块化和灵活性:ComfyUI 提供了一个模块化的系统,用户可以通过拖放不同的模块来构建复杂的工作流程。这种灵活性允许用户根据自己的需求自由组合和调整模型、输入、输出、和其他处理步骤。

可视化界面:ComfyUI 提供了直观的图形界面,使得用户能够更清晰地理解和操作复杂的 AI 模型和数据流。这对没有编程背景的用户特别有帮助,使他们能够轻松构建和管理工作流程。

多模型支持:ComfyUI 支持多个不同的生成模型,用户可以在同一平台上集成和切换使用不同的模型,从而实现更广泛的应用场景。

调试和优化:通过其可视化界面,ComfyUI 使得调试生成过程变得更简单。用户可以轻松地追踪数据流,识别并解决问题,从而优化生成结果。

开放和可扩展:ComfyUI 是一个开源项目,具有高度的可扩展性。开发者可以根据需要编写新的模块或插件,扩展系统功能,并根据项目需求进行定制。

用户友好性:尽管其功能强大,但 ComfyUI 仍然保持了用户友好性,即使对于复杂任务,也能以相对简单的方式完成,使其成为生成式 AI 工作流程管理的有力工具。

2、速通安装ComfyUI

        我依然选择使用魔搭社区提供的Notebook和免费的GPU算力体验来体验ComfyUI。

(1)下载脚本代码文件

        下载安装ComfyUI的执行文件task1中微调完成Lora文件

git lfs install
git clone https://www.modelscope.cn/datasets/maochase/kolors_test_comfyui.git
mv kolors_test_comfyui/* ./
rm -rf kolors_test_comfyui/
mkdir -p /mnt/workspace/models/lightning_logs/version_0/checkpoints/
mv epoch=0-step=500.ckpt /mnt/workspace/models/lightning_logs/version_0/checkpoints/   

(2)进入ComfyUI的安装文件

(3)一键执行安装程序

 

(4)进入预览界面

         当执行到最后一个节点的内容输出了一个访问的链接的时候,复制链接到浏览器中访问

        PS:如果链接访问白屏,或者报错,就等一会再访问重试,程序可能没有正常启动完毕

         注意:到这里还不能生成图片哦,要完成接下来的操作才可以。

3、浅尝ComfyUI工作流

(1)不带Lora的工作流样例

        下载工作流脚本

标签:Task3,name,文生,ComfyUI,模型,AI,Lora,type,id
From: https://blog.csdn.net/bimocunjin/article/details/141231882

相关文章

  • Task3:进阶上分-实战优化
    part1:工具初探一ComfyUI应用场景探索初识ComfyUI什么是ComfyUIGUI是"GraphicalUserInterface"(图形用户界面)的缩写。简单来说,GUI就是你在电脑屏幕上看到的那种有图标、按钮和菜单的交互方式。 ComfyUI是GUI的一种,是基于节点工作的用户界面,主要用于操作图像的生......
  • Datawhale X 魔搭 AI夏令营(三)
    一.初识ComfyUI1.ComfyUI是GUI的一种,是基于节点工作的用户界面,主要用于操作图像的生成技术,ComfyUI的特别之处在于它采用了一种模块化的设计,把图像生成的过程分解成了许多小的步骤,每个步骤都是一个节点。这些节点可以连接起来形成一个工作流程,这样用户就可以根据需要定制自己的......
  • 非结构化数据解析 &GenAI的应用探索和实践(文字稿)
    以下内容是8.15日我在上海张江科学会堂举办的“GOTC(全球开源技术峰会)”与“GOGC(全球开源极客嘉年华)”分享内容文字稿,分享给大家。一、前言大家下午好,我叫肖玉民,来自杭州萌嘉网络科技有限公司,很荣幸受主办方的邀请,来参加此次GOTC2024的分享。我们是一家刚成立不久的初创公......
  • 给 RAID5 添加热备盘
    给RAID5添加热备盘创建RAID5时设置1块热备盘;[root@zhpj~]#mdadm-Cv/dev/md5-n3-l5-x1/dev/sd{b..e}mdadm:layoutdefaultstoleft-symmetricmdadm:layoutdefaultstoleft-symmetricmdadm:chunksizedefaultsto512Kmdadm:sizesetto10476544Km......
  • 百度ai只能回答怎么关闭
      百度ai只能回答怎么关闭要关闭‌百度的AI智能回答功能,可以通过以下几种方法实现:使用广告拦截插件安装广告拦截插件:如‌AdGuard、‌uBlockOrigin等,这些插件可以帮助你拦截或隐藏百度的智能AI回答内容。配置插件规则:在插件的控制面板中,找到自定义静态规则处,输入......
  • 【本地+在线】Comfyui的基本工作流的搭建----文生图+图生图
    一.(本地使用comfyui)基本模块的了解1.1这是初始界面1.2搭建一个基本的工作流(如果使用的是秋叶大佬的包,每次进入会自动出现该工作流)1.2.1加载器和取样器:加载器,鼠标右键,点击新建节点,按下图操作,出现加载器取样器,鼠标右键,然后按下图操作可以看到如图结果:我们将“模型“连接......
  • AIGC新手炼丹师快速生成属于自己的lora--示范样例:北条时行(出自:擅长逃跑的殿下)
    目录一.准备工作:安装stable-diffusion和sd-trainer二.准备数据集2.1确定你想要的数据集2.2准备数据集2.2.1对于人物类的数据集2.2.2数据集的处理2.2.3数据集所在文件夹参考位置(出于方便考虑,仅供参考):2.2.4由数据集生成标签                  2.2.5......
  • Datawhale X 魔搭 AI0夏令营 魔搭-AIGC文生图方向 Tsak 3 就要完成了...
    本文为AI方向小白记录暑期参加魔搭夏令营-AIGC文生图方向的Task01    报名赛事链接:可图Kolors-LoRA风格故事挑战赛_创新应用大赛_天池大赛-阿里云天池的赛制    欢迎所有小白,大神前来交流学习。一.初识ComfyUI    1.1什么是ComfyUI      ......
  • Datawhale X 魔搭 AI0夏令营 魔搭-AIGC文生图方向 Tsak 1
    本文为AI方向小白记录暑期参加魔搭夏令营-AIGC文生图方向的Task01    报名赛事链接:https://tianchi.aliyun.com/competition/entrance/532254    欢迎所有小白,大神前来交流学习。一.文生图相关基础知识介绍    1.1文生图的介绍        文......
  • 一次性搞懂什么是AIGC(附专业术语)
    在这个日新月异的数字时代,AI(人工智能)已经不再是一个遥不可及的词汇,而是深入我们生活的方方面面。其中,AIGC(人工智能生成内容)作为AI技术的一个重要分支,正逐渐改变着内容创作的格局。今天,我们就来一次性搞懂AIGC,从基本概念到常用应用,再到一款实用的辅助工具——HelpLook。一、......