首页 > 其他分享 >Datawhale X魔搭 AI夏令营 第四期 AIGC方向 task03笔记

Datawhale X魔搭 AI夏令营 第四期 AIGC方向 task03笔记

时间:2024-08-17 19:24:52浏览次数:15  
标签:AI ComfyUI GUI Stable AIGC Datawhale 生成 Studio comfyUI

一、ComfyUI

    1、这次课首先介绍了ComfyUI,什么是ComfyUI?

  • ComfyUI 主要用于生成图像。它采用基于节点的工作流程,为用户提供更大的控制力和灵活性。用户可以通过连接不同的节点来直观地构建工作流程,并且允许对图像进行高级定制。用户还可以拖放节点、轻松调整参数,并实时查看预览。这使得图像生成过程更加直观和可定制。
  • 它不仅可以作为一个图形界面使用,还可以作为一个强大的后端使用,还可以作为插件加入到其他GUI当中。各种好用的工具都可以通过统一的形式加入到这个平台上,如翻译、排版自动抠图等与SD无关的功能,还可以借助一些特殊节点当作PPT来使用。
  • comfyUI的核心模块:模型加载器、提示词管理器、采样器、解码器。
  • comfyUI的图片生成流程:选择模型-构建工作流-执行生成-调整与优化

2、ComfyUI是GUI的一种,官方给出了四种GUI。

(GUI是一种通过图形元素,如窗口、图标、按钮等与计算机系统进行交互的用户界面。用户可以通过点击、拖动等直观操作来控制计算机。)

  • Clip drop(无需注册账户,免费使用):提供文字去除、背景去除与替换、放大、重新打光、物体清楚、草图生成等十多项功能。
  • Dream Studio(新账户提供25积分,30步左右的图要1.6积分):提供了画布编辑功能,方便局部填充和扩展绘图。
  • Stable Studio:界面和操作和Dream Studio相同,区别在与Stable提供本地算力,可离线使用。
  • Stable Swarm:界面与Dream Studio很相似,Stable Swarm是以comfyUI为后端的前端界面,它融合了comfyUI的强大、webUI的舒适,stable studio的质量。

3、很不错第三方开源GUI

  • Invoke AI:对重复和扩展很方便
  • SD.next:适合多种扩散模型
  • Volta ML:操作简单,适合新手

4、第三方在线项目

  • SD Online:在线免费网站
  • Hugging face:免费使用,但等待时间长,有很多大神提供的模型
  • Cat bird AI:一个提示词可以生成一百多种图片,限量免费使用
  • Platground AI:限量免费,一天1000张

二、体验ComfyUI

在魔搭社区中体验:

https://www.modelscope.cn/my/mynotebook/authorization

1、下载脚本文件

031c5b39005144708451a4c41d348a03.png

2、下载comfyUI

c8d17ee2dd8c4b96bee303babfeea569.png 

 3、下载好后复制链接到浏览器

b4d1c080c951444c89eb8b190da44d5b.png

出现这个界面 b9d545eb47724978ac2f64330183fdcd.png

 4、生成图片(需要导入文件Load),不带Lora和带Lora

eb0d036eba94409285758e164c2b6826.png

 7d99b17558e9497ea10b25e2cb0c9e2b.png

三、Lora微调 

1、全量微调:找出每个参数,然后微调

2、Lora微调:用更少的资源进行微调

  • 找出最有价值的信息

3、这是夏令营的老师整理的参数表

1238865fa97544c1aa1a7bc4069a6374.png

四、数据集 

生成图片需要合适的数据集,数据集的平台有:

魔搭社区、ImageNet、Open Images、Flickr、CelebA、LSUN等

 

 

 

标签:AI,ComfyUI,GUI,Stable,AIGC,Datawhale,生成,Studio,comfyUI
From: https://blog.csdn.net/2202_75857177/article/details/141283999

相关文章

  • SciTech-BigDataAIML-LLM-Transformer Series-Self-Attention:由Dot-Product(向量点乘)
    SelfAttention:由Dot-Product(向量点乘)说起https://lulaoshi.info/deep-learning/attention/transformer-attention.html#self-attention-从向量点乘说起Transformer[1]论文提出了一种Self-Attention(自注意力机制),Self-Attention的最核心的公式为:\(\large\begin{align*}......
  • 【网络流模板题 EK增广路】luogu P2740 [USACO4.2] 草地排水Drainage Ditches)
    [P2740USACO4.2]草地排水DrainageDitches)大意:网络流模板做法:EK增广路#include<cstdio>#include<queue>#include<deque>#include<stack>#include<map>#include<cmath>#include<algorithm>#include<iostream>#include......
  • NP2011-SW-23-DHCP Snooping_DAI_IP源保护
    dhcp欺骗dhcpsnooping原理:一启用后,可以将交换机的端口分为trusted接口和untrusted接口,默认在交换机上启用后,所有接口变为untrusted接口,需要手工设置trunsted接口。对于untrusted接口,只能收到dhcp请求消息,drop掉dhcp的相应消息,并且也不会向这个接口发送出dhcp的请求消息。对于......
  • 使用RAG-Chroma和LangChain构建强大的问答系统
    标题:使用RAG-Chroma和LangChain构建强大的问答系统内容:使用RAG-Chroma和LangChain构建强大的问答系统引言在人工智能和自然语言处理领域,检索增强生成(Retrieval-AugmentedGeneration,RAG)技术正在迅速崛起。本文将介绍如何使用RAG-Chroma模板和LangChain框架构建......
  • AI时代的程序员:如何在变革中保持竞争力
            随着AIGC(如ChatGPT、MidJourney、Claude等)大语言模型的接连涌现,AI辅助编程工具正以惊人的速度改变着程序员的工作方式。这些工具不仅可以加速代码编写和调试,还能帮助开发者解决复杂问题。AI的崛起引发了广泛的讨论:程序员是否会被AI取代?还是说,AI将成为程序员工......
  • sleep()和wait()区别
    importlombok.*;/*o.wait();释放锁...Thread.sleep(6000);6004...**/publicclassT{@SneakyThrowspublicstaticvoidmain(String[]args){Objecto=newObject();newThread(()->{synchronized(o)......
  • Datawhale X 魔搭 AI夏令营 AIGC方向 Task3
    ComfyUI简介ComfyUI是一个基于节点工作流稳定扩散算法的图形界面,它通过将稳定扩散的流程巧妙分解成各个节点,成功实现了工作流的精准定制和可靠复现。基本概念节点工作流:ComfyUI的核心是基于节点式的工作流程,这种设计允许用户将复杂的稳定扩散过程分解为多个可独立操作的节点,通......
  • Langchain pandas agent - Azure OpenAI account
    Langchainpandasagent结合AzureOpenAI账户使用时,主要涉及到通过AzureOpenAI提供的自然语言处理能力,来操作pandasDataFrame或进行相关的数据处理任务。以下是关于这一结合使用的详细解析:一、Langchainpandasagent概述在LangChain中,Agent是一个核心概念,它代表了......
  • 在亚马逊云科技上部署开源大模型并利用RAG和LangChain开发生成式AI应用
    项目简介:小李哥将继续每天介绍一个基于亚马逊云科技AWS云计算平台的全球前沿AI技术解决方案,帮助大家快速了解国际上最热门的云计算平台亚马逊云科技AWSAI最佳实践,并应用到自己的日常工作里。本次介绍的是如何在亚马逊云科技上利用SageMaker机器学习服务部署开源大模型,使用La......
  • AI舌苔诊病(文心快码Baidu Comate)进行代码解析与完成项目二创
    目录前言百度AppBuilder——接口处理文心快码BaiduComate——接口解析文心快码BaiduComate——页面生成与优化文心快码BaiduComate——二创基础数据积累-智能提问存储数据二创方向询问 二创实操文心快码BaiduComate——对微服务架构分析能力测试1、整体视角—......