目录
1. 部署ComfyUI 本篇的模型部署是在ComfyUI的基础上进行,如果没有部署过ComfyUI,请按照下面流程先进行部署,如已安装请跳过该步:
概要
最近AI生成图片也是越来越火爆了, 我也是尝试着搭建了一下目前主流的comfyui来进行图片生成,下面是一些基本搭建的流程以及最后的效果展示。
前期准备
- 一台带有gpu(越nb越好)显卡的服务器.显存最低要求8G以上,cuda要求11.8以上
- 准备好Miniconda安装包并安装好conda虚拟环境,安装包为Miniconda3-latest-Linux-x86_64.sh
- 使用git clone下载comfyui
- 准备好需要的模型,flux1-dev_3.safetensors, clip_l.safetensors,t5xxl_fp16.safetensors,t5xxl_fp8_e4m3fn.safetensors,ae.safetensors,LR_Pho_Realistic-FLUX__v1.0.safetensors, 一般model_scope上都有下载
部署安装与运行
1. 部署ComfyUI
本篇的模型部署是在ComfyUI的基础上进行,如果没有部署过ComfyUI,请按照下面流程先进行部署,如已安装请跳过该步:
(1)使用命令克隆 ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
(2)安装 conda(如已安装则跳过)
下面需要使用 Anaconda 或 Mimiconda 创建虚拟环境,可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程:
下载 Miniconda 安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
运行安装脚本
bash Miniconda3-latest-Linux-x86_64.sh
遵循安装提示并初始化
按 Enter 键查看许可证条款,阅读完毕后输入 yes 接受条款,安装完成后,脚本会询问是否初始化 conda 环境,输入 yes 并按 Enter 键。
运行 source ~/.bashrc 命令激活 conda 环境
再次输入 conda --version 命令来验证是否安装成功,如果出现类似 conda 4.10.3这样的输出就成功了。
(3)创建虚拟环境
输入下面的命令:
conda create -n comfyui
conda activate comfyui
(4) 安装pytorch
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
(5) 安装需要的依赖
pip install -r requirements.txt
此时所需环境就已经搭建完成,通过下面命令进行启动:
python3 main.py --listen 0.0.0.0 --port 8189
访问机器地址+端口能出现如下图就是正常启动了
2.部署Flux.1
(1)下载Flux.1模型
官方提供了Flux.1系列模型,共有三个:Flux.1[pro]是闭源的,可以从官方 API 申请访问权限,同时支持企业定制。Flux.1[dev]开源,不可商用,直接从 FLUX.1 [pro] 蒸馏而来,具备相似的图像质量和提示词遵循能力,但是更高效。Flux.1[schnell]:开源模型,可商用,专门为本地开发和个人使用量身定制,生成速度最快,内存占用也最小。
进入hugging face网站,点击搜索“flux.1”然后选择dev模型
然后点击文件模型就可以看到下图的相关文件
将该模型下载到 /ComfyUI/models/unet/
文件夹下,如果这个模型对于你太大就搜索“flux-fp8”下载11.9G的模型。将ae.safetensors下载到 /ComfyUI/models/vae/
文件夹下。
(2)下载Clip模型
在hugging face搜索栏搜索”flux_text_encoders“,点击进去
下载clip_l和t5xxl模型,其中t5xxl模型有两个,根据自己的显卡情况二选一下载(如果你有超过 16GB 的 ram,建议使用 fp32),放置在 ComfyUI/models/clip/
文件夹下
(3)下载工作流
进入网站:Flux Examples | ComfyUI_examples (comfyanonymous.github.io)并将下图下载,然后拖入Comfy UI中
到这里基础的comfyui+flux就搭建完成了, 可以开始进行基础的文生图操作了, 如果对comfyui里的这些构件, 节点如何使用、配置不熟悉的小伙伴后续我再整理关于如何使用comfyui
3. 部署lora
(1) 下载flux1-dev-fp8模型
进去到魔搭社区https://civitai.com/models/622579/flux1-dev-fp8, 找到flux1-dev-fp8模型,下载对应的模型文件
(2) 下载lora模型
进入到F.1 Realistic Portrait LoRA-LoRA-tensorxy-LiblibAI 下载微调后的模型
(3) 导入工作流
https://civitai.com/models/622579/flux1-dev-fp8, 导出这个工作流, 并导入到我们自己的comfyui中就可以开始生成媲美专业摄影师级别的图片了