首页 > 其他分享 >如何使用Flux+lora进行AI模型文字生成图片

如何使用Flux+lora进行AI模型文字生成图片

时间:2024-09-26 15:20:47浏览次数:11  
标签:安装 AI ComfyUI 模型 Flux conda comfyui lora 下载

目录

概要

前期准备

部署安装与运行

1. 部署ComfyUI  本篇的模型部署是在ComfyUI的基础上进行,如果没有部署过ComfyUI,请按照下面流程先进行部署,如已安装请跳过该步:

(1)使用命令克隆 ComfyUI

(2)安装 conda(如已安装则跳过)

(3)创建虚拟环境

 (4) 安装pytorch

 (5) 安装需要的依赖

2.部署Flux.1

(1)下载Flux.1模型

(2)下载Clip模型

(3)下载工作流

 3. 部署lora

   (1) 下载flux1-dev-fp8模型

(2) 下载lora模型

(3) 导入工作流


概要

  最近AI生成图片也是越来越火爆了, 我也是尝试着搭建了一下目前主流的comfyui来进行图片生成,下面是一些基本搭建的流程以及最后的效果展示。

前期准备

  1. 一台带有gpu(越nb越好)显卡的服务器.显存最低要求8G以上,cuda要求11.8以上
  2. 准备好Miniconda安装包并安装好conda虚拟环境,安装包为Miniconda3-latest-Linux-x86_64.sh
  3. 使用git clone下载comfyui
  4. 准备好需要的模型,flux1-dev_3.safetensors, clip_l.safetensors,t5xxl_fp16.safetensors,t5xxl_fp8_e4m3fn.safetensors,ae.safetensors,LR_Pho_Realistic-FLUX__v1.0.safetensors,  一般model_scope上都有下载

部署安装与运行

1. 部署ComfyUI
  本篇的模型部署是在ComfyUI的基础上进行,如果没有部署过ComfyUI,请按照下面流程先进行部署,如已安装请跳过该步:
(1)使用命令克隆 ComfyUI
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI

(2)安装 conda(如已安装则跳过)


下面需要使用 Anaconda Mimiconda 创建虚拟环境,可以输入 conda --version 进行检查。下面是 Mimiconda 的安装过程:

下载 Miniconda 安装脚本

wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh


运行安装脚本

bash Miniconda3-latest-Linux-x86_64.sh


遵循安装提示并初始化
按 Enter 键查看许可证条款,阅读完毕后输入 yes 接受条款,安装完成后,脚本会询问是否初始化 conda 环境,输入 yes 并按 Enter 键。

运行 source ~/.bashrc 命令激活 conda 环境
再次输入 conda --version 命令来验证是否安装成功,如果出现类似 conda 4.10.3这样的输出就成功了。


(3)创建虚拟环境


输入下面的命令:

conda create -n comfyui
conda activate comfyui
 (4) 安装pytorch

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu121
 (5) 安装需要的依赖

  

pip install -r requirements.txt

此时所需环境就已经搭建完成,通过下面命令进行启动:

python3 main.py --listen 0.0.0.0 --port 8189

 访问机器地址+端口能出现如下图就是正常启动了

2.部署Flux.1
(1)下载Flux.1模型

官方提供了Flux.1系列模型,共有三个:Flux.1[pro]是闭源的,可以从官方 API 申请访问权限,同时支持企业定制。Flux.1[dev]开源,不可商用,直接从 FLUX.1 [pro] 蒸馏而来,具备相似的图像质量和提示词遵循能力,但是更高效。Flux.1[schnell]:开源模型,可商用,专门为本地开发和个人使用量身定制,生成速度最快,内存占用也最小。

进入hugging face网站,点击搜索“flux.1”然后选择dev模型

 然后点击文件模型就可以看到下图的相关文件

将该模型下载到 /ComfyUI/models/unet/文件夹下,如果这个模型对于你太大就搜索“flux-fp8”下载11.9G的模型。将ae.safetensors下载到 /ComfyUI/models/vae/文件夹下。

(2)下载Clip模型

在hugging face搜索栏搜索”flux_text_encoders“,点击进去

下载clip_l和t5xxl模型,其中t5xxl模型有两个,根据自己的显卡情况二选一下载(如果你有超过 16GB 的 ram,建议使用 fp32),放置在 ComfyUI/models/clip/文件夹下

(3)下载工作流

进入网站:Flux Examples | ComfyUI_examples (comfyanonymous.github.io)并将下图下载,然后拖入Comfy UI中

到这里基础的comfyui+flux就搭建完成了, 可以开始进行基础的文生图操作了, 如果对comfyui里的这些构件, 节点如何使用、配置不熟悉的小伙伴后续我再整理关于如何使用comfyui

 3. 部署lora
   (1) 下载flux1-dev-fp8模型

    进去到魔搭社区https://civitai.com/models/622579/flux1-dev-fp8, 找到flux1-dev-fp8模型,下载对应的模型文件

(2) 下载lora模型

   进入到F.1 Realistic Portrait LoRA-LoRA-tensorxy-LiblibAI 下载微调后的模型

(3) 导入工作流

   https://civitai.com/models/622579/flux1-dev-fp8, 导出这个工作流, 并导入到我们自己的comfyui中就可以开始生成媲美专业摄影师级别的图片了

标签:安装,AI,ComfyUI,模型,Flux,conda,comfyui,lora,下载
From: https://blog.csdn.net/u014497669/article/details/142550285

相关文章

  • 轻松创作原创文章,AI智能写作工具为你一键生成!
    在这个信息泛滥的时代,原创内容成为了稀缺资源。对于创作者而言,如何在快节奏的生活中保持高质量的输出,成为了一个巨大的挑战。AI智能写作工具的崛起,为我们提供了一种全新的解决方案。以下是一篇探讨AI智能写作工具深度价值的文章。一、AI智能写作工具:解放创作者的生产力......
  • 为什么说AI颠覆了用户场景?
    你好,我是三桥君去年AIGC技术刚开始爆发时,许多行业专家和意见领袖对此做出了预测和评论。“上个月我和大家讲,中国企服的春天可能还需要等5-10年。因为过去几年,投资人对企业服务的增长率特别失望。最近ChatGPT-4出来以后,我很抱歉地和大家说,企服的寒冬可能漫漫无期。”朱啸虎......
  • 揭秘Dreamforce 2024十大亮点:AI+数据新时代来了!
    一年一度的Dreamforce大会于2024年9月17日至19日如期举行,这场Salesforce的旗舰盛会聚焦于AI与数据的深度融合,带来了诸多革命性发布。无论你是企业用户、Salesforce从业者,还是对AI和数据感兴趣的技术爱好者,以下这十大亮点绝对值得关注。Agentforce:开启企业智能代理人新时代今年......
  • SpainOI XXIV
    GYM105325B题目描述有\(N\)个站,站之间有\(M\)条单向道路。一条路径的代价为:令你经过的边权为\(w_1,w_2,\dots,w_k\),则你的代价为\(w_1\cdotk+w_2\cdot(k-1)+\dots+w_k\)。求你从\(0\)到其他点的最少代价。思路令\(dp_{i,u}\)表示还要走\(i\)条边,当前在\(u......
  • 灵创创:AI 多模型,超120个模型,兼容 OpenAI SDK
    灵创创:最近发现了一个非常出色的AI大模型平台——AGICTO。这个平台不仅支持超过120种不同的大模型,还能实现一键切换,特别方便。不管你是使用OpenAI的SDK,还是想调试自己的ai模型,AGICTO都能轻松满足你的需求。更棒的是,他们还提供详细的开发文档,让你上手毫不费力。AGICTO的目标是成......
  • 程序员转行的首选竟然是AI大模型工程师?为啥啊
    AI大模型工程师:科技前沿的探索者选择一个有良好发展前景的行业至关重要。AI和大数据领域目前正处于快速发展阶段,预计未来几年对相关人才的需求将持续增长。现如今大模型岗位需求越来越大,但是相关岗位人才难求,薪资持续走高,AI运营薪资平均值约18457元,AI工程师薪资平均值约37......
  • InfluxDB 与 TDengine 的使用场景差异分析
    InfluxDB和TDengine都是时序数据库,但它们在使用场景上有所不同。以下是它们的具体差异:1.数据结构与写入性能InfluxDB:适合高写入速率的应用,通常用于监控和分析数据。数据结构简单,支持压缩和存储优化,适合短期数据存储。TDengine:设计为处理海量数据的高性能场景,支持复杂数据结构。......
  • 资金进阶司库|司库创新场景之AI加持下的司库新应用
    连载导语司库体系建设是企业实现财务数字化转型和资金管理现代化的重要手段,是企业实现战略转型和高质量发展的关键支撑,也是企业应对复杂多变的全球经济环境和风险挑战的重要保障。司库承担着组织中的领导和战略引导作用,越来越多的企业以司库建设为抓手,加快推进自身财务数智......
  • 煤矿AI智能视频分析识别系统
    煤矿AI智能视频分析识别系统是在现场已有监控系统的基础上,煤矿AI智能视频分析识别系统通过计算机视觉技术对现场人员行为以及物体状态进行实时分析检测。煤矿AI智能视频分析识别系统对皮带跑偏、撕裂、堆煤、异物、非法运人、有煤无煤状态等异常情况,以及人员工服穿戴、反光衣、安......
  • 对 AI 产品定价模式的新思考:基于人数 or 工作量?
    编者按:传统的基于用户数量的定价模式是否还适用于AI产品?我们今天为大家带来的这篇文章中,作者提出:AI产品应该采用基于工作量的定价模式,而非传统的基于用户数量的定价方式。传统的基于用户数量的定价模式在AI产品中往往会导致资源浪费和成本分配不均。一些员工可能每天都在大量使......