首页 > 其他分享 >EvilBT/ComfyUI_SLK_joy_caption_two 提示词反推扩展 在秋叶 Comfy UI 的本地部署文档

EvilBT/ComfyUI_SLK_joy_caption_two 提示词反推扩展 在秋叶 Comfy UI 的本地部署文档

时间:2024-10-23 11:17:25浏览次数:8  
标签:EvilBT ComfyUI two caption aki v1.4 SLK joy

参考文档:

1.EvilBT/ComfyUI_SLK_joy_caption_two

https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two
https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two/issues/23

2.AI小王子Jay:【JoyCaption2】ComfyUI最新最强反推打标节点安装部署与玩法技巧详解

https://www.bilibili.com/video/BV1NNmKYDEeC

一、扩展安装

先把本地的基础硬件环境装好,例如显卡驱动、cuda、cudnn、环境变量等(参见我Face Fusion的部署文档),然后我们假设你秋叶Comfy UI的本地部署文件夹是(下同):

C:\_RUN\ComfyUI-aki-v1.4\

官方项目地址:

https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two

1.下载方法一(不推荐)

因网络管控原因,在秋叶包里直接安装大概率会失败,然后还要删掉重装。会魔法的小伙伴可以在

C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\

文件夹地址栏敲入cmd回车,开启cmd窗口,并运行官方项目安装命令:

git clone https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two.git

进行项目安装。

2.下载方法二(推荐)

不会魔法的小伙伴可以用浏览器直接下载项目文件,在本地手动部署,项目文件下载直达链接:
https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two/archive/refs/heads/main.zip

将下载完的ComfyUI_SLK_joy_caption_two-main.zip压缩包解压到

C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\

并把文件夹:

C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\ComfyUI_SLK_joy_caption_two-main

改名为:

C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\ComfyUI_SLK_joy_caption_two


二、项目基础环境安装

由于秋叶Comfy UI使用离线虚拟环境部署,必须把项目支持安装到虚拟环境中,扩展才能正常运行。

C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\ComfyUI_SLK_joy_caption_two\requirements.txt

文件复制到

C:\_RUN\ComfyUI-aki-v1.4\python\

文件夹,并在此文件夹地址栏敲入cmd回车,开启cmd窗口,运行安装命令:

pip install -U -r requirements.txt

等候项目支持安装完成。

在cmd窗口中,大概率你会收到以下红字的错误提示:

ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
gradio 4.44.0 requires pillow<11.0,>=8.0, but you have pillow 11.0.0 which is incompatible.

原因是自动安装的pillow的版本过高,与gradio出现了不兼容,所以我们还需要多运行一行命令,把pillow的版本降下来:

pip install pillow==10.4.0

控制台提示缺其他组件时,也参照此方法在这里安装。


三、项目模型下载安装

1.CLIP模型

项目地址:
https://hf-mirror.com/google/siglip-so400m-patch14-384/tree/main

自动下载较慢,建议手动下载所有文件,全部复制到:

C:\_RUN\ComfyUI-aki-v1.4\models\clip\siglip-so400m-patch14-384\

2.LLM模型

(1)unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit

项目地址(大多数人用这一个就够了):
https://hf-mirror.com/unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit/tree/main

手动下载所有文件,全部复制到:

C:\_RUN\ComfyUI-aki-v1.4\models\llm\Meta-Llama-3.1-8B-Instruct-bnb-4bit\

(2)John6666/Llama-3.1-8B-Lexi-Uncensored-V2-nf4

项目地址(未审查模型,按需下载,需要魔法):
https://huggingface.co/John6666/Llama-3.1-8B-Lexi-Uncensored-V2-nf4/tree/main

手动下载所有文件,全部复制到:

C:\_RUN\ComfyUI-aki-v1.4\models\llm\Llama-3.1-8B-Lexi-Uncensored-V2-nf4\

3. Joy-Caption-alpha-two 模型

项目地址(必须手动下载,需要魔法):
https://huggingface.co/spaces/fancyfeast/joy-caption-alpha-two/tree/main/cgrkzexw-599808

把所有文件和文件夹下载复制到:

C:\_RUN\ComfyUI-aki-v1.4\models\Joy_caption_two\


三、部分模型资源网盘链接(非本人提供,也不对内容负责)

https://pan.quark.cn/s/e152fdf05641
https://pan.baidu.com/s/1rPkv37Uqs9ZTqYvKHdJMDw?pwd=t17b

四、常见故障处理

1.部分语言模型报错

节点中会看到4个语言模型,其中Meta-Llama-3.1-8B-Instruct-bnb-4bit可以正常工作,其余三个如果未自行下载对应的LLM模型都会报错(网盘里的文件是坏的)。

2.提示没有accelerate

Using `low_cpu mem usage=True` or a `device map` requires Accelerate: `pip install 'accelerate>=0.26.0'

C:\_RUN\ComfyUI-aki-v1.4\python\

文件夹地址栏敲入cmd回车,开启cmd窗口,运行安装命令:

python.exe -m pip install accelerate==0.26.0

然后重启秋叶Comfy UI服务。
 

标签:EvilBT,ComfyUI,two,caption,aki,v1.4,SLK,joy
From: https://blog.csdn.net/vasudan/article/details/143178493

相关文章

  • Comfyui如何快速选出图像的高光和阴影 _ layerstyle节点
    ✨背景comfyui中,除了AI图像生成本身以外,还会有很多图像处理的工作要做,比如说调整色阶、饱和度,或者还原商品细节。在最近探索的一个场景中,需要将图像中的高光部分提取出来做光源模拟,发现layerstyle这个节点组中包含了这个功能,所以简单分享一下。✨layerMask:ShadowHighlight......
  • ComfyUI 基础教程(六) —— 图像的局部重绘
    前言如果你看过别人的工作流,很有可能会发现每个人用的都不一样,如果不搞清楚其中的根本思想,总会有种不踏实的感觉,好像会用了,又好像不会。本文就来介绍一下ComfyUI中的局部重绘的三种基础方法。局部重绘的三种思想首先介绍一下局部重绘的三种方法:分别是VAE内补编码器、设置......
  • AI绘画:2024最全面的ComfyUI插件与Lora的下载及使用!
    前言本节我们介绍ComfyUI插件和Lora的下载及使用方式。1.安装1.1Checkpoint安装将从前面介绍的模型下载平台下载后,放在ComfyUI/models/checkpoints文件夹下。1.2Lora安装在前面介绍的模型下载网站下载Lora模型,然后放在ComfyUI/models/loras文件夹下。所有的AI设......
  • ComfyUI 节点、插件的基本指南(附整合包)
    ComfyUI是一个多功能的StableDiffusion图像/视频生成工具,能够让开发者设计并实现自定义节点,扩展功能。如果你有特定的任务想实现并需要创建一个自定义节点,本指南会带你一步步完成ComfyUI自定义节点的创建过程。开始前的准备在开始创建自定义节点之前,确保你有必要的工......
  • 【closerAI ComfyUI】电商模特一键换装解决方案来了!细节到位无瑕疵!再加上flux模型加持
    不得了了兄弟们。这应该是电商界的福音,电商模特一键换装解决方案来了!细节到位无瑕疵!再加上flux模型加持,这个工作流不服不行!这期我们主要讨论如何使用stablediffusioncomfyUI制作完美无瑕疵的换装工作流。**这一次我们用到的节点是catVTON节点。CatVTON介绍[CatVTON是......
  • ComfyUI-Flux-PuLID-定制写真生成工作流整合包,含提示词反推,相关软件包及工作流均已打
    本期本期带来基于PuLID-for-FLUX的ComfyUI定制写真工作流,通过一张面部参考图像生成真实感十足的高保真写真图像,基于Flux底层模型,更为写实。**其中包含“输入提示词生成图像”和“参考图像反推提示词生成图像”两套工作流,**工作流操作较简单,相关ComfyUI软件包、模型、节点、......
  • 如何用ComfyUI生成专业电商产品背景图?(附工作流)
    如何用ComfyUI生成专业电商产品背景图——简单易用的工作流指南随着电商行业的飞速发展,产品展示的质量直接影响到消费者的购买决策。而通过AI生成的背景图,不仅提升了图片的质感,还能节省大量后期处理时间。今天我们要介绍的是利用ComfyUI生成电商产品背景图的完整工作流,只......
  • Krita配置comfyui,ai绘图 记录
     comfyui使用b站up、赛博佛祖秋葉aaaki的整合包。此地址下载ai插件https://github.com/Acly/krita-ai-diffusionkrita中安装下载好的插件,从文件导入python插件打开ai绘图面板:缺失节点使用复制链接地址然后,在复制的地址后加上.git后使用comfyUImanager通过gitURL安装......
  • 本地部署ComfyUI并添加强大的Flux.1开源文生图模型远程制作AI图片
    文章目录前言1.本地部署ComfyUI2.下载Flux.1模型3.下载CLIP模型4.下载VAE模型5.演示文生图6.公网使用Flux.1大模型6.1创建远程连接公网地址7.固定远程访问公网地址前言本文将详细介绍如何在本地部署ComfyUI并搭建Flux.1文生图神器,......
  • 24最新ComfyUI插件与Lora的下载及使用指南!
    前言本节我们介绍ComfyUI插件和Lora的下载及使用方式。1.安装1.1Checkpoint安装将从前面介绍的模型下载平台下载后,放在ComfyUI/models/checkpoints文件夹下。所有的AI设计工具,安装包、模型和插件,都已经整理好了,......