参考文档:
1.EvilBT/ComfyUI_SLK_joy_caption_two
https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two
https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two/issues/23
2.AI小王子Jay:【JoyCaption2】ComfyUI最新最强反推打标节点安装部署与玩法技巧详解
https://www.bilibili.com/video/BV1NNmKYDEeC
一、扩展安装
先把本地的基础硬件环境装好,例如显卡驱动、cuda、cudnn、环境变量等(参见我Face Fusion的部署文档),然后我们假设你秋叶Comfy UI的本地部署文件夹是(下同):
C:\_RUN\ComfyUI-aki-v1.4\
官方项目地址:
https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two
1.下载方法一(不推荐)
因网络管控原因,在秋叶包里直接安装大概率会失败,然后还要删掉重装。会魔法的小伙伴可以在
C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\
文件夹地址栏敲入cmd回车,开启cmd窗口,并运行官方项目安装命令:
git clone https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two.git
进行项目安装。
2.下载方法二(推荐)
不会魔法的小伙伴可以用浏览器直接下载项目文件,在本地手动部署,项目文件下载直达链接:
https://github.com/EvilBT/ComfyUI_SLK_joy_caption_two/archive/refs/heads/main.zip
将下载完的ComfyUI_SLK_joy_caption_two-main.zip压缩包解压到
C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\
并把文件夹:
C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\ComfyUI_SLK_joy_caption_two-main
改名为:
C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\ComfyUI_SLK_joy_caption_two
二、项目基础环境安装
由于秋叶Comfy UI使用离线虚拟环境部署,必须把项目支持安装到虚拟环境中,扩展才能正常运行。
将
C:\_RUN\ComfyUI-aki-v1.4\custom_nodes\ComfyUI_SLK_joy_caption_two\requirements.txt
文件复制到
C:\_RUN\ComfyUI-aki-v1.4\python\
文件夹,并在此文件夹地址栏敲入cmd回车,开启cmd窗口,运行安装命令:
pip install -U -r requirements.txt
等候项目支持安装完成。
在cmd窗口中,大概率你会收到以下红字的错误提示:
ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
gradio 4.44.0 requires pillow<11.0,>=8.0, but you have pillow 11.0.0 which is incompatible.
原因是自动安装的pillow的版本过高,与gradio出现了不兼容,所以我们还需要多运行一行命令,把pillow的版本降下来:
pip install pillow==10.4.0
控制台提示缺其他组件时,也参照此方法在这里安装。
三、项目模型下载安装
1.CLIP模型
项目地址:
https://hf-mirror.com/google/siglip-so400m-patch14-384/tree/main
自动下载较慢,建议手动下载所有文件,全部复制到:
C:\_RUN\ComfyUI-aki-v1.4\models\clip\siglip-so400m-patch14-384\
2.LLM模型
(1)unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit
项目地址(大多数人用这一个就够了):
https://hf-mirror.com/unsloth/Meta-Llama-3.1-8B-Instruct-bnb-4bit/tree/main
手动下载所有文件,全部复制到:
C:\_RUN\ComfyUI-aki-v1.4\models\llm\Meta-Llama-3.1-8B-Instruct-bnb-4bit\
(2)John6666/Llama-3.1-8B-Lexi-Uncensored-V2-nf4
项目地址(未审查模型,按需下载,需要魔法):
https://huggingface.co/John6666/Llama-3.1-8B-Lexi-Uncensored-V2-nf4/tree/main
手动下载所有文件,全部复制到:
C:\_RUN\ComfyUI-aki-v1.4\models\llm\Llama-3.1-8B-Lexi-Uncensored-V2-nf4\
3. Joy-Caption-alpha-two 模型
项目地址(必须手动下载,需要魔法):
https://huggingface.co/spaces/fancyfeast/joy-caption-alpha-two/tree/main/cgrkzexw-599808
把所有文件和文件夹下载复制到:
C:\_RUN\ComfyUI-aki-v1.4\models\Joy_caption_two\
三、部分模型资源网盘链接(非本人提供,也不对内容负责)
https://pan.quark.cn/s/e152fdf05641
https://pan.baidu.com/s/1rPkv37Uqs9ZTqYvKHdJMDw?pwd=t17b
四、常见故障处理
1.部分语言模型报错
节点中会看到4个语言模型,其中Meta-Llama-3.1-8B-Instruct-bnb-4bit可以正常工作,其余三个如果未自行下载对应的LLM模型都会报错(网盘里的文件是坏的)。
2.提示没有accelerate
Using `low_cpu mem usage=True` or a `device map` requires Accelerate: `pip install 'accelerate>=0.26.0'
在
C:\_RUN\ComfyUI-aki-v1.4\python\
文件夹地址栏敲入cmd回车,开启cmd窗口,运行安装命令:
python.exe -m pip install accelerate==0.26.0
然后重启秋叶Comfy UI服务。