首页 > 其他分享 >AI绘画:使用Stable Diffusion ComfyUI进行换脸:IPAdapter FaceID全面教程

AI绘画:使用Stable Diffusion ComfyUI进行换脸:IPAdapter FaceID全面教程

时间:2024-04-03 20:04:59浏览次数:32  
标签:Diffusion 插件 AI ComfyUI 模型 IPAdapter FaceID 换脸

        在数字艺术和媒体编辑领域,换脸技术已经成为一种流行且强大的工具。它允许创作者将一个人物的面部特征无缝地转移到另一个人物上,创造出令人信服的视觉作品。Stable Diffusion ComfyUI提供了一个高效的平台,让用户能够轻松地实现换脸。本文将详细介绍如何使用ComfyUI中的IPAdapter FaceID插件进行换脸,从安装到实际操作,一步步引导你完成整个过程。

换脸技术简介

       换脸技术通过深度学习算法,识别并提取面部特征,然后将这些特征应用到目标图像上。在AI绘画中,保持角色一致性的方法之一就是通过换脸来实现。市面上有许多换脸插件,如Reactor、FaceFusion、Roop等,而IPAdapter推出的FaceID模型因其高效性和准确性而广受欢迎。

安装IPAdapter FaceID插件

在使用IPAdapter FaceID之前,我们需要确保ComfyUI是最新版本,以便兼容最新的插件。

更新ComfyUI

  1. 打开ComfyUI管理器。
  2. 点击“更新全部”以更新ComfyUI到最新版本。
  3. 如果你位于大陆境内,可能需要切换不同的网络环境(如不同的VPN节点)来成功更新。

安装IPAdapter FaceID Plus节点

有两种方法可以安装IPAdapter FaceID Plus节点:

方法一:通过管理器安装
  1. 打开ComfyUI管理器。
  2. 点击“安装节点”。
  3. 搜索“ComfyUI_IPAdapter_plus”并点击安装。

方法二:手动安装
  1. 访问IPAdapter FaceID Plus的GitHub主页:GitHub - cubiq/ComfyUI_IPAdapter_plus
  2. 下载ZIP压缩包。
  3. 将下载的ZIP压缩包解压到ComfyUI目录下的custom_nodes目录中。
  4. 如果需要,可以删除文件夹名后的“-main”。

准备工作

在开始换脸之前,确保你已经安装了所有必要的模型和依赖项。

安装模型

  1. 下载IPAdapter模型和CLIP_VISION模型。
  2. 将模型文件存放在ComfyUI的models目录下。

模型文件的huggingface下载地址:https://huggingface.co/h94/IP-Adapter-FaceID/tree/main

ipadapter总共有4个版本的模型,每个模型都包含1个主模型和1个lora模型,建议将这4个版本的模型都下载下来,分别放入相对应的文件夹中:

主模型文件夹:“\ComfyUI_windows_portable\ComfyUI\models\ipadapter”

lora模型文件夹:“\ComfyUI_windows_portable\ComfyUI\models\loras\ipadapter”

点击“管理器”,选择“安装模型”,搜索关键词“clip”,将4个“clip_vision”模型都安装好,其中2个是1.5版的模型,2个是SDXL版的模型,虽然截至到本文发布的时候ipadapter尚未推出faceID的SDXL版模型,但是相信不就之后就会推出SDXL版!

 

安装InsightFace

  1. 检查Python版本是否兼容。
  2. 下载相应的.whl文件。
  3. 安装InsightFace库。

insightface是一个Python库,不管是运行reactor插件还是其他的换脸插件,都会用到这个Python库,由于ComfyUI是一个独立的虚拟环境,所以安装insightface库的方法有点特别

首先我们要查看下我们的comfyUI的虚拟环境中的Python版本

第一步:找到根目录下的“python_embeded”文件夹,进入到该文件夹中;

第二步:在该文件夹的路径栏输入“cmd”;

第三步:在弹出的cmd命令窗口中输入“python.exe -V”命令,此时我们就可以查看到我们ComfyUI中的Python版本,我的是“Python 3.11.6”版;

我们在上面一步已经查看了我们自己的Python版本,接下来根据自己的Python版本下载相对应的whl文件:

3.10版:insightface-0.7.3-cp310-cp310-win_amd64.whl

3.11版:insightface-0.7.3-cp311-cp311-win_amd64.whl

将下载下来的whl文件放在“\ComfyUI_windows_portable\python_embeded”文件下面

python -m pip install -U pip
python.exe -m pip install insightface-0.7.3-cp311-cp311-win_amd64.whl

 

创建换脸工作流

现在,终于。当我们顺利完成了上面的所有安装之后,我们已经准备好开始创建换脸工作流。使用“ComfyUI_IPAdapter_plus”节点来进行换脸!比起reactor等换脸插件,“ComfyUI_IPAdapter_plus”的换脸行为发生在图片生成之前,所以最后的效果会更加自然!下面是一个换脸操作的案例:

基础设置

  1. 打开ComfyUI并创建一个新的工作流。
  2. 添加必要的节点,包括“FaceID工作流”节点。

工作流注意事项

  • 确保所有节点正确连接。
  • 根据需要调整节点参数。
  • 检查模型版本是否与插件兼容。

开始换脸

  1. 导入源图像和目标图像。
  2. 调整FaceID工作流中的参数,如换脸强度、面部特征匹配等。
  3. 运行工作流并查看换脸效果。

工作流注意事项说明:

  1. ipadapter模型和lora模型一定要匹配;
  2. 可以根据自己的需要调整lora的权重,数字越大上传的参考图片对生成的图片影响越大,包括画质和构图,适当降低该权重,可以让AI发挥的空间越大,画面越自然,但是换脸效果可能会降低;
  3. ipadapter模型中的plus版和plusV2版本在换脸效果上并不比基础版要好,但是在画质上会相对较好;
  4. 工作流的最后面的组是高清放大和面部修复,该组我已经默认设置为“停用”模式,如果你有需要可以右键“启用该组节点”;
  5. 高清放大节点中的“降噪”参数设置得越小,高清放大之后的图片人物面部就越接近原图,过大的“降噪”参数会让高清放大之后的人物改变人脸的样式,该参数建议设置在0.05以下!

 

结语

通过上述步骤,你现在应该能够使用Stable Diffusion ComfyUI和IPAdapter FaceID插件轻松地进行换脸操作。记住,实践是掌握任何技术的最佳方式,所以不断尝试和调整参数,直到你达到满意的效果。如果你在过程中遇到任何问题,可在相关社区寻求帮助。


请注意,本文中提到的链接和资源可能需要在实际环境中进行验证和调整。此外,换脸技术涉及隐私和伦理问题,使用时应确保遵守相关法律法规,并尊重个人隐私权。

标签:Diffusion,插件,AI,ComfyUI,模型,IPAdapter,FaceID,换脸
From: https://blog.csdn.net/phsruanjian/article/details/137325509

相关文章

  • AI绘画:让STABLE DIFFUISON ComfyUI 在 Blender 里面飞(把AI绘画整合到blender的方法)
    前言   了解过Blender的朋友一定都知道B站UP主“只剩一瓶辣椒酱”,他在blender界就是和秋叶大佬一样的存在,属于祖师级别的人物。最近,他和幻之境开发小组联合开发的一款基于STABLEDIFFUISONComfyUI核心的BlenderAI插件,将他们整合到了一起,名字叫做——无限圣杯(资源......
  • [论文阅读] Domain generalization by learning and removing domain-specific featur
    1Introduction最近的研究发现,DNNs倾向于以与人类不同的方式学习决策规则[17,21,16]。例如,在基于ImageNet的图像分类任务中,卷积神经网络(CNNs)倾向于学习局部纹理以区分对象,而我们人类则可能使用全局对象形状的知识作为线索。DNNs学到的特征可能只属于特定的领域,对其他领域不具......
  • 苹果开发新款 AI 能「看懂」屏幕上内容;阿里未来 20% 代码将由 AI 编写丨 RTE 开发者日
       开发者朋友们大家好: 这里是「RTE开发者日报」,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享RTE(RealTimeEngagement)领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」,但内容仅代表编辑的个人......
  • Vue3+vite打包Failed to load module script
    完整報錯信息:Failedtoloadmodulescript:ExpectedaJavaScriptmodulescriptbuttheserverrespondedwithaMIMEtypeof"text/html".StrictMIMEtypecheckingisenforcedformodulescriptsperHTMLspec.目前vite.config.js打包寫法://拆分js到......
  • 智慧展览馆:基于AI智能识别技术的视频智慧监管解决方案
    一、建设背景随着科技的不断进步和社会安全需求的日益增长,展览馆作为展示文化、艺术和科技成果的重要场所,其安全监控系统的智能化升级已成为当务之急。为此,旭帆科技(TSINGSEE青犀)基于视频智能分析技术推出了展览馆视频AI智能监控方案,旨在通过先进的技术手段,为展览馆打造一道坚不可......
  • 又一AI工具开源!企业应该如何搭上这趟AI快车
    大模型技术在近两年来飞速发展,企业对大模型的认知更加理性、务实。大模型本身不会直接产生价值,但在大模型基础架构之上开发出的AI应用,带来技术创新及业务增长,成为企业真正关心的问题。 基于大模型开发的又一个AI工具诞生!最近,普林斯顿基于GPT4基础上,开发出开源版本的AI代码......
  • 【AI】『Suno』哎呦不错呦,AI界的周董,快来创作你的歌曲吧!
    前言......
  • 国内首款AI音乐生成大模型「天工SkyMusic」并开启免费邀测;SWE-agent 修复GitHub仓库中
    ✨1:天工SkyMusic昆仑万维推出国内首款AI音乐生成大模型「天工SkyMusic」并开启免费邀测天工SkyMusic是由昆仑万维集团开发的一款AI音乐生成工具,它基于先进的「天工3.0」超级大模型构建,代表了目前国内唯一公开可用的AI音乐生成大模型。这款工具专为那些想要借助人工......
  • RAID0、RAID1、RAID5、RAID10区别
    一、RAID是什么?RAID(RedundantArrayofIndependentDisks)即独立磁盘冗余阵列,简称为「磁盘阵列」,其实就是用多个独立的磁盘组成在一起形成一个大的磁盘系统,从而实现比单块磁盘更好的存储性能和更高的可靠性。二、RAID有哪些?RAID方案常见的可以分为:Raid0:至少需要两......
  • 【AI Many-Shot-Jailbreaking】上下文窗口越大越危险
    在人工智能的发展过程中,安全性问题逐渐引起了人们的关注。Anthropic公司发了一篇关于“许多次破解监狱”的技术研究。这种技术可以用来规避大型语言模型(LLM)开发者设定的安全防护措施。我们将深入探讨这种技术的工作原理、可能产生的影响,以及如何采取有效的缓解措施。希望通......