首页 > 其他分享 >‌ComfyUI 高级实战:实现华为手机的AI消除功能

‌ComfyUI 高级实战:实现华为手机的AI消除功能

时间:2024-10-10 13:48:19浏览次数:11  
标签:遮罩 AI ComfyUI 模型 inpaint 华为 重绘

大家好,我是每天分享AI应用的萤火君!

不知道大家是否还记得华为 Pura 70的「AI消除」事件,当时使用 华为Pura 70 系列手机的智能消除功能时,该功能可以被用来消除照片中女性胸口处的衣物,这一功能曾引发广泛的关注和伦理担忧‌,后来华为迅速修复了这一问题。

这篇文章就来介绍如何通过 ComfyUI 来实现类似的涂抹消除功能,当然我们也会避免出现之前的争议问题。在之前的文章中,我曾经介绍过普通的局部重绘方式(见:告别人山人海,AI绘画让你的照片更美!),但是经常出现画面融合不太好的问题,需要不断抽卡,本文使用的方法相较之前的普通处理方式会有很大的改善。

效果展示

话不多说,先看几张效果图。

第一张是原图,后边两张是涂抹掉胸口前小熊的图。

使用这个能力,我们还可以用来解决景点拍照时人多过于拥挤的问题,把多余的人P掉就行了。

运行环境

很多同学本地都没有高性能的Nvidia显卡,安装模型插件也经常遇到问题,为了方便大家测试,我在云平台上创建了一个ComfyUI的镜像,已经内置好了常用的插件和模型,可以直接运行本文介绍的工作流,欢迎大家使用:

https://www.haoee.com/applicationMarket/applicationDetails?appId=27&IC=XLZLpI7Q

新用户会赠送一定的额度,可免费使用若干小时,如没有收到,请留言或私信给我。

使用方法

先来整体的看看这个工作流,有个基本的认识。

从左到右,依次介绍下:

重绘区域加遮罩:首先上传一张要重绘的图片,然后在图片上右键,选择“在遮罩编辑器中打开”,用鼠标涂抹需要重绘的区域即可。

加载模型:根据图片风格选择合适的SD基础模型,也可以搭配LoRA。比如照片就选择真实风格的模型,动漫就选择动漫风格的模型。

遮罩预处理:这里最主要的是提取遮罩和Lama内补。提取遮罩是用来告诉模型需要重绘哪些部分;Lama内补是用来对遮罩部分先进行一个简单的抹除重绘,让遮罩部分和周围的图片区域融合的更自然一些,然后我们再把Lama处理后的图片送入下一步SD重绘,得到更好的重绘效果。

Fooocus Inpaint:这块是增强模型的局部重绘能力,有了它,就不需要专门的Inpainting模型了。

遮罩Latent:使用局部重绘时,我们需要把原图和遮罩一起送入潜空间Latent,注意为了更好的涂抹消除,这里的原图是Lama处理之后的图片。

线稿ControlNet:这里使用ControlNet是为了让新生成的部分更好的约束在原有图片的构图中,起到增强控制的效果。

采样和VAE解码:这就是基本的通用操作了。

资源下载

发消息“工作流”到G众\号“萤火遛AI”即可领取这个涂抹消除工作流,另外还包括其它几十个免费的ComfyUI 工作流。

本文用到的模型及存放位置包括:

models/checkpoints/Juggernaut-XL_v9_RunDiffusionPhoto_v2.safetensors

models/inpaint/inpaint_v26.fooocus.patch

models/inpaint/fooocus_inpaint_head.pth

models/lama/big-lama.pt

这些模型都可以通过 Github 和 Huggingface 下载到,如果你下载不方便也可以通过我整理的网盘资源获取,另外还包括 Stable Diffusion WebUI 和 ComfyUI 的全面实战教程,还有更多的高级工作流可以下载,有兴趣的可以点击链接看看:

https://xiaobot.net/post/03340243-9df6-4ea0-bad6-9911a5034bd6

后记

用好 ComfyUI:

  • 首先需要对 Stable Diffusion 的基本概念有清晰的理解,熟悉 ComfyUI 的各种基础操作;
  • 然后需要在实践过程中不断尝试、不断加深理解,提升综合运用各类节点进行创作的能力。

我将在后续文章中持续输出 ComfyUI 的相关知识和热门作品的工作流,帮助大家更快的掌握 ComfyUI,创作出满足自己需求的高质量作品。


以上就是本文的主要内容,如有问题,欢迎留言交流。

标签:遮罩,AI,ComfyUI,模型,inpaint,华为,重绘
From: https://blog.csdn.net/bossma/article/details/142819173

相关文章

  • 10月最新AI产品经理面试20个问题汇总(含面试解题技巧、注意事项)
    这题我会!这是一个包含AI产品经理问题的备考文章,本文主要讲解AI产品经理的备考注意事项、真题展示、解题技巧及高效刷题方法,相信大家看完就一定能掌握技巧并且顺利通关!一、AI产品经理面试问题展示(20道)\1.请描述一下你过去负责的一个AI产品开发项目,包括项目的目标、过程......
  • 用文字“画出”流程图:用 AI+Mermaid.js 构建出你心中的可视化世界
    Mermaid介绍首先,什么是Mermaid?Mermaid.js是一款开源流程图/序列图的文本制作工具,它允许你使用简单的文本语法来创建各种类型的图表。无论你是开发者、学生还是普通用户,Mermaid.js都能帮助你将复杂的信息以直观、易懂的方式呈现出来。在AI技术的加持下,Mermaid现已支持......
  • AI云平台介绍
    AI云平台是基于云计算基础设施,集成机器学习、深度学习、自然语言处理、计算机视觉等先进AI技术,通过云端服务的形式,向用户提供数据预处理、模型训练、模型部署、预测推理等一系列AI开发与应用服务的平台。AI云平台旨在降低AI技术的使用门槛,使不具备深厚AI研发能力的企业也能轻......
  • 【华为】默认路由配置
    1.配置接入层:LSW1(LSW3同理):vlanbatch1020ing0/0/1portlink-typeacportdefaultvlan10ing0/0/2portlink-typeacportdefaultvlan20ing0/0/24portlink-typetrporttrallow-passvlan10202.配置汇聚层,设置网关,实现不同vlan之间的通信:LSW2(LSW4同......
  • AI 提示词(Prompt)入门 一:ChatGPT 3.5 特性及使用
    这一章节,今天主要讲ChatGPT3.5的使用,包含如下几点:1:ChatGPT的基本界面2:ChatGPT的简单使用3:ChatGPT的特殊使用技巧4:ChatGPT一些简单的使用1、ChatGPT的基本界面2、ChatGPT的简单使用3、ChatGPT的特殊使用技巧4、ChatGPT一些简单的使用你可以尝试用各......
  • CS224 Program Analysis@Shanghaitech 24 Fall Notes
    1.IntroductionRice'sTheoremStaticAnalysisanalyzesaprogramPtoreasonaboutitsbehaviorsanddetermineswhetheritsatisfiessomepropertiesbeforerunningP.Rice'sTheorem:Anynon-trivialpropertyofthebehaviorofprogramsinare......
  • 【AI系统】AI系统的组成
    AI系统的组成是实现其设计目标的基础。本文将详细介绍AI系统的各个组成部分,以及它们如何协同工作以支持AI应用程序的开发和运行。I.引言AI系统的复杂性要求其组成不仅要关注单一的硬件或软件,而是需要一个多层次、多维度的架构设计。这包括从应用与开发层到硬件体系结构和AI芯......
  • 【AI系统】AI系统的设计目标与挑战
    在当今快速发展的人工智能领域,AI系统的设计目标和面临的挑战是多维度的。本文将探讨AI系统设计的核心目标以及为实现这些目标所面临的挑战。I.引言AI系统作为连接硬件和上层应用的桥梁,其设计目标直接影响着AI技术的发展和应用的广泛性。一个高效、灵活且稳定的AI系统是推动AI......
  • AI 系统的出现与算力发展
    AI系统的出现是多方面因素共同作用的结果,其中大数据的积累、强大的计算能力和先进的算法是三个关键因素。Ⅰ.AI系统的出现大数据是AI系统发展的基石。随着数字化进程的加速,我们积累了大量的数据,这些数据为AI算法提供了丰富的学习材料。互联网公司利用这些数据训练模型,优化服务......
  • 世界第一!华为云图引擎服务GES大幅刷新世界纪录
    近日,国际关联数据基准委员会(LinkedDataBenchmarkCouncil,以下简称LDBC)公布了社交网络测试交互式负载(SNBINTERACTIVEWORKLOAD,以下简称为SNB)最新结果,华为云图引擎服务GES成功通过所有声明式查询语言基准测试。GES作为以声明式查询语言(如Cypher、SQL等)为接口的通用图数据库引......