首页 > 其他分享 >Stable Diffusion ControlNet垫图:IP-Adapter实现图片风格迁移

Stable Diffusion ControlNet垫图:IP-Adapter实现图片风格迁移

时间:2024-07-18 13:55:24浏览次数:18  
标签:Diffusion ControlNet IP Adapter AIGC 模型 参数设置 图片

IP-Adapter实现的SD垫图功能对我们的图片处理非常有用,后面我们会进行一系列IP-Adapter的应用分享,通过具体的实例真正看到IP-Adapter的强大。
文章使用的AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,有需要的小伙伴下方扫码自行获取。
在这里插入图片描述

一. 改变图片主体形态

所谓改变主体形态,就是将图片中的主体元素,应用到一种新的图片结构风格中,在保持原图片主体元素的基础上,使用新的图片结构风格生成一张新的图片。由于需要使用到新的图片结构,所以需要使用到2个ControlNet单元。

下面我们通过实例来演示一下。

【第一步】:ControlNet单元0的参数设置:IP-Adapter设置

相关参数设置如下:

  • 控制类型:选择"IP-Adapter"

  • 预处理器:ip-adapter_clip_sd15

  • 模型:ip-adapter_sd15_plus

  • 控制权重:设置为1。

【第二步】:ControlNet单元1的参数设置:Depth设置

Depth控制模型,从图片中提取深度信息,用于控制图片的结构。

相关参数设置如下:

  • 控制类型:选择"Depth"

  • 预处理器:depth_midas

  • 模型:contorl_xxx_sd15_depth

  • 控制权重:设置为1。

【第三步】:文生图相关参数设置

由于已经有IP-Adapter垫图,这里无需编写正向和反向提示词。

【第四步】:大模型的选择以及图片的生成

这里我们选择写实模型majicMIX realistic v7,其他的模型Realistic Version、ReV Animated也可以。

原图片与新的图片风格

生成的新图片。

**相关说明:**这里使用的是Depth控制模型控制图片的结构,也可以使用lineart、canny、softedge等线条类模型。

canny模型

lineart模型:预处理器lineart_standard****

softedge模型:预处理器softedge_pidinet****

二. 人物变化

下面我们看一下一个女孩如果变成男孩会是什么样子。

ControlNet参数设置。

相关参数设置如下:

  • 控制类型:选择"IP-Adapter"

  • 预处理器:ip-adapter_clip_sd15

  • 模型:ip-adapter_sd15_plus

  • 控制权重:设置为0.4(控制在0.3-0.5之间,调整ControlNet的控制权重,让提示词作用更明显)。

  • 引导终止时机:设置为0.8(0.6-0.8之间)

正向提示词:a boy,upper body,(buzz cut hairstyle :1.6),

大模型:majicMIX realistic v7

下面我们对比看一下效果。

三. 改变人物动作姿势

改变人物动作姿势主要是通过IP-Adapter+OpenPose来实现,其中IP-Adapter控制人物的外形,OpenPose来灵活控制人物的姿势。

【第一步】:ControlNet单元0的参数设置:IP-Adapter设置

【第二步】:ControlNet单元1的参数设置:OpenPose设置

【第三步】:文生图相关参数设置

由于已经有IP-Adapter垫图,这里无需编写正向和反向提示词。

【第四步】:大模型的选择以及图片的生成

这里我们选择写实模型majicMIX realistic v7。

原图片与人物姿势。

生成的新图片

我们修改一下IP-Adapter控制模型为ip-adapter-plus-face_sd15。

我们再换更换一下人物别的姿势看一下效果。

原图片和人物姿势

生成的新图片

IP-Adapter垫图功能非常强大,本文主要分享了IP-Adapter的垫图功能结合ControlNet控制器实现图片风格迁移、人物姿势控制等场景应用,关于IP-Adapter的垫图功能还有一些其他的应用场景后面还会继续分享,大家可以保持关注。

好了,今天的分享就到这里了,希望今天分享的内容对大家有所帮助。

文章使用的AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除

标签:Diffusion,ControlNet,IP,Adapter,AIGC,模型,参数设置,图片
From: https://blog.csdn.net/A2421417624/article/details/140517729

相关文章

  • Stable Diffusion|IP-Adapter 图片风格迁移
    文末扫码可获取IP-Adapter插件!前段时间腾讯发布了一个新的ControlNet模型叫“IP-Adapter”,它的作用就是把上传的图像转化为图像提示词,简单的来说就是跟Midjourney的垫图功能差不多。IP-Adapter能够精准地识别参考图的风格特征,并且可以很好的适配其他的模型以及ControlNet......
  • 安卓MT管理器v2.16.2/逆向修改神器 本地VIP已解锁
    MT管理器是一款强大的文件管理工具和APK逆向修改神器。如果你喜欢它的双窗口操作风格,可以单纯地把它当成文件管理器使用。如果你对修改APK有深厚的兴趣,那么你可以用它做许许多多的事,例如汉化应用、替换资源、修改布局、修改逻辑代码、资源混淆、去除签名校验等,主要取决于你如......
  • Stable Diffusion——涂鸦幻变:稳态扩散下的艺术重生
    目录引言操作过程图片准备创建蒙版图生图优化设置参数细节调整总结引言在深入体验了StableDiffusion图生图的无限魅力之后,我们不禁为其强大的图像修复和细节丰富能力所折服。然而,在实际应用中,许多用户发现难以精准掌控最终效果的丰富度和细节层次,以达到心中理想......
  • iphone如何删除重复照片
    iPhone以其出色的拍摄性能和用户体验深受全球用户欢迎。随着我们使用iPhone记录生活的点点滴滴,不可避免地会在相册中积累大量照片。这其中不乏重复拍摄的照片,这些重复的照片不仅占用宝贵的存储空间,也让我们在查找特定照片时变得更加困难。因此,iphone如何删除重复照片困扰着广大......
  • COMP9021 Principles of Programming
    COMP9021PrinciplesofProgrammingTerm2,2024Assignment2Worth13marksanddueWeek11Monday@10amGeneralMatters1.1AimThepurposeofthisassignmentisto:Developyourproblem-solvingskills.Designandimplementthesolutiontoapr......
  • ubuntu 20.04 改变IPV4地址, 网卡名称 ens160
    1)查看网卡名称,使用:ifconfig或者iplink 2)进入netplan目录cat/etc/netplan3)编辑网络配置文件vim01-network-manager-all.yaml4)编辑内容如下 network:ethernets:ens160:dhcp4:noaddresses:-10.1.13.74/24gat......
  • sqlalchemy中relationship使用
    sqlalchemy是python做orm管理的非常重要的工具,sqlalchemy2.0版本relationship与上个版本有所不同,具体如下:fromsqlalchemyimportcreate_enginefromsqlalchemy.ormimportsessionmakerfromsqlalchemy.ormimportdeclarative_baseSQLALCHEMY_DATABASE_URL='你的数据库......
  • 设计模式-领域逻辑模式-事务脚本(Transaction Script)
    事务脚本的特点多数应用可看成由多个事务组成事务脚本将多个业务逻辑组织成单个过程事务间相互修改各自产生的数据事务脚本的运行机制    使用事务脚本时,领域逻辑主要通过系统所执行的事务来组织。例如:预定酒店过程。事务脚本的组织将整个事务脚本放在一个类里每......
  • Nginx 获取/传递真实IP、追踪请求包转发链 及 防范源IP伪造
    (转载)获取/传递真实IP环境模拟:客户端-->Nginx1/CDN/DDOS高防-->Nginx2-->后端ServerrequestHeader部分请求头字段:X-Real-IP用来保存客户端真实IP,默认为空X-Forwarded-For用来保存请求包的转发地址链,默认为空对应变量:$remote_addr此变量保存的是http请求的发起方IP,......
  • Java开发新趋势!MyEclipse v2024.1全新首发——支持AI编码协助
    在MyEclipse 2024中,通过Copilot集成提供的AI编码协助,让开发者的生产力提高了近10倍;同时支持Java22,并部署到最新版本的应用服务器(如WildFly和Payara);拥有更高性能的Spring工具支持更流畅的编码体验,而语言服务器更新确保对所有现代web技术的最新语言支持。MyEclipse的现有用户可......