IP-Adapter实现的SD垫图功能对我们的图片处理非常有用,后面我们会进行一系列IP-Adapter的应用分享,通过具体的实例真正看到IP-Adapter的强大。
文章使用的AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,有需要的小伙伴下方扫码自行获取。
一. 改变图片主体形态
所谓改变主体形态,就是将图片中的主体元素,应用到一种新的图片结构风格中,在保持原图片主体元素的基础上,使用新的图片结构风格生成一张新的图片。由于需要使用到新的图片结构,所以需要使用到2个ControlNet单元。
下面我们通过实例来演示一下。
【第一步】:ControlNet单元0的参数设置:IP-Adapter设置
相关参数设置如下:
-
控制类型:选择"IP-Adapter"
-
预处理器:ip-adapter_clip_sd15
-
模型:ip-adapter_sd15_plus
-
控制权重:设置为1。
【第二步】:ControlNet单元1的参数设置:Depth设置
Depth控制模型,从图片中提取深度信息,用于控制图片的结构。
相关参数设置如下:
-
控制类型:选择"Depth"
-
预处理器:depth_midas
-
模型:contorl_xxx_sd15_depth
-
控制权重:设置为1。
【第三步】:文生图相关参数设置
由于已经有IP-Adapter垫图,这里无需编写正向和反向提示词。
【第四步】:大模型的选择以及图片的生成
这里我们选择写实模型majicMIX realistic v7,其他的模型Realistic Version、ReV Animated也可以。
原图片与新的图片风格
生成的新图片。
**相关说明:**这里使用的是Depth控制模型控制图片的结构,也可以使用lineart、canny、softedge等线条类模型。
canny模型
lineart模型:预处理器lineart_standard****
softedge模型:预处理器softedge_pidinet****
二. 人物变化
下面我们看一下一个女孩如果变成男孩会是什么样子。
ControlNet参数设置。
相关参数设置如下:
-
控制类型:选择"IP-Adapter"
-
预处理器:ip-adapter_clip_sd15
-
模型:ip-adapter_sd15_plus
-
控制权重:设置为0.4(控制在0.3-0.5之间,调整ControlNet的控制权重,让提示词作用更明显)。
-
引导终止时机:设置为0.8(0.6-0.8之间)
正向提示词:a boy,upper body,(buzz cut hairstyle :1.6),
大模型:majicMIX realistic v7
下面我们对比看一下效果。
三. 改变人物动作姿势
改变人物动作姿势主要是通过IP-Adapter+OpenPose来实现,其中IP-Adapter控制人物的外形,OpenPose来灵活控制人物的姿势。
【第一步】:ControlNet单元0的参数设置:IP-Adapter设置
【第二步】:ControlNet单元1的参数设置:OpenPose设置
【第三步】:文生图相关参数设置
由于已经有IP-Adapter垫图,这里无需编写正向和反向提示词。
【第四步】:大模型的选择以及图片的生成
这里我们选择写实模型majicMIX realistic v7。
原图片与人物姿势。
生成的新图片
我们修改一下IP-Adapter控制模型为ip-adapter-plus-face_sd15。
我们再换更换一下人物别的姿势看一下效果。
原图片和人物姿势
生成的新图片
IP-Adapter垫图功能非常强大,本文主要分享了IP-Adapter的垫图功能结合ControlNet控制器实现图片风格迁移、人物姿势控制等场景应用,关于IP-Adapter的垫图功能还有一些其他的应用场景后面还会继续分享,大家可以保持关注。
好了,今天的分享就到这里了,希望今天分享的内容对大家有所帮助。
文章使用的AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,有需要的小伙伴文末扫码自行获取。
写在最后
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。