但是IP-Adapter不仅可以通过文生图的方式,也可以通过图生图的方式生成目标图片,就无需使用提示词。只不过同上一篇所述,底层的逻辑和图生图是完全不同的。
# 以下代码为程序运行进行设置,使用图生图的自动管道,
import os
os.environ["HF_ENDPOINT"] = "https://hf-mirror.com"
from diffusers import AutoPipelineForImage2Image
# 程序需要能够支持加载图片
from diffusers.utils import load_image
import torch
# 以下代码加载模型,但是用的是图生图的自动管道pipeline = AutoPipelineForImage2Image.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", torch_dtype=torch.float16).to("cuda")
# 同时加载IP-Adapter模型
pipeline.load_ip_adapter("h94/IP-Adapter", subfolder="sdxl_models", weight_name="ip-adapter_sdxl.bin")
# 设置IP-Adapter影响力
pipeline.set_ip_adapter_scale(0.6)
# 以下代码加载原始图片和参考图片
image = load_image("ip_adapter_bear_1.png")
ip_image = load_image("ip_adapter_bear_2.png")
generator = torch.Generator(device="cpu").manual_seed(4)
# 以下代码加载并处理提示词,基于原始图片,和参考图片生成图片
images = pipeline(
prompt="best quality, high quality",
image=image,
ip_adapter_image=ip_image,
generator=generator,
strength=0.6,
).images
images[0].show()
原图的效果是这样的
参考图片的效果是这样的
生成的图片的效果是这样的(北极熊的毛色不正常了,前掌看得也有点别扭)
标签:IP,adapter,Diffusers,image,ip,Adapter,图片 From: https://blog.csdn.net/duhaining1976/article/details/139527056