六、LoRa模型的使用

LoRa模型的使用

在先前的文生图实践中，我们可能遇到了模型生成的图像与预期不符的情况。模型似乎总是按照它自己的逻辑来创作，这让我们感到有些束手无策。但别担心，现在我们有了一种新的方法来引导模型，使其更贴近我们的需求。这就是提供参考图像——一个看似简单却强大的技巧。

然而，这并不是我们之前介绍过的图生图模型，而是另一种新的名为Lora的模型。在本讲义中，我们将揭开Lora技术的神秘面纱。Lora不仅是一种技术，它还是我们与模型沟通的桥梁，让我们能够更精确地指导模型的创作过程。通过Lora，我们可以向模型提供参考图像，从而在保持创造性的同时，确保生成的图像更符合我们的期望。让我们一起探索Lora如何成为我们创作过程中的得力助手。

§ 1. L o R a 模型的基础概念与使用 \S1.LoRa模型的基础概念与使用 §1.LoRa模型的基础概念与使用

LoRa模型其实也是一种别人用大量的数据训练好的ai模型，只不过它更多的提供的是辅助的作用，
可以理解为别的画师花好的画，而我们将LoRa模型下载到本地之后，我们就可以让我们的模型去学习LoRa的画风作为参考，从而绘出一些非常符合我们心意的画作。

下载的网站还是huggingface，下载到本地之后，像我们之前安装模型一样，将其安装在models目录下的Lora文件夹里即可。

我们该如何调用lora呢，记好我们所用lora的名字，然后在我们的正向提示词中加入下面这段话即可：

<lora:lora的名字>

§ 2. 绘画实验 \S2.绘画实验 §2.绘画实验

学习完理论课程之后，就又来到我们激动人心的绘画实验课了，但是这次我们的选题是什么呢，emm，思索许久的我突然间灵光一现，这次就使用Lora模型本身给出的示例吧，看看我们能否在本地及进行复现。

这次我们采用如下的LoraShakker-Labs/FLUX.1-dev-LoRA-Micro-landscape-on-Mobile-Phone · Hugging Face

提示词如下：

This poster shows a smartphone on a black background. The iphone screen shows a miniature scene, an amusement park scene, seamlessly integrated into the phone's frame. The scene is set from the top left to the bottom right of the phone, creating a perspective that draws the viewer into the tiny world. In the middle is a huge Ferris wheel, surrounded by many amusement facilities and shops,<lora:FLUX-dev-lora-landscape>

这里说一句，官方提示词示例中没有给出带有lora字样的提示词的原因，我也不知道，不过尽量加上会比较好一些。

NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres,normal quality,((monochrome)),((grayscale)), skin spots, acnes,skin blemishes, age spot, (ugly:1.331), (duplicate:1.331),(morbid:1.21),(mutilated:1.21), (tranny:1.331), mutated hands,(poorty drawn hands:1.5), blury, (bad anatomy:1.21), (bad
proportions:1.331), extra limbs, (disfigured:1.331), (missingams:1.331),(extra legs:1.331), (fused fingers:1.61051),(too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands,missing fingers, extra digit,bad hands, missing fingers, (((extra ams and legs)))

生成结果如下图：

可以看出，并没有复现成功，不过好像是因为我和官方使用的绘画模型不是同一个，官方使用的好像是这一个模型black-forest-labs/FLUX.1-dev · Hugging Face，大家有兴趣的可以去试一试，复现成功的也可以在评论区里展示一下。