首页 > 其他分享 >Stable Diffusion | AI协助室内设计神器,实现令人惊叹的视觉转换

Stable Diffusion | AI协助室内设计神器,实现令人惊叹的视觉转换

时间:2024-07-10 14:31:14浏览次数:12  
标签:Diffusion ControlNet AI 图像 AIGC seg 处理器 MLSD Stable

你是否已经厌倦了传统的室内设计方式,想探索新方法来增强作品设计感?本期小编就同大家分享一个新武器,用Stable Diffusion的ControlNet来打造一个室内设计全新工作流。无论你是经验丰富的室内设计师还是初学小白,都将使你的日常工作如虎添翼、告别爆肝,焕发出令甲方爸爸们赞叹的设计感。

#01

/介绍

ControlNet是一种通过添加额外条件来控制扩散模型的AI神经网络结构,它提供了一种增强稳定扩散的方法。在文本生成图像的过程中,使用诸如涂鸦、边缘映射、分割映射、pose关键点等条件输入,可使生成图像更接近输入图像,对比传统图像到图像的生成方式有大幅的改进。

这是一个专门检测直线线条的ControlNet模型,该模型常被用于提取物体的线型几何边界,最典型的就是几何建筑、室内设计、路桥设计等领域。基于MLSD模型的这一特征特性,**MLSD模型特别适用于在建筑、室内方向方面的线条处理和着色上,它能够很好的检测出输入图像中的直线线条,避开其它非直线线条预处理。**因为仅识别直线线条,忽略曲线线条,因此在一张包含人物的输入建设图,经过MLSD模型预处理就能够很好的避开输入图中的人物线条检测。

对初识Stable Diffusion的小伙伴们来说,看到ControlNet有这么多预处理器选项,一定很抓狂。

但没关系,为了方便大家使用,小编对每种预处理器的功能给出了简单的描述:

  • **Canny 硬边缘:**黑色背景带有白色边缘的单色图像;

  • **Depth 深度:**灰度图像,黑色代表深区域,白色代表浅区域;

  • **Normal 常规:**法线图,表示物体的凹凸纹理,常用在3D模型的绘制上;

  • **OpenPose 姿态:**生成角色动作姿态的骨架图;

  • **MLSD 直线:**黑色背景上带有白色直线的单色图像;

  • **Lineart 线稿:**黑色背景上带有白色线稿单色图像;

  • **SoftEdge 软边缘:**黑色背景上带有白色软边缘的单色图像;

  • **Scribble 涂鸦:**黑色背景上带有白色轮廓的手绘单色涂鸦图像;

  • Seg 语义分割**:**根据原图中不同素材以相应颜色进行区分的彩色图像;

  • **Shuffle 随机洗牌:**通过使用随机流的方式来洗牌原图像,在控制稳定扩散的前提下重构出新图;

  • **Tile 分块:**将原图分割为一块一块的小区域(Tile/瓦块),然后分别对每个瓦块进行图生图放大,最后集合所有放大后的瓦块,拼成完整的大图;

  • Inpaint 局部重绘**:**用于蒙版部分重绘,能在统一整体效果的前提下,补全蒙版部分的内容;

  • IP2P 像素对像素指令**:**该模型会自动识别像素对应提示词与新输入提示词的关系,并选择性的向新提示词迁移;比如把图片的光照调暗,让白天变为夜晚,在正向提示词中加入(make it night:1.3)、(night:1.3)即可;

  • Reference 参考**:**根据给定的参考图,画同一张图,但是有一定的变化,常用来保持人物角色的一致性;

  • T2IA 自适应**:**提取图片色彩或边缘,用于风格迁移;

到这里小编感觉一定有很多小伙伴们要开始抱怨了,这么多的预处理器,用哪个啊。别担心,本篇中的演示只会运用到两种最具代表性的预处理器,MLSD(直线)和Seg(语义分割),选择它们两个,并按照小编的步骤,即便你只有一张随手拍摄的毛胚房照片,也能完成一副有高级既视感的室内装饰效果图。光看文字有点晦涩,让我们先来看下这两种预处理器的实际效果。

可以看到两种预处理器的处理方式完全不同,接下来就告诉大家具体的使用步骤。

#02

/使用

首先设置Stable Diffusion模型,模型风格有很多种,比如二次元、写实风、插画、中国风等,建筑类推荐采用以下四个写实类风格的常用模型:

○ anything-v4.5

○ realisticVisionV20

○ PrimeMix_V2.1

○ chilloutmix_NiPrunedFp32Fix;

接着我们设置采样迭代步数Steps,默认为20,视不同图片尺寸和Stable Diffusion模型而定,通常设置在15-40左右,小编用10、15、20、25四个参数做演示。

最后设置采样方法Sampler,从界面中可选择的采样方法类型有很多,不同的采样方法生成图片的过程各不相同,这里小编列举了四个常用的采样方法:Eulera、DPM++ 2S a Karras、DPM++ 2M Karras、DPM++ SDE Karras。

MLSD直线

案例展示
01. 去除人物,毛坯变精装

这里采用了一张带有人物的室内建筑图,能够从下面的预处理器看到:MLSD模型能够很好的避免人物,输出图像很好的还原了室内图中的直线部分,以及整个建筑的结构被很好的保留下来。

magnificent_architecture,room,building,sunshine,warm and cozy,(8k,RAW photo,best quality,masterpiece:1.2),realistic, photo-realistic,
ControlNet配置

输出效果

一种毛坯房立变精装房既视感。

02. 豪华房
(8k,RAW photo,best quality,masterpiece:1.2),realistic, photo-realistic,,living room,luxury,extravagant,spacious and bright,gold,italian style,
ControlNet配置

输出效果

这里很好的保持了房屋的整体结构,室内家具改变为黄金豪华房。

03. 写字楼
modern construction,office building,plaza,science and technology fashion,brightly lit,(8k,RAW photo,best quality,masterpiece:1.2),realistic,photo-realistic,
ControlNet配置

输出效果

设计草图立变成品写字楼既视感。

03. 别墅小院
Oriental architectural design,townhouses,80's houses,lawns,green trees
ControlNet配置

输出效果

Seg语义分割

我们知道MLSD是通过线条去识别物体的。大家有没有想过,当两件物体的外形是一样的,比如一个衣柜和一个冰箱,它们都是长方体,仅仅通过线条来识别,并不能很好的区分它们。显然,此时仅有MLSD已经无法胜任了,这时就需要用到Seg(语义分割), Seg可分割并用颜色标记原图物体,通过颜色对应物体的方式来引导Stable Diffusion生成希望获得的物体。以下小编就为大家介绍Seg的具体使用方法。
案例展示

1.将一张效果图,将它重新导入ControlNet中;

2.控制类型选择Seg(语义分割),在预处理器栏中我们可以看到有seg_ofade20k、seg_ofcoco、seg_ufade20k三种预处理器可供选择。

seg_ofade20k和seg_ufade20k都使用了ADE20k协议,所以这两种预处理器识别图片中素材所用标记颜色是相同的。区别在于它们采用了不同的算法:OneFormer算法会在颜色不同处使用白线分割;而UniFormer算法没有分割线。

seg_ofcoco则采用了COCO协议,所以它的标记颜色和ADE20k协议有所区别。另外它采用了OneFormer算法,因此在颜色不同处也会有白线分割。

光看文字比较抽象,小编直接上效果图:

从左到右依次为seg_ofade20k、seg_ofcoco、seg_ufade20k

从三种预处理器的效果来看,都可以很好地分割原图中的各类素材区域。

3.这里小编选择预处理器seg_ufade20k,点击启用、低显存模式(GPU显存8G以下推荐开启)、完美像素模式(Pixel Perfect)、允许预览(Allow Preview),点击“爆炸”按钮,我们可以看到图片中各素材已用不同的颜色标记出来了;

4.这里小编分享一个ADE20k协议的色号表,里面记录了不同的颜色所对应的材质或物件,大家也可以到LoveGPU官网内下载并使用。(文末领取完整色号表)

5.现在我们想在床边添加一张桌子,先保存Seg预处理效果图,并将其导入Photoshop,简单画出桌子的轮廓,颜色参考ADE20k色号表,选择将第34行“desk桌子”,将它的色号#0AFF47复制出来,填充进轮廓中。

6.回到Stable Diffusion,在正向提示词里添加desk,然后将Photoshop处理过的图片放入ControlNet中,预处理器选择none, 其他参数保持不变;

7.点击生成,让我们品鉴一下最终的设计效果吧!

太棒啦!已经顺利将桌子添加到预设位置。

文章使用的AI工具SD整合包、各种模型插件、提示词、AI人工智能学习资料都已经打包好放在网盘中了,无需自行查找,有需要的小伙伴文末扫码自行获取。

写在最后

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程,模型插件,具体看下方。

一、AIGC所有方向的学习路线

AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。

在这里插入图片描述

在这里插入图片描述

二、AIGC必备工具

工具都帮大家整理好了,安装就可直接上手!
在这里插入图片描述

三、最新AIGC学习笔记

当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
在这里插入图片描述
在这里插入图片描述

四、AIGC视频教程合集

观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

五、实战案例

纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
在这里插入图片描述

若有侵权,请联系删除

标签:Diffusion,ControlNet,AI,图像,AIGC,seg,处理器,MLSD,Stable
From: https://blog.csdn.net/A2421417624/article/details/140316863

相关文章

  • Stable Diffusion|IP-Adapter 图片风格迁移
    前段时间腾讯发布了一个新的ControlNet模型叫“IP-Adapter”,它的作用就是把上传的图像转化为图像提示词,简单的来说就是跟Midjourney的垫图功能差不多。IP-Adapter能够精准地识别参考图的风格特征,并且可以很好的适配其他的模型以及ControlNet模型。它还可以让图像提示词......
  • AI绘画 | 如何利用SD垫图实现照片风格转换
    “小红书上有很多用AI做卡通头像的,大概思路是你拍一张个人照片发给博主,博主利用midjourney的垫图功能转换成卡通形象,一张收取一定费用……”看过之前文章的人都应该知道,midjourney是付费的软件,而且需要一定魔法上网能力。今天给大家分享,利用StableDiffusion(以下简称SD)的......
  • 这份 Stable diffusion 提示词攻略,记得收好了!
    大家好,今天给大家分享的是关于Stablediffusion提示词的基础和进阶语法,为什么有必要了解这个呢?首先是提示词对出图效果影响很大,了解提示词的用法有助于我们写出更优秀的提示词;其次就是我们可能会去C站拷贝别人的提示词,虽然直接拷贝过来也能得到不错的效果,但这样只会“知其......
  • 从零学习大模型——使用GLM-4-9B-Chat + BGE-M3 + langchain + chroma建立的本地RAG应
    第一篇介绍了如何配置最基本的环境并下载了GLM-4-9B-Chat到本地,接下来我们试着将GLM-4-9B-Chat接入LangChain。LangChain 是一个基于大型语言模型(LLM)开发应用程序的框架。LangChain简化了LLM应用程序生命周期的每个阶段:开发:使用LangChain的开源构建模块和组件构建应用程序......
  • 从零学习大模型——使用GLM-4-9B + BGE-M3 + langchain + chroma建立的本地RAG应用(一)
    本项目基于DataWhaleChina的self-llm教程与llm-universe及Langchain官方文档等资料开发,旨在实现全部本地化的RAG应用。本项目使用AutoDL的云服务器进行开发。在 AutoDL 平台中租一个3090等24G显存的显卡机器,如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04)-->12.......
  • 机器学习策略篇:详解如何使用来自不同分布的数据,进行训练和测试(Training and testing o
    如何使用来自不同分布的数据,进行训练和测试深度学习算法对训练数据的胃口很大,当收集到足够多带标签的数据构成训练集时,算法效果最好,这导致很多团队用尽一切办法收集数据,然后把它们堆到训练集里,让训练的数据量更大,即使有些数据,甚至是大部分数据都来自和开发集、测试集不同的分布。......
  • 理解 OpenAI 的 CLIP 模型
    来源:https://medium.com/@paluchasz/understanding-openais-clip-model-6b52bade3fa3CLIP是由OpenAI在2021年发布的,自那时起已成为许多多模态AI系统中的基础构件之一。本文深入探讨了CLIP是什么、它是如何工作的、如何使用以及其实现方式。引言CLIP,即ContrastiveLan......
  • 【ComfyUI教程】超自然的AI 任意换脸!保姆级教程(附资料)
    嘿,说到拍照,咱们男生有时候也挺头疼的,尤其是帮女朋友或者老婆挑衣服的时候。你懂的,一不小心就可能踩雷,好心办坏事。但别担心,今天我要介绍的这个ComfyUI,简直就是咱们的救星!想象一下,你和女朋友或者老婆一起挑选艺术照的服装,用ComfyUI,你们可以先预览各种风格的搭配,看看哪一款最......
  • Sping AI(初步了解)
    一、什么是SpringAI  二、SpringAI的主要特点SpringAI提供的API支持跨人工智能提供商的聊天、文本到图像、嵌入模型等,同时支持同步喝流API选项;1、ChatModels聊天模型OpenAIAzureOpenAIAmazonBedrockCohere'sCommandAI21Labs'Jurassic-2Meta'sLLama......
  • 走进 AI 无人直播 解放双手 创新驱动 惊喜不断
    AI无人直播是一项令人惊叹的技术创新,这一创举正逐渐改变我们对传统直播的认知。它不仅能解放主播的双手,还能驱使创新思维,(V:tlkj124)为观众带来持续的惊喜。首先,AI无人直播通过智能化技术实现了主播的“无人”状态。传统直播需要主播亲自操作摄像机、调整画面和声音等,而AI无......