首页 > 其他分享 >StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天

时间:2024-11-01 23:18:09浏览次数:6  
标签:提示 宫崎骏 HAI AI 模型 StableDiffusionWebUI 生成 动漫 图像


前言

一直以来想部署一个自己的 StableDiffusion 模型,但是在构建模型过程中遇到许多问题,后来发现可以用 HAI 可以快速构建并且部署,给我带来了极大的便利,省去了许多麻烦事。

高性能应用服务(Hyper Application Inventor,HAI)是一款面向 AI 和科学计算的 GPU/NPU 应用服务产品,提供即插即用的强大算力和常见环境。它可以帮助中小企业和开发者快速部署语言模型、AI 绘图、数据科学等高性能应用,原生集成配套的开发工具和组件,大大提升应用层的开发生产效率。

如果你想快速构建一套AI模型,比如Stable Diffusion、ChatGLM2 6B、Llama2 7B、Llama2 13B,又或者是想搭建一套AI框架,比如Pytorch2.0.0、Tensorflow2.9.0,HAI 可成为你的首选。本文通过构建Stable Diffusion模型进行二次元AI绘画,主要利用深度学习算法进行创作绘图,应用场景也是十分广泛。

一、HAI

高性能应用服务 HAI 以应用为中心,匹配GPU云算力资源,助力中小企业及开发者快速部署LLM、AI作画、数据科学等高性能应用。其优势十分显著:

1、简单易用。通过简化计算、网络和存储等基础设施的配置流程,大幅降低了云服务操作和管理的复杂度

2、应用环境快速部署。支持多种 AI 环境快速部署,如 ChatGLM-6B、StableDiffusion 等,使用户可专注业务及应用场景创新。

3、高灵活性。支持用户登录实例,对 AI 模型及实例环境进行灵活配置。可进行内部开发、业务测试,或对外提供业务服务。

4、多种登录方式。除传统连接方式外,支持通过 jupyterlab、WebUI 等方式一键启动,提供更贴合使用场景的登录方式。

5、算力种类丰富。提供多种算力套餐选择,未来还将加入更多种类供用户选择。

二、应用场景

HAI 应用场景十分广泛,可以应用于AI 作画/设计、AI 对话/写作、AI 开发测试以及数据科学等方面。

在AI 作画/设计方面,设计师和开发者可以使用高性能应用服务快速地部署和优化 AI 绘画模型。高性能应用服务预置 Stable Diffusion 等主流 AI 作画模型及常用插件,提供 GUI 图形化界面即开即用,大幅降低上手门槛。

在AI 对话/写作方面,研究者和开发者可以使用高性能应用服务快速部署和运行大型语言模型,如 LLAMA2、ChatGLM 等,进行自然语言处理任务,如文本生成、情感分析、文本分类等。高性能应用服务提供的算力支持和优化环境确保了语言模型可以在最短的时间内进行部署,同时还能保持高稳定性和可靠性。

在AI 开发测试方面,高性能应用服务的预配置环境支持大多数流行的 AI 框架和工具,如 TensorFlow、PyTorch 等,使得开发者可以专注于算法设计和模型优化。AI 研究者可以在高性能应用服务上进行模型的开发、训练、测试和优化,无需担心硬件兼容性和软件配置问题。如新算法的原型开发、模型微调与迁移学习、深度学习框架的交叉测试等。

在数据科学方面,数据科学家们可使用高性能应用服务,快速进行数据分析和图标处理。高性能应用服务预置了 Notebook、Python 环境,以及主流分析软件。

三、构建 Stable Diffusion 模型

上面讲解了HAI的优势以及应用场景,那么接下来就开始使用 HAI 构建 Stable Diffusion 模型。Stable Diffusion,直接从字面意思翻译是稳定的扩散,当然这也将图像生成模型的工作原理点出来了。它是一种生成模型,可用于生成高质量的图像,其原理是将噪声添加懂真实图像,然后通过神经网络将噪声去除掉,随着噪声逐渐去除,真实图像便逐渐恢复。那么怎么使用 HAI 构建 Stable Diffusion 模型呢

1、新建HAI应用

首先在算力管理页面点击新建,这就是构建HAI应用的入口了。

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_stablediffusion

在AI模型中选择Stable Diffusion,这就是我们需要的模型,然后点击购买。

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AI_02

购买完成后HAI应用就会自动创建,创建过程大概需要3-8分钟,静候即可。

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AI_03

创建完成之后,点击算力连接,在下拉中选择stable_diffusion_webui

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AI_04

2、StableDiffusionWebUI

我们可以看到StableDiffusionWebUI 主页面,具体如下图所示:

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AI_05

(1)功能介绍

StableDiffusionWebUI是基于StableDiffusion开源模型开发的,具有以下功能:

  • 文生图根据描述生成任何图像
  • 智能识别:Stable Diffusion 可以智能识别用户上传的图片,并自动调整图片质量和色彩,让图片更加清晰、饱满。
  • 风格转换:Stable Diffusion 可以将用户上传的图片转换成不同的艺术风格,如印象派、后印象派、立体派等等,让图片更加艺术化。
  • 人像修复:Stable Diffusion 可以自动识别人像并进行修复,去除皱纹、瑕疵等不良痕迹,让人像更加美观自然。
  • 图像融合:Stable Diffusion 可以将多张图片进行融合,生成全新的图像,让用户可以尝试不同的创意和设计。
  • 图像去噪:Stable Diffusion 可以自动去除图片中的噪点,让图片更加干净、清晰。

(2)页面转中文

首先我们先把页面换成中文。选择页面中Extensions菜单中的Available菜单,然后取消localization勾选,勾选script,之后点击 Load from,大概需要等30-60s。

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_stablediffusion_06

然后在搜索框中搜索:zh_CN,

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AI_07

点击Install进行安装。

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AI_08

安装成功后,我们可以在Extensions菜单中的Installed菜单看到安装的stable-diffusion-webui-localization-zh_CN

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AI_09

最后在Setting菜单中选择User interface,在Localization (requires restart) 下拉菜单中选择zh_CN

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AIGC_10

最后先点击Apply setting,然后再点击Reload UI,页面就变成中文了。

(3)AI绘图

Stable Diffusion可以根据你输入的提示词(prompt)来绘制出想象中的画面。在进行文生图之前,先讲解一下StableDiffusionWebUI主页面的基本属性,相关配置属性解释如下:

属性

描述

提示词

主要描述图像,包括内容风格等信息,原始的webui会对这个地方有字数的限制,可以安装一些插件突破字数的限制。简单来说就是你想要生成一副什么样的图片,包含主体、风格、色彩、质量要求等等

反向提示词

告诉模型我们不需要的风格,表示你不想要什么,比如不想要图片出现什么,不想图片质量差,不想人物模糊或者多手多脚等

提示词相关性(CFG scale)

分类器自由引导尺度,图像与提示符的一致程度越低的值产生的结果越有创意,数值越大成图越贴近描述文本。一般设置为7

采样方法(Sampling method)

扩散算法的去噪声采样模式会影响其效果,不同的采样模式的结果会有很大差异

采样迭代步数(Sampling steps)

在使用扩散模型生成图片时所进行的迭代步骤。每经过一次迭代,AI就有更多的机会去比对prompt和当前结果,并作出相应的调整。需要注意的是,更高的迭代步数会消耗更多的计算时间和成本,但并不意味着一定会得到更好的结果。然而,如果迭代步数过少,一般不少于50,则图像质量肯定会下降

随机种子(Seed)

生成每张图片时的随机种子,这个种子是用来作为确定扩散初始状态的基础。-1表示不基于图片种子进行绘制,完全基于你的prompt生成,如果填写一个图片的种子值,则会参考你填写的图片种子,在此图片基础上进行二次绘制。

高清修复

将生成的图片进行高清放大,提升分辨率,显存不够的宝子们慎用

生成批次

表示本次绘制时通过几个批次进行绘画,显存低的宝子们可以调大,以时间换空间

每批数量

表示每批生成几张图片,也是看显存大小进行设置

其中提示词是非常重要的,是生成图像最基本的要求。提示词(prompt)由多个词缀构成。提示词分为正向提示词(positive prompt)和反向提示词(negative prompt),用来告诉AI哪些需要,哪些不需要。反向提示词听起来有些耐人寻味,其实就是我们不想出现什么的描述。提示词与反提示词实际上看你的想象力,当初也要转换成英文描述的术语才能更好地生效,个人认为没有什么定格公式,会限制人的想象力,总之你想什么就填上去,尽情发挥想象力。

① 正向提示词语

这里提供一些正向提示词语,可以斟酌添加到模型中。

prompt

描述

HDR, UHD, 64K

(HDR、UHD、4K、8K和64K)这样的质量词可以带来巨大的差异提升照片的质量

Highly detailed

画出更多详细的细节

Studio lighting

添加演播室的灯光,可以为图像添加一些漂亮的纹理

Professional

加入该词可以大大改善图像的色彩对比和细节

Vivid Colors

给图片添加鲜艳的色彩,可以为你的图像增添活力

Bokeh

虚化模糊了背景,突出了主体,像iPhone的人像模式

High resolution scan

让你的照片具有老照片的样子赋予年代感

Sketch

素描

Painting

绘画

② 反向提示词

一些返向提示词案例,针对你要生成的图像,通过反向提示,避免出现不符合预期的图片

Negative Prompt

Description

Mutated hands and fingers

变异的手和手指

Deformed

畸形的

Bad anatomy

解剖不良

Disfigured

毁容

Poorly drawn face

脸部画得不好

Mutated

变异的

Extra limb

多余的肢体

Ugly

丑陋

Poorly drawn hands

手部画得很差

Missing limb

缺少的肢体

Floating limbs

漂浮的四肢

Disconnected limbs

肢体不连贯

Malformed hands

畸形的手

Out of focus

脱离焦点

Long neck

长颈

Long body

身体长

③ “+” 、“ AND”、“|” 用法
  • “+”和“AND”:这两个符号都用于连接短标签或关键词。使用“+”或者“AND”来将标签连接在一起。要注意的是,在使用“AND”连接标签时,两端需要加上空格。此外,“+”可以大致等同于“AND”。
  • “|”:这是用作循环绘制符号或融合符号。在这种上下文中,它可能表示一种绘图操作,可以用来融合或循环绘制某些元素或标签。
④ 权重

使用括号和不同格式来调整单词的权重:

  • (PromptA:权重):调整权重比例为给定的权重。
  • (PromptA):默认权重为1.1,等同于(PromptA:1.1)
  • {PromptB}:默认权重为1.05,等同于(PromptB:1.05)
  • [PromptC]:默认权重为0.952,等同于(PromptC:0.952)
  • ((PromptD)):权重为1.21,等于(PromptD:1.1*1.1)
  • {{PromptE}}:权重为1.1025,等于(PromptE:1.05*1.05)
  • [[PromptF]]:权重为0.905504,等于(PromptF:0.952*0.952)

此外,根据标签的位置,权重也会受到影响。比如,如果景色标签在前,人物可能会被缩小;反之,人物可能会变大或显示为半身。

⑤ Euler a 取样方法

使用Euler a取样方法生成图像,本文案例使用下面的配置:

正向提示词:((studio ghibli)), (1cute girl) walking in street, half body,反向提示词:easynegative取样方法:Euler a 取样步骤:65 高解析度修正(Hires.fix):放大演算算法选择SwinIR_4x,高解析步骤为10,重绘幅度为0.71 提示次相关性(CFG):7 随机种子:3472141699 产生批次:1 每批数量:8

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AIGC_11

然后生成如下图,宫崎骏动漫里的夏天真的太好看啦

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_stablediffusion_12

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_stablediffusion_13

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_stablediffusion_14

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_stablediffusion_15

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_stablediffusion_16

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AIGC_17

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_stablediffusion_18

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AIGC_19

Euler a的优势适用性:欧拉采样方法在生成二次元图像中可能不是首选,因为它主要用于模拟物理系统或动态系统的数值积分,对于艺术风格的图像生成并不是其主要应用。特点: 欧拉方法更适用于模拟动态系统中的物体运动或相机路径等,对于艺术性较高的二次元图像可能无法提供所需的效果和细节。

⑥ DPM++ 2M Karras 取样方法

之后了解到DPM++ 2M Karras基于深度学习和神经网络技术,能够生成高质量、细节丰富的图像。Euler采样方法主要用于模拟物理系统或动态系统的数值积分,对于艺术风格的图像生成并不是其主要应用。因此将取样方法修改为DPM++ 2M Karras,并对其他属性做了调整,如下:

正向提示词:((studio ghibli)), (1cute girl) walking in street, half body,反向提示词:easynegative取样方法:DPM++ 2M Karras 取样步骤:60 高解析度修正(Hires.fix):放大演算算法选择SwinIR_4x,高解析步骤为10,重绘幅度为0.4 提示次相关性(CFG):7 随机种子:3472141699 产生批次:1 每批数量:8

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AIGC_20

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AI_21

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AI_22

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_stablediffusion_23

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_stablediffusion_24

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_stablediffusion_25

StableDiffusionWebUI 让我找到了宫崎骏动漫里的夏天_AI_26

很明显可以看出来两个取样方法生成的图片有很大的不同,用DPM++ 2M Karras方法生成的图片色彩更鲜艳,人物形象也更生动。

DPM++ 2M Karras 的优势适用性: DPM++ 2M Karras可能更适合生成二次元图像,因为它基于深度学习和神经网络技术,能够生成高质量、细节丰富的图像。特点:这种方法能够更好地保持模型的细节,并且可以更快速地生成需要的图像。它适用于生成二次元风格的图像,特别是在处理角色造型、背景细节等方面有着较好的效果。

⑦ 新增提示词案例

依旧使用上面的DPM++ 2M Karras方法取样,新增一些正向提示词和反向提示词,看看与上面生成的图片有什么不同,本次配置提示词更丰富,限制的要求比较多。

提示词

描述

prompt

((studio ghibli)), (1cute girl) walking in street, half body, 64K, Professional,Makoto Shinkai, Katsuhiro Otomo, Masashi Kishimoto, Kentaro Miura

negative prompt

(low quality, worst quality:1.4), (bad_prompt:0.8), (monochrome:1.1), (greyscale), username, watermark, signature, text, logo, nsfw





可以看到生成的图片虽然使用了DPM++ 2M Karras取样方法,但是新添加的提示词(64K, Professional,Makoto Shinkai, Katsuhiro Otomo, Masashi Kishimoto, Kentaro Miura)的作用也是非常明显,生的的图像色彩对比更明显,图像的细节也更多了。并且图像的面部、肢体也和正常人物形象没有什么很大差别,并没有出现多余的肢体、畸形的手等变异的地方。

四、总结

StableDiffusionWebUI 的出神入化让我十分震惊,HAI不仅可以构建应用,而且也提供了部署的功能,这让我一个嫌麻烦的人似乎找到了归宿。本来自己构建模型的话就挺复杂了,HAI 彻底解决了我的问题。在体验过程中,对 HAI 构建应用有一些自己的看法:

缺陷以及优化建议:

1、构建HAI应用地域的选择有点少,像北京这样的一线城市选项竟然么有,有一些诧异。

2、生成图像过程中会出现卡顿现象,虽然显示图像在生成中,但是进度一直不动,卡的时间比较长,只能重启应用来解决问题,如果能监控到图像生成的问题并给予提示就更好了。个人认为是算力不够,在处理更大尺寸的图像、采样步数过大等问题,会有限制。

3、对于有经验的使用者,对目标图像生成时,配置参数有自己的着重点。但是对于新手使用,提示词积累比较少,生成图像可能跟自己的预期大相径庭,能提供一些提示词案例就更好了。

优点:

1、HAI 提供了简单易用的API接口和友好的开发工具,方便用户开发和调试。

2、快速构建和部署,我觉得这是很多使用者都能看到的优点,真的很方便。

3、HAI 使用先进的架构和算法,能够处理大量并发请求,并提供高吞吐量和低延迟的服务,这让使用者在使用应用过程中体验更好。

4、可以搭建一套服务,让多个应用一起使用,这样不仅节约了经费,还节省了时间。

附:HAI官方地址:https://cloud.tencent.com/product/hai

标签:提示,宫崎骏,HAI,AI,模型,StableDiffusionWebUI,生成,动漫,图像
From: https://blog.51cto.com/u_15885506/12402553

相关文章

  • NodeJS动漫论坛-计算机毕业设计源码09947
    基于微信小程序的动漫论坛摘 要随着移动互联网的飞速发展,智能手机和移动互联网已经成为人们日常生活中不可或缺的一部分。在这样的背景下,微信小程序应运而生,凭借其无需下载安装、即用即走的特点,迅速成为连接用户与服务的桥梁。动漫作为一种深受年轻人喜爱的文化形式,拥有庞......
  • 568. 蜡笔小新动漫主题 大学生期末大作业 Web前端网页制作 html+css+js
    目录一、网页概述二、网页文件三、网页效果四、代码展示1.html2.CSS3.JS五、总结1.简洁实用2.使用方便3.整体性好4.形象突出5.交互式强六、更多推荐欢迎光临仙女的网页世界!这里有各行各业的Web前端网页制作的案例,样式齐全新颖,并持续更新!感谢CSDN,提供了这......
  • 566. 火影忍者动漫主题网页 大学生期末大作业 Web前端网页制作 html+css
    目录一、网页概述二、网页文件 三、网页效果四、代码展示1.html2.CSS五、总结1.简洁实用2.使用方便3.整体性好4.形象突出5.交互式强六、更多推荐欢迎光临仙女的网页世界!这里有各行各业的Web前端网页制作的案例,样式齐全新颖,并持续更新!感谢CSDN,提供了这么好......
  • 【毕业设计】基于SpringBoot + Vue的国产动漫网站
    在互联网与动漫产业迅速发展的今天,越来越多的用户期待能在专业网站上获取最新、最全的国产动漫信息。基于这一需求,本文档详细介绍了一个国产动漫网站的设计与实现过程。该项目通过Java语言和MySQL数据库构建,实现了用户与动漫资源间的互动,旨在为国产动漫爱好者提供一站式的信息......
  • 计算机毕业设计Spark+大模型动漫推荐系统 动漫视频推荐系统 漫画分析可视化大屏 漫画
    《Spark+大模型动漫推荐系统》开题报告与任务书一、引言随着互联网技术的飞速发展,动漫产业的数据量急剧增长。用户面临着海量动漫作品的选择难题,如何从这些数据中高效地提取有价值的信息,为用户推荐符合其喜好的动漫作品,成为当前动漫产业亟需解决的问题。基于Spark的大数据处......
  • AI动漫翻唱项目玩法拆解,起号涨粉咔咔猛,实操干货分享
    最近,一种把AI技术和动漫翻唱结合起来的视频,在各大平台火了起来,成了社交媒体的新热门。下面,我们就来聊聊这种视频的制作方法和赚钱技巧,希望能给你的副业加点料。一、AI动漫翻唱视频的魅力AI动漫翻唱视频能迅速圈粉,主要是因为它新颖又好玩。有了AI技术,动漫角色好像活了过......
  • 基于Node.js+vue动漫模型仓储管理系统(开题+程序+论文) 计算机毕业设计
    本系统(程序+源码+数据库+调试部署+开发环境)带文档lw万字以上,文末可获取源码系统程序文件列表开题报告内容一、选题背景关于动漫模型仓储管理的研究,现有研究主要以传统仓储管理为主,专门针对动漫模型这一特殊品类的仓储管理研究较少。在国内外,传统仓储管理在普通商品领域已......
  • stable diffusion安装ai绘画真人动漫win中文版软件
    前言所有的AI设计工具,安装包、模型和插件,都已经整理好了,......
  • 基于nodejs+vue基于SpringBoot动漫电影网站[开题+源码+程序+论文]计算机毕业设计
    本系统(程序+源码+数据库+调试部署+开发环境)带文档lw万字以上,文末可获取源码系统程序文件列表开题报告内容一、选题背景关于动漫电影网站的研究,现有研究主要以通用视频网站或单纯动漫网站的构建为主,专门针对结合动漫电影以及手办商城等多功能于一体的SpringBoot动漫电影网......
  • |动漫爬取|001_djangodjango基于Spark的国漫推荐系统的设计与实现2024_tpd6q1o4
    目录系统展示开发背景代码实现项目案例 获取源码博主介绍:CodeMentor毕业设计领航者、全网关注者30W+群落,InfoQ特邀专栏作家、技术博客领航者、InfoQ新星培育计划导师、Web开发领域杰出贡献者,博客领航之星、开发者头条/腾讯云/AWS/Wired等平台优选内容创作者、深耕Web......