首页 > 其他分享 >Stable Diffusion【二次元模型】:超级出色的动漫大模型

Stable Diffusion【二次元模型】:超级出色的动漫大模型

时间:2024-06-15 11:32:13浏览次数:24  
标签:Diffusion XL 提示 标签 模型 二次元 3.1 quality Animagine

今天给大家介绍的是一个动漫风格的大模型Animagine XL 3.1。

Animagine XL 3.1 基于 Stable Diffusion XL 构建,旨在通过生成准确而详细的动漫角色,成为动漫迷、艺术家和内容创作者的宝贵资源。

Animagine XL 3.1 是 Animagine XL V3 系列的升级更新,增强了之前的 Animagine XL 3.0版本,经过升级改进,可以生成更高质量的动漫风格图像。它增强了手部解剖结构能力、改进了概念理解和提示词解析能力。

一. Animagine XL 3.1模型使用指南

在C站官网给出了该模型的使用指南,这里我们梳理一下重点,以便加强对这个模型的理解和使用。

1. 结构化的提示词模版

Prompt:1girl/1boy, character name, from what series, everything else in any order.

提示词:1男孩/1女孩,什么角色,来自哪个系列,其他描述词

例如:

Prompt:1girl, tifa lockhart, final fantasy

提示词:女孩,蒂法·洛克哈特,最终幻想

当然我们也可以不参照官方的提示词模版,直接自己写提示词。不过最好还是按照官方的结构化提示词模版来写,这样效果最好。

2. 特殊标签

Animagine XL 3.1 利用特殊标签来指导最终生成图片结果的质量、评级、创建日期和美观。虽然模型可以生成没有这些标签的图像,但使用它们可以帮助获得更好的结果。

(1)质量标签:用于控制图片的质量

质量标签通过给标签评分,以确保平衡的质量分布。改进了标签以提高清晰度,例如将“高质量(high quality)”更改为“优质(great quality)”。

Quality Modifier	Score Criterion  
masterpiece(高质量)	        > 95%  
best quality(最好的质量)	> 85% & ≤ 95%  
great quality(优秀的质量)	> 75% & ≤ 85%  
good quality(高品质)	        > 50% & ≤ 75%  
normal quality(正常质量)	> 25% & ≤ 50%  
low quality(低质量)	        > 10% & ≤ 25%  
worst quality(最差质量)	≤ 10%

为了简单和清晰,简化了评级标签,旨在建立可应用于不同模型的全局规则。例如,标签“评级:一般(rating: general)”现在只是“一般(general)”,“评级:敏感(rating: sensitive)”已压缩为“敏感(sensitive)”。

Rating Modifier	    Rating Criterion  
safe	            General  
sensitive	    Sensitive  
nsfw	            Questionable  
explicit, nsfw	    Explicit

(2)年份标签

重新定义了年份的范围,以更准确地区分是特定的现代艺术风格还是复古动漫艺术风格。

Year Tag	Year Range  
newest(最新)	        2021 to 2024  
recent(最近)	        2018 to 2020  
mid(中期)	        2015 to 2017  
early(早期)	        2011 to 2014  
oldest(最老)	        2005 to 2010

(3)美学标签

通过美观标签增强图片的画面美观程度,根据视觉吸引力完善内容分类。这些标签源自专门的 ViT(Vision Transformer)图像分类模型所做的评估,该模型专门针对动漫数据进行了训练。为此,使用了模型shadowlilac/aesthetic-shadow-v2,它在接受训练之前评估内容的美学价值。这确保了每条内容不仅相关且准确,而且具有视觉吸引力。

Aesthetic Tag	                    Score Range  
very aesthetic(非常美观)	       > 0.71  
aesthetic(审美)	               > 0.45 & < 0.71  
displeasing(令人不愉快的)	       > 0.27 & < 0.45  
very displeasing(非常令人不愉快的)     ≤ 0.27

上面介绍的推荐标签,大家在写提示词的时候注意一下这些关键词的描述即可。

3. 推荐设置

(1)正向提示词

为了获得更高质量的结果,在正向提示前添加以下关键词

masterpiece, best quality, very aesthetic, absurdres

(2) 反向提示词

为了引导模型生成高美观的图像,使用负面提示词

nsfw, lowres, (bad), text, error, fewer, extra, missing, worst quality, jpeg artifacts, low quality, watermark, unfinished, displeasing, oldest, early, chromatic aberration, signature, extra digits, artistic error, username, scan, [abstract]

(3)该模型推荐的参数设置:

  • 采样器:Eular a

  • 采样迭代步数:低于30

  • CFG:5-7

(4)分辨率

该模型支持生成以下尺寸的图像

Dimensions	Aspect Ratio  
1024 x 1024	1:1 Square  
1152 x 896	9:7  
896 x 1152	7:9  
1216 x 832	19:13  
832 x 1216	13:19  
1344 x 768	7:4 Horizontal  
768 x 1344	4:7 Vertical  
1536 x 640	12:5 Horizontal  
640 x 1536	5:12 Vertical

4. 局限性

(1)以动漫为中心:此模型专为生成动漫风格的图像而设计,不适合创建逼真的照片。

(2)提示词复杂性:此模型可能不适合希望通过简短提示词获得高质量结果。该模型的重点是概念理解而不是审美细化,因此可能需要更详细和更具体的提示词才能实现想要的效果。

(3)提示词格式:Animagine XL 3.1 针对 Danbooru 风格的标签而不是自然语言提示词进行了优化。为了获得最佳结果,鼓励用户使用适当的标签和语法来格式化提示词。

(4)解剖学和手部渲染:尽管在解剖学和手部渲染方面做出了改进,但仍然存在模型在这些领域产生次优结果的情况。

(5)数据集大小:用于训练 Animagine XL 3.1 的数据集包含大约 870,000 张图像。与上一次迭代的数据集(120 万)相结合,总共训练的数据约为 210 万张图像。尽管数据集大小很大,但对于“终极”动漫模型来说,该数据集大小仍可能被认为是有限的。

(6)NSFW 内容:Animagine XL 3.1 旨在生成更加平衡的 NSFW 内容。然而,值得注意的是,即使没有明确提示,该模型仍然可能产生 NSFW 结果。

Animagine XL 3.1的目标是为用户提供透明度并设定符合用户实际需求的模型。尽管存在这些限制,我们相信该模型代表了动漫风格图像生成的重要一步,并为艺术家、设计师和爱好者提供了强大的工具。

二. 模型下载地址和使用体验地址

模型下载地址

C站:https://civitai.com/models/260267

Huggingface: https://huggingface.co/cagliostrolab/animagine-xl-3.1/tree/main

TensorArt

https://tensor.art/models/706485991197825616

模型使用体验地址

**Huggingface:**https://huggingface.co/spaces/cagliostrolab/animagine-xl-3.1

SeaArt.ai:https://www.seaart.ai/zhCN

三. 模型对比

1. Animagine XL 3.1 与Animagine XL 3.0

正向提示词:best quality, 1girl

反向提示词:worst quality, low quality, nomal quality, bad anatomy, NSFW

Animagine XL 3.0

Animagine XL 3.1​​

强光源、露出耳朵的发型、逆光感等主要特征依然存在,但Animagine XL 3.0特有的长缝眼睛和粉红脸颊不再明显,曝光度也有所降低。另外,在Animagine XL 3.0中,虽然有一种皮肤有光泽的感觉,但这种感觉也有所减弱,整体感觉更加平静。

此外,Animagine XL 3.1 中的线条比 Animagine XL 3.0 中的线条更细、更清晰,而且感觉不那么厚重和立体,使其更加平坦。

2. Animagine XL 3.1美学标签比较

从上面图片可以看出,美学标签对于图片中线条的清晰度和颜色的变化会产生一些影响。如果使用质量低的标签,手指可能会看起来断了。

3. Animagine XL 3.1年份标签比较

年份标签中年份长(oldest)并不意味着品质就会下降,可以根据自己需要的风格来使用。

红润、狭长、锐利的眼睛是newest、late才有的特征,而mid以下则较为自然。

4. Animagine XL 3.1年份标签和美学标签的效果比较

感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。

提示词

Stable Diffusion 最强提示词手册

  • Stable Diffusion介绍
  • OpenArt介绍
  • 提示词(Prompt) 工程介绍

在这里插入图片描述

第一章、提示词格式

  • 提问引导
  • 示例
  • 单词的顺序

在这里插入图片描述

有需要的朋友,可以点击下方卡片免费领取!

第二章、修饰词(Modifiers)

  • Photography/摄影
  • Art Mediums/艺术媒介
  • Artists/艺术家
  • Illustration/插图
  • Emotions/情感
  • Aesthetics/美学

在这里插入图片描述

在这里插入图片描述

第三章、 Magic words(咒语)

  • Highly detailed/高细节
  • Professional/专业
  • Vivid Colors/鲜艳的颜色
  • Bokeh/背景虚化
  • Sketch vs Painting/素描 vs 绘画

在这里插入图片描述

第四章、Stable Diffusion参数

  • Resolution/分辨率
  • CFC/提词相关性
  • Step count/步数
  • Seed/种子
  • Sampler/采样
  • 反向提示词(Prompt)

在这里插入图片描述

第5章 img2img(图生图),in/outpainting(扩展/重绘)

  • 将草图转化为专业艺术作品
  • 风格转换
  • lmg2lmg 变体
  • Img2lmg+多个AI问题
  • lmg2lmg 低强度变体
  • 重绘
  • 扩展/裁剪

第6章 重要提示

  • 词语的顺序和词语本身一样重要
  • 不要忘记常规工具
  • 反向提示词(Prompt)

第7章 OpenArt展示

  • 提示词 (Prompt)
  • 案例展示

  • 在这里插入图片描述

标签:Diffusion,XL,提示,标签,模型,二次元,3.1,quality,Animagine
From: https://blog.csdn.net/2401_85688943/article/details/139699103

相关文章

  • AI预测福彩3D采取888=3策略+和值012路或胆码测试6月15日新模型预测第5弹
            今天咱们继续验证新模型的8码定位=3,目前新模型新算法8码定位经过4次测试,已命中3次,9码定位连续命中4次。咱们重点是预测8码定位=3+和值012+胆码。有些朋友看到我最近几篇文章没有给大家提供缩水后的预测详情,在这里解释下:其实我每篇文章中既有8码定位,也有和值012......
  • Stable Diffusion 3来啦!一键启动!免费使用(附一键安装包)
    本文简介千盼万盼,终于等到StabilityAI开源了StableDiffusion3Medium模型了。这个号称比MJ更牛的模型可以在民用电脑跑起来。本文简单介绍怎么才能用上这个模型~先来看看官方给出的样张。闲话不多说,先看看怎么用起来。简简单单只需几步:下载ComfyUI下载stab......
  • 大模型技术工程师:抓住时代机遇,成为行业精英_
    伴随AI大模型的火热,中国科技大厂们正在掀起一场「跑步AI化」的风暴。从顶层战略到业务线重构,AI无疑已成为大厂们押注未来的新故事。大模型时代已经到来大模型已成为全球竞争热点,一个大模型时代已经到来。大模型具备三个特点:规模大,需达到百亿参数级别;涌现性,能够产生预料之......
  • 解析企业私有化大模型的核心价值:安全、定制与竞争力提升 —— 为何AI专家成职场新宠?
    随着人工智能技术的快速发展,越来越多的企业开始意识到人工智能对于业务发展的重要性。而其中,大模型作为一种先进的人工智能技术,具有强大的拟合能力和泛化性能,已经被广泛应用于各种领域。对于企业而言,拥有私有化专属大模型是非常必要的,以下是几个主要原因:一、提升业务效率和......
  • AI大佬吴恩达+OpenAI团队编写:面向大模型入门者的 LLM CookBook 汉化版
    粉丝们久等了!!!我又来更LLM大模型的必备读物啦!这次给大家推荐的是AI圈无人不知的吴恩达大佬+OpenAI团队一起编写的大模型入门文档,也就是这本:大型语言模型(LLM)的权威文档<面向开发者的LLM入门PDF>在Github上已经高达56.8kstar了,这含金量啧啧啧朋友们如果有需要这份《LLMC......
  • 爆火的AI Agent到底是什么?有了大模型为什么还需要AI Agent?
    “AIagent是AI与具体应用场景结合落地的一种方式,大模型需要agent来实现功能的扩展。”如果把AI比作一个人,那么大模型就是人的大脑,AIagent就是大模型的手和脚,AI只有借助手和脚才能实现更多的功能。01为什么需要AIagent‍‍‍‍‍‍‍‍要想弄明白什么是AIagent,那么就......
  • AI大佬吴恩达+OpenAI团队编写:面向大模型入门者的 LLM CookBook 汉化版
    粉丝们久等了!!!我又来更LLM大模型的必备读物啦!这次给大家推荐的是AI圈无人不知的吴恩达大佬+OpenAI团队一起编写的大模型入门文档,也就是这本:大型语言模型(LLM)的权威文档<面向开发者的LLM入门PDF>在Github上已经高达56.8kstar了,这含金量啧啧啧朋友们如果有需要这份《LLMC......
  • SOFTS: 时间序列预测的最新模型以及Python使用示例
    近年来,深度学习一直在时间序列预测中追赶着提升树模型,其中新的架构已经逐渐为最先进的性能设定了新的标准。这一切都始于2020年的N-BEATS,然后是2022年的NHITS。2023年,PatchTST和TSMixer被提出,最近的iTransformer进一步提高了深度学习预测模型的性能。这是2024年4月《SOFTS:Effi......
  • 热门开源大模型项目推荐
    欢迎各位小伙伴收藏、点赞、留言、评论,推荐一些大模型项目,仅供各位参考学习。一:开源大模型热门项目推荐        NNI:由微软发布的开源AutoML工具包,支持神经网络超参数调整。最新版本对机器学习生命周期的各个环节做了全面支持,包括特征工程、神经网络架构搜索(NAS)、......
  • 大模型的忠诚度,字节开发seed-tts,提示词攻击介绍
    一支烟花官网:https://agifun.love智源社区《管理世界》黄甄魏娜梁正丨从三十余年纵向变迁看跨部门数据共享效果的动态演变机制点击阅读原文来源:http://mp.weixin.qq.com/s?__biz=MzU4MzYxOTIwOQ==&mid=2247510245&idx=1&sn=7942001e12be958e8b21a0d2c9de7723&chksm=f......