Datawhale X魔搭AI夏令营 AIGC方向Task02学习笔记
1.活动简介
从零入门AI生图原理&实践 是 Datawhale 2024 年 AI 夏令营第四期的学习活动( “AIGC”方向),基于魔搭社区 “ 可图Kolors-LoRA风格故事挑战赛 ” 开展的实践学习——
适合想 入门并实践 AIGC文生图、工作流搭建、LoRA微调 的学习者参与
学习内容提要:从通过代码实现AI文生图逐渐进阶,教程偏重图像工作流、微调、图像优化等思路,最后会简单介绍AIGC应用方向、数字人技术(选学)
2.理论部分
1.AI生图自破圈以来,被科研界、业界广泛关注,且引发了各大厂商的模型之战,如我们这次学习活动所需要用到的Kolors(可图)模型(点击即可跳转魔搭模型介绍页),就是其中的一个产物——
Kolors(可图)模型(点击即可跳转魔搭模型介绍页) 是快手开源的文本到图像生成模型,该模型具有对英语和汉语的深刻理解,并能够生成高质量、逼真的图像。
代码开源链接:https://github.com/Kwai-Kolors/Kolors
模型开源链接:https://modelscope.cn/models/Kwai-Kolors/Kolors
技术报告链接:https://github.com/Kwai-Kolors/Kolors/blob/master/imgs/Kolors_paper.pdf
魔搭研习社最佳实践说明:https://www.modelscope.cn/learn/575?pid=543
2.过去文生图主要以 SD 系列基础模型为主,仅支持英文的prompt,但可图是支持中文的文生图模型,文生图的prompt格式较为固定,魔搭社区还开源了专门的各种风格的可图优质咒语书(点击即可跳转),可以针对600+种不同风格,完善prompt,生成各种风格图片,可以在我们的学习当中使用——
3.实践部分
了解了理论之后,我们就开始实战——基于话剧的连环画制作
1.使用人工智能工具生成话剧并将其划分成八幕(我使用的是智谱,当然也可以使用通义、GPT等其他工具)
2.根据需求调整提示词
这一部分中大家可能会遇到人物不一致的问题,我通过查阅资料,这边给出一种解决方案:
prompt格式为:【明星A:明星B:小于1的一个系数(如0.4)】
理由:人工智能其实认识很多明星,我们可以使用这种提示词告诉人工智能先画40%的明星A再画60%的明星B,从而使生成的人物相似
最后展示我生成的八张图片:
最后提醒一下:图片生成具有强随机性,请大家耐心抽卡(我做了一个多小时才生成出这八张还不错的图片)
标签:可图,AI,模型,Datawhale,生成,文生,Kolors,夏令营 From: https://blog.csdn.net/2401_84407045/article/details/141202790