在《AIGC文生图技术入门:Rectified Flow字体生成》一文中,控制条件是字符编码,我们难以控制生成图片的字体风格,只能通过改变输入高斯噪声,生成大量图片,从中筛选符合要求的,这样使用起来很不方便。
在本实验中,我们将修改控制条件为:
条件1:字符编码
条件2:字体类型编码
条件1是严格条件,条件2是非严格条件,即生成的字体必须严格满足条件1,但不需要严格满足条件2
我们定义严格程度变量(0%到100%),条件1的严格程度固定为100%,条件2的严格程度由用户自定义
因为我们希望创造出一种新的字体类型,而不是造字,所以生成的图片必须严格满足条件1,而不能严格满足条件2
下面是网上找的一张图:
图片来源:https://www.zhihu.com/question/628375704/answer/3343109727
可以看到虽然生成图片中的字体风格没问题,但是根本认不出写的是什么字,也就是说没有严格满足条件1
如何在网络中引入严格程度变量呢?一个未经验证的想法是:假设条件2的严格程度为50%,条件2的字符类型为“宋体”,此时我们可以按50%的概率选择“宋体”,50%的概率选择其它字体类型
引入条件2后,重新训练模型,使用单卡(RTX4090)训练约15个小时,生成图片效果如下:
可以看到生成字体的风格一致性更好
初步结论:在开发生成模型时,从高斯噪声还原图片,我觉得应尽可能少地将控制条件隐含在输入噪声中
标签:满足条件,Flow,生成,严格,Rectified,字体,条件,图片 From: https://blog.csdn.net/weixin_42885381/article/details/144531181