1.introduction
PKU PosterLayout包括9974对海报布局和905张图像,DSF设计序列生成算法,一种基于CNN-LSTM的生成对抗网络(DS-GAN),受到图像的条件制约,学习设计序列的分布,从而生成具有内容感知的视觉-文本展示布局。
2.Related work
LayoutGAN,LayoutGAN++,CGL-GAN。
3.A New Benchmark:PKU PosterLayout
预定义的元素类型ElementType,目标画布Canvas,尺度(布局和画布数据的数量)以及多样性(即海报的类别)。从电子商务海报数据集(阿里的文字擦除算法开源的电商海报数据集)的子集中选取海报,并定义了元素类型,每个海报都配有一组包含n个元素的布局,L={ei|i=0,1,...n-1},每个元素e由其类型c和边界框b=[x1,y1,x2,y2]表示,代表左上角和右下角坐标。定义了三种元素,文本,logo和底层装饰(在任何元素下方或者周围的装饰)。在标注时,每个底层装饰必须独立装饰至少一个文本或者logo。
手动标注低效,目标检测辅助,lama去掉不需要元素,接着,通过搜索收集背景和产品图片,已创建不同质量的画布,同时确保每个类型中的数量均衡,总共由9个类型,包括食品/饮料,化妆品/配饰,电子产品/办公用品、玩具/乐器、服装、体育/交通、杂货、家电/装饰和新鲜农产品。
4.proposed approach
4.1 Design sequence formation
行为通过设计序列表示,这些序列反映了设计师在画布上放置元素的顺序,主要原则是最有信息、最重要的元素放在前面。
4.2 Design Sequence GAN
提出了一种基于CNN-LSTM的GAN,借助DSF,布局生成转化为一个新颖的行为建模问题,
使用随机初始化的布局(生成器中)或真实/伪造样本(判别器中)设计的序列直接输入到CNN-LSTM模型,无需额外的输入层。生成器和判别器都采用上述结构,即以视觉特征作为初始隐藏状态,以设计序列作为输入的CNN-LSTM模型,在生成器中,额外链接了两个全连接层,将CNN-LSTM模型输出解码为生成设计序列中每个元素类型和边界框,将有效元素转换为布局。使用Ladv,Lrec。
5.Experiments
标签:海报,layout,GAN,元素,benchmark,序列,CNN,LSTM,presentation From: https://blog.csdn.net/u012193416/article/details/139271268