EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks
Introduction
使用单视角2D图片集，无监督地生成高质量且视角一致性强的3D模型，一直以来都是一个挑战。现存的3D GANs要不计算量巨大，要不无法保证3D-consistent。前者限制了生成图片的质量，后者无法解决视角一致性的问题。这篇工作提出的新网络架构，能又快又好地生成3D geometry。
这篇工作提出了两个方法。首先，作者用显隐混合的方法，提高了时空效率，并有较高的质量。第二，提出了dual-discrimination策略，保证了多视角一致性。同时，还引入了pose-based conditioning to the generator，可以解耦pose相关的参数，保证了输出的视角一致性，同时忠实地重建数据集隐含的pose-correlated参数。
同时，这个框架能解耦特征生成和神经渲染，从而可以直接使用SOTA的2D GANs，比如StyleGAN2。
Tri-Plane Hybrid 3D Representation
我们需要一种高效且表达力强的3D表示方法，来训练高分辨率的GAN。
这里以单场景过拟合(SSO)来证明三平面表示法的有效性。
每个平面都是\(N\times N \times C\)的，其中\(C\)是通道数。
每次查询一个3D坐标\(\mathbf{x} \in \mathbb{R}^3\)，将其投影至每个平面上，用双线性插值得到3个特征向量\(F_{xy},F_{xz},F_{yz}\)
将这3个特征向量累加后，通过一个轻量级的decoder，也就是一个小型MLP，输出RGB和Density
再用volume rendering得到最终图像
这样做的好处是，decoder规模很小，赋予了显式表示更强的表达能力，并减小了计算压力
在新视角合成的实验上，三平面紧凑而富有表达力，以更低的计算成本，得到了更好的表现
三平面的时空成本是\(O(N^2)\)的，而voxel是\(O(N^3)\)的
最重要的是，用2D GANs生成planes，就能得到3D表示
3D GAN Framework
CNN Generator Backbone & Rendering
三平面的特征，是由StyleGANA生成的，同时Latent Code和相机参数会输入Mapping Network，生成一个Intermediate Latent Code
StyleGAN2被修改后，输出\(256\times 256\times 96\)的特征图，之后被reshape成32通道的平面
接着从三平面采样，累加后，通过轻量级decoder，生成density和32通道的特征，然后由neural volume renderer生成2D特征图（而非RGB图）
Super Resolution
三平面仍不足以直接生成高分辨率图，因此添加了超分模块
使用了2个StyleGAN2的卷积层，上采样并优化32通道特征图，得到最终的RGB图像
Dual Discrimination
对StyleGAN2的discrimination做了两个修改
首先，添加Dual Discrimination以保证生成图片的视角一致性，即保证原始图片（低分辨率生成的）和超分后的图片的一致性，将低分辨率图片直接双线性上采样后，和超分图片concat形成6通道图片，真实图片也模糊后的自己拼接，也形成6通道图片，进行判别。
这样做，不仅能encourage最终输出和真实图片的分布匹配，也让神经渲染器尽可能匹配下采样的真实图片，并让超分图片和神经渲染保持一致。
其次，作者对discriminator输入了相机内外参，作为一个conditioning label，从而让generator学到正确的3D先验。
Modeling Pose-Correlated Attributes
真实世界数据集如FFHQ，相机姿态与其他参数（如表情）有关联
比如，相机角度与人是否微笑是有关系的，这会导致生成结果视角不一致
因此，为了更好的生成质量，需要将这些参数与相机姿态解耦
这篇工作使用了Generator Pose Conditioning解耦pose和其他参数
Mapping Network不仅接受Latent Code，还接受相机参数做为输入
给予backbone相机姿态作为先验，从而让视角可以和生成产生联系
也就是说，generator可以建模数据集中隐式的pose dependent biases，更忠实地反映数据集特征
为了避免在渲染时因相机移动产生视角不一致，在渲染时保持generator输入的相机参数不变
标签：EG3D,视角,Efficient,Adversarial,生成,相机,平面,图片,3D From： https://www.cnblogs.com/ghostcai/p/16615616.html