Lecture 12 Real-Time Ray Tracing

Basic idea

sample per pixel PPS

1 SPP path tracing = $$\downarrow$$

• camera出发打到求出第一个交点（像素上看到的点），这一步是primary ray（工业上实际用rasterization）
  • 工业上这一步有一个技巧
  • 将这一步改为光栅化
  • 因为每个像素都要从camera出发打一条光线看打到了什么，这一步和光栅化做法一模一样
  • 并且光栅化更快
• 从第一个交点和光源做连接，做light sampling， 看是否可见（shadowing ray, primary visibility）
  • 这一步与前一步实现的是直接光照
• 从shading point上进行采样（secondary ray）
• secondary ray打到的点与光源连接，看是否能看到光源 (secondary visibility)

通过RTX硬件加速能够做1SPP的光追(2080ti时代)，但是得到的结果会有非常巨大的噪声

所以RTRT最关键的技术是Denoising降噪

目标（1SPP情况下）

• 质量（无overblur、无artifacts，保证所有细节）
  • overblur指滤波核过大，导致结果过于模糊
  • 看起来奇怪的地方，是可见的bug
• 速度 一般每帧2ms以内，最多不超过5ms

这些要求达不到

• Sheared filtering series (SF, AAF, FSF, MAAF, ...)
• 离线滤波方法
• 深度学习系列 (CNN, Autoencoder, ...)
  • 稍微复杂的网络跑一遍就得几十到几百ms了

工业界的做法，核心是Temporal

Key idea

• 认为前一帧是滤波好的，复用它
• 所有运动都是连续的，没有突然的变化（实际上不可能）
• 使用motion vector找到上一帧的位置
• 通过这种方法相当于增加了SPP
  • 并不是增加了1SPP，因为这是一个递归的思路，每一帧都利用上
  • 是一个指数下降
• Spatial?空间上怎么降噪？

Motion vector

G-Buffers

Geometry buffer 几何缓冲区

• 渲染过程中可以免费得到的额外信息
  • 代价很小，可以认为免费（轻量级）
• 一般有每像素深度、法线、世界坐标等等
• 只有屏幕空间信息
• G-buffer是第一趟光栅化代替光追时得到的

Back Projection

要求当前帧$$i$$中的像素$$x$$在前一帧$$i-1$$中的位置，两种做法都可以

• 当前帧$$i$$中的像素$$x$$在前一帧$$i-1$$中的位置

  • 从后项求前项

• 前一帧$$i-1$$中的哪个像素包含当前帧$$i$$的同一个地方/点

  • 从前项求后项

要求像素的世界坐标有两种方法，二选一

• 直接从G-buffer中获取（推荐）

• \[s=M^{-1}V^{-1}P^{-1}E^{-1}x$$，这里$$E$$是视口变换 - 要变回齐次坐标，所以输入不能是2D的屏幕坐标，得是带深度的齐次坐标 - 注意视口变换没有改变深度值 - 关于为什么要乘以Model矩阵的逆矩阵，因为场景中的问题可能会移动，乘以当前帧这个物体的$M^{-1}$，找到`localPosition`，再乘以上一帧这个物体的$M$矩阵就能准确得到世界坐标 \]

• 如果物体发生了运动，那么运动向量$$T$$已知

  • \[s'\stackrel{T}{\rightarrow}s$$，则$$s'=T^{-1}s \]

  • s是局部坐标系
  • Motion Vector是两帧同一个像素的屏幕空间坐标之差
• 该像素在上一帧的对应$$x'=E'P'V'M's'$$
  • 在计算机视觉里求上一帧像素位置的操作叫optical flow光流
  • 图形学的这种计算是准确的
  • 而光流是基于内容的，不准确
• 这些操作都是在图像上的
• 物体移动后的光线信息可能会改变

Temporal accumulation / filtering

于是就可以将当前帧有noise的图和上一帧没有noise的图结合在一起

最简单的做法就是做一个线性blending

• 首先先对当前帧做一个特殊的降噪

  • \[\overline C^{(i)}=Filter[\widetilde C^{(i)}] \]
    • 无法仅依赖于当前帧的降噪，因为在1SPP单纯降噪效果不够
• 再做一个线性blending

  • \[\overline C^{(i)}=\alpha \overline C^{(i)}+(1-\alpha)C^{(i-1)} \]

• 如何平衡$$\alpha$$的数值？
  • 一般取$$0.1\sim 0.2$$
  • 说明$$80%\sim90%$$是来源于上一帧
• 如果两帧之间光照变化，就不能依赖上一帧了
• 降噪后明显变亮了？
  • 实际没有变亮，降噪前后是能量守恒的
  • 原因是降噪前某些噪点的亮度超过显示器范围，被clamp到了1
  • 所以显得暗了
  • 滤波绝对不会使一张图变亮或者变暗

Failure cases

• case 1: switching scenes 这是shading上的问题

  切换场景、切换光照、切换镜头都会导致上一帧不能复用

  需要一个burn-in period积累前几帧的信息

  

  这里是一个光源移动的例子，场景和camera没有移动，所以motion vector是0，这样沿用上一帧会导致阴影拖尾 (detached/lagging shadows)

• case 2: 倒退着走（屏幕空间问题）

  

  因为倒退着走时，越来越到的信息出现在屏幕中，会导致新出现到屏幕中的点在上一帧找不到对应

  如图中倒退着走，越来越多的东西会出现在镜头中

• case 3: 突然出现的背景 disocclusion问题 同样是屏幕空间问题

  

  当箱子移动后，右侧当前帧蓝点在左侧前一帧对应的位置正确，但是在上一帧，这个物体处于被遮挡的状态，导致其实找不到正确的信息

  这也是一种屏幕空间问题，因为这一点在上一帧被遮挡，根本没有存它的信息

  • 那么要将上一帧拆成不同深度吗？

    不要，开销太大了

• case 4: glossy reflection 在shading上的问题

  反射物移动，反射接收物不动（地板），会导致反射光滞后

  

motion vector只反映了物体在几何上的变化，在shading上的错误通过传统的motion vector没办法解决

错误处理

• 无视错误，强行复用上一帧

  • 造成lagging 拖尾

• Clamping

  比如failure case3中，造成拖影的原因是将上一帧错误的黄色用在这一帧白色的地方

  那么任何时候应用上一帧的值的时候，都先将上一帧的值拉近到当前帧的结果(Clamping)，再去做blending，就看不出问题了

  • 极端情况

    • 如果拉的过大，太过偏离上一帧的结果，接近当前帧的结果，那么用上一帧就没意义了
    • 取当前帧该点(空间上)周围一个范围，求出均值和方差，将上一帧没有noise的值clamp到这个范围内（均值$$\pm$$几个方差 ）
    • 注意是将上一帧的结果拉到当前帧，如果将当前帧结果拉到上一帧，拖影就更严重了

  • 当然会有噪声，原本拖影的地方变成噪声了

• Detection

  检测要不要用上一帧的信息

  • 使用object ID
  • 调整$$\alpha$$，非0即1，或者根据偏差的情况调整
    • 上一帧没有noise，当前帧有noise，调整后更多地依赖当前帧，noise也就更多了
  • 尽可能增强或者增大filter
    • 让当前帧更糊了，不过总比噪声好

• 两种方法都相当于重新引入了noise

Temporal Anti-Aliasing (TAA)

Temporal accumulation / filtering和TAA 时间上抗锯齿的概念基本等同

二者都是复用上一帧对应的位置，相当于提高一个像素的采样数，从而减少锯齿

*一切利用Temporal的方法都差不多，包括DLSS

• Temporally Reliable Motion Vectors for Real-time Ray Tracing
  • Eurographics (EG)
  • 这篇论文提出了一些motion vector，让它可以追踪阴影、反射、遮挡出现的变化，从而部分解决前面提到的Shading上的failure
  • 但是无法解决屏幕空间问题，因为就是不知道屏幕外的信息，无法解决