Lecture 04 Real-time Shadows 2
PCF and PCSS
PCF背后的数学知识
Filter / convolution:
如果对某个函数\(f\)做卷积，可以用\([\omega * f](p)=\underset{q \in \Nu (p)}{\sum}w(p,q)f(q)\)
比如PCSS中对某一点q周围区域做卷积求visibility
\(V(x)=\underset{q\in \Nu(p)}{\sum}w(p,q)\cdot \chi^+[D_{SM}(q)-D_{Scene}(x)]\)
\(\chi^+是一个符号函数，变量大于0为1，否则结果为0，对应了阴影比较结果（公式中SM指shadow map）\)
\[从公式上看\\ V(x)\neq \chi^+\{[w*D_{SM}(q)-D_{Scene}(x)\}\\ PCSS不是对ShadowMap做Filter，因为这样最终结果还是非0即1 \\\\ V(x)\neq \underset{y\in \Nu(x)}{\sum}w(x,y)V(q)\\ PCSS不是对硬阴影做Filter \]性能分析
PCSS算法：
- step 1: Blocker search
- step 2: Penumbra estimation
- step 3: Percentage Closer Filtering
step1和step3导致慢
优化方案：
-
step1和step3只对某些texel采样（近似），这样会导致visiblity图存在noise，可以对这张visibility图进行图像空间上的降噪（降噪方面详细见Real-time Raytracing）
噪声会导致flicker，flicker就是每一帧取的随机数不一样，每一帧的noise也不一样，每一帧都是noisy的，且播放速度很快，就会导致画面非常抖
-
Variance soft shadow mapping （VSSM / VSM）
Variance soft shadow mapping (VSSM/VSM)
可以理解为PCSS的快速版本
Step 3
PCSS的思想是取shading point对应点周围的深度，看有多少深度在阴影里，并平均（不加权的情况下）
在VSSM中，为了做第三步的PCF，想要知道自己在周围的深度中排百分之几，只要能拿到这个区域内的平均深度和方差，就能用正态分布近似了
- Mean (average) 平均值
- 使用MIPMAP，但是MIPMAP不准确，且只能是正方形的
- Summed Area Tables (SAT)，一个更精准的数据结构
- Variance 方差
- \(Var(X)=E(X^2)-E^2(X)\)，概率论中的公式，方差等于平方的均值减均值的平方
- 于是需要额外一张Shadow Map记录每个pixel深度的平方
- 一个texel中有RGBA四个通道，而depth只需一个通道，只要生成Shadow Map时，顺便将\(depth^2\)写在别的通道，根本就不需要额外一张Texture
有了正态分布PDF（概率分布函数），于是知道了有多少texel要比shading point对应点的深度小，有多少更大（百分比），只需统计面积即可
如果把有多少深度小于自己做成一张图，就是CDF 累计分布函数（右图）
如何求CDF？将积分的值打表，积分出的值叫\(error\ function\ 误差函数\)。积分没有解析解，只有数值解，C++中可用erf函数求解，于是就省去打表了
Chebychev 切比雪夫不等式
\(P(x>t) \le \frac{\sigma^2}{\sigma^2+(t-\mu)^2}\)
\(\mu为均值，\sigma为方差\)
如果有一个正态分布，知道均值，知道方差，就能定义出一个正态分布函数，给出自变量\(t\)，就能知道大于 \(t\)的概率有多少
-
切比雪夫不等式不需要知道这个分布是不是正态分布，它会认为这个一个比较简单的单峰分布，求得对应分布不会超过给出的结果，而在实时渲染中，一般不考虑不等，只考虑约等，所以直接当等于用了
-
但是切比雪夫不等式有一个苛刻的条件，那就是要查询的\(t\)必须在均值\(\mu\)的右边
因为我们要查询的是这个点被遮挡的概率（百分比），几乎就确定了它是被遮挡了一部分，因此它的深度往往比周围点的深度大
总结
- Perfomance
- 生成Shadow Map，同时生成平方深度map（写在Shadow Map另一个通道即可）
- 其他（让Shadow Map和平方Shadow Map能够支持范围查询的工作）
- Run time
- 查询均值：\(O(1)\)
- 查询方差：\(O(1)\)
- Chebychev : \(O(1)\)
- 完全不需要采样或者循环
- 完美解决step 3(?)
Step 1
-
Block search
Key idea
-
Blocker(\(z<t\) ), \(avg.Z_{occ}\)(想要求的东西)
-
Non-blocker(\(z>t\)), \(avg.Z_{unocc}\) (未知)
-
\(\frac{N_1}{N}z_{unocc}+\frac{N_2}{N}z_{occ}=z_{Avg}\)
-
近似：\(N_1/N=P(x>t),\ Chebychev\)
-
近似：\(N_2/N = 1-P(x>t)\)
-
继续近似：认为非遮挡物的深度与shading point一样 \(z_{unocc}=t\) (i.e. shadow receiver is a plane)
绝大多数阴影接收者是个平面
-
PCSS 对比 VSSM
VSSM不存在任何噪声，因为噪声只会由于采样数不足而产生，虽然VSSM做了很多假设，但没有进行部分采样
VSSM没有使用正态分布进行估计，使用的是切比雪夫
现在更多使用PCSS（部分采样），因为现在在图像空间降噪的手段越来越强， 于是对噪声的容忍度越来越高
MIPMAP and Summed-Area Variance Shadow Maps
\[P(x>t)\le p_{max}(t)=\frac{\sigma^2}{\sigma^2+(t-\mu)^2} \]对于均值\(\mu\)，是一个矩形的范围查询
MIPMAP
快速、近似、方向的范围查询
但是不准，因为是通过线性插值生成的
SAT
范围内求和和范围内求平均是等价的，类似前缀和，上图为一维情况
中间任意一段可以表示为当前这段减去前面一段
如：4~6的平均等于前6项的和减前3项的和
二维情况：
容斥原理
要求蓝色矩形的均值，只需用大绿色矩形减去两个黄色矩形，再补上小的绿色矩形
矩形起点都是左上角，于是可以预计算一张SAT（每行都是一个一位数组，每一列同理）
Moment shadow mapping
VSSM的问题
对于不能认为范围内texel的深度是光滑的单峰分布时，如右图范围内，有三个窗口，应有三个峰值，所以不能用高斯分布来描述
得到结果要么大要么小
- Overly dark: may be acceptable
- Overly bright: LIGHT LEAKING 人们不希望某些阴影的地方突然变白了
另一个问题：Chebychev不等式只有当\(t>z_{avg}\)时才准确
MSM
- 目标：解决VSSM分布描述不准确的问题
- 思想：使用更高阶的moments（矩）来描述分布
Moment
-
最简单的解释：几阶的矩就是一个数的几次方
-
所以VSSM使用了一阶和二阶的矩
-
使用更高阶的矩，分布就更准确
使用\(m\)阶的矩，就能表示有\(m/2\)个step(台阶)的函数
比如绿色的函数，使用了4阶矩，所以有2个台阶，且已经和PCF接近
4阶刚好对应RGBA四通道，且阶高了精度不好
工业界数过多，且不考虑精度时的做法，packing and unpacking
将float32的数用float16表示，两个float16的数放在一个float32里，可以省一半的存储空间，但是这样就不能插值了（或者得unpack后手动插值）
MSM的问题
-
存储（问题不是太大）
-
性能消耗（已经前几阶的矩，如何恢复出函数）
详见[Peters et al., Moment Shadow Mapping]
-
Distance field soft shadows
Distance function
在空间中任意一点，给出这个点到物体表面的最短距离（可以是带符号的），带符号的称为Sighed distance field (SDF)
SDF可以做任意形状物体的blend，得到几何上非常好的一个过渡，而不需要考虑物体的形状
但是SDF生成的物体表面非常不好贴纹理，参数化不好得到
The Usage of Distance Field
Ray marching
- Ray marching (sphere tracing) to perform ray-SDF intersection
- SDF定义了到物体表面的最短距离，因此在这个距离以内不存在任何物体
- 因此一束光线出发前用SDF得出到任意物体表面的最短距离后，可以直接移动这个距离，这样一定不会发生任何相交，只会再重复这个过程
- 因此，任何时刻在\(p\)点，移动\(SDF(p)\)的距离
Soft shadow
- 使用SDF近似地定义被遮挡的百分比
- SDF的值表示了一个安全角度
- 安全角度越小，表示被遮挡的越多，阴影越黑
- 把安全角度简单转换成了阴影值
*SDF不能得知遮挡物的方位
-
每一个step都能得到一个安全角度
-
最终的安全角度就是所有安全角度的最小值
-
SDF得到值是直角边，ray移动的距离是斜边，只需计算一个\(\arcsin\)即可
\(arcsin\frac{SDF(p)}{p-o}\) ?
\(min\{\frac{k\cdot SDF(p)}{p-o}, 1.0\}\)
算\(\arcsin\)复杂， 直接用比值近似，转化成visibility，不能超过1
- k为1时什么也没做
- k比较大时，很小的安全角度也会被当成1，0~1的过渡带就会小，k极大时相当于硬阴影
- 所有k用来控制阴影的软硬程度
SDF得到的阴影相较PCSS和VSSM更加虚假
Pros and Cons of Distance Field
- Pros 优点
- 快*（仅考虑使用SDF而没有考虑生成SDF）
- High quality
- Cons 缺点
- 需要预计算
- 需求非常大存储空间
- Artifact？
Antiliased / infinite resolution characters in RTR
- Unity 的TextMeshPro