Mitigating Propagation failures in PINNs using Evolutionary Sampling

未发表 

本文采用进化采样策略来缓解PINN使用中的传播失败。大体可以描述为一类主动学习/自步学习方法与分析。

当前，面对PINN失败的问题，当前的研究大部分都集中在平衡损失函数，和自适应调节PDE的系数上（类似的工作我见过的不多），但是，目前缺少彻底了解PINN失效模式和PINN所使用的采样策略之间的关系。本片工作的目光还是集中在采样上。

文中提出了一个假设，PINN的训练依赖于从初始/初始点到内部的传播方案，这个观点很像我前几天看的论文。作者认为，采样策略比较差的PINN更容易陷入到一个糟糕的局部最小。总的来说，本文的方法还是在高损失区域增加采样点。

一般来说，PINN的残差是引导不到一个好的正确的解的，因为会存在由平凡解，也使得PINN的残差很小。我目前的感受是，PINN的优化域应该是极度凹凸不平的。

作者对PINN训练失败给出的分析是，正确的解决方案会从初始和边界像内部传播，如果这种传播方案受阻，那么PINN就会陷入错误的方案中。作者认为没有充分采样，才导致了传播的失败，但是据我们的观察并不是，如果残差差距过大的话，减少采样点也会有效果。

针对传统的PINN，目前的工作已经指出，其违反了因果关系。作者从一个例子给出说明。

我们可以看到，正确的解决方案，随着训练的进行，从边界/初始，平滑的滑向内部。但是如果PINN找不到解（在某些点）就会卡在原点或者边界点上。

传播失败理论：

如果内部点在初始点和边界点的正确解决方案传播到它之前，就已经收敛到了平凡解，那么就会传播失败，并且，平凡解还会构成一个信息屏障，阻止正确解的继续传播。因为，当某一个内部点学习到平凡解时，它也会传播给其他邻近的配置点，这就会导致大面积的配置点都学习到平凡解，所以就阻止了来自边界和初始的正确方案。

基于上述理论，高PDE的残差就可以用来作为一个诊断工具，来表征PINN中的传播模式故障。

图中可以看出，β=50时，PINN就训练失败，陷入一个平凡解了。

目前这方法的工作大概有两种，一是基于残差的自适应采样为代表的，利用残差信息采样。二是在高残差区域使用更高阶的Lp范数（会更强点关注高残差区域），这两种方法是等价的。但是它们要么会有很大的计算量，要么无法选择合适的参数（p）。如果p的选取不合适，也会导致不同峰值之间的震荡行为，也无法有效的接收信息。

对于如何解决这个问题，作者提出了一些要求：1 从均匀分布开始，向高残差区域累积，知道PINN训练过程中解决掉它们。由上面的定理，这等价于从L2范数开始，如果高残差区域持续存在，则逐渐Lp范数的阶数。2 当某个高残差区域充分最小化后，可以转移去关注其他高残差区域，即可以释放原先的累积点.。3 每次迭代中，应该对整个域中都进行非零优化（即要存在非高残差区域的点），防止所有点都集中到高残差区域.。4 不希望大的计算量。因此提出了他的遗传算法。这个想法很眼熟，做毕业论文的时候想过，但是没有执行下来。。。

 大体就是保留高残差点，并采样新点。阈值由残差的平均数确定。

图4是一个传播过程。

针对时间以来的问题，作者该提出了一个改进方法，利用了因果关系。将因果近似作为一个先验纳入，1提出了因果损失，2 开发了一种因果偏差抽样方法。（时间依赖的PDE要求在相邻很近的时间段内，PDE的解要足够接近）

针对他的改进，我的理解是

1 通过添加门函数，使得在训练一开始的时候，只有小时间的点参与训练，然后在逐渐增加。2 新的采样策略不再是均匀采样，而是一开始从时间小的开始采样，都是依赖门函数。

门函数如下：

改进后的残差损失（因果损失）如下：

γ的更新策略如下：

对于γ的更新策略，解释时，只有当在这个循环时，PDE残差比较小时，才在下一个循环时增加γ（也就是扩展PINN可见的时间域）

 本文的结果还是很不错的，但是依旧处理不了奇异摄动问题。