IMPROVED TRAINING OF PHYSICS-INFORMED NEURAL NETWORKS WITH MODEL ENSEMBLES

 未发表

本篇文献的思路比较简单，类似于一种蔓延式的学习，但是本文不同的是利用了多个PINN进行辅助选点。类似的工作以前看过几篇，但本片文献一个显著的缺点是计算力非常大，在本文的实验中，作者只使用了五个PINN同时训练，这就已经是PINN五倍的计算量了。但是本文比较有趣的一点是图3，作者对对流方程PINN求解失败的理解。

简单地说，作者认为在靠近初始条件或者观测数据的位置，PINN往往可以获得比较准确的解决方案，在远离初始条件或者观测数据的位置，PINN往往会学习的不够好。图3给出了两个不同初始化参数下的PINN求解同一个方程的结果，在e中，可以看出，远离初始条件的位置的loss很小，这就意味着远离初始条件的的错误解，占据了主导地位，导致了PINN的解的表现非常糟糕（图c），相比较图b和d，我认为这种情况确实是可以这么解释的。

本文遵循了逐渐扩大PINN解空间的想法，将置信度作为是否延伸到新的解空间的标准。作者认为，它们的工作相比较于其他时间域分解的任务更加灵活。本文的主要创新就在置信度的评价标准上（使用了多个PINN）。

对时间进行处理的PINN后续工作有很多，例如，将时间区域划分成多个子区域，方程有单独的PINN按照顺序在每个子空间上求解，前一个子空间边界处的解作为下一个子空间的初始条件。此外还有因果关系训练等，但这些想法都需要一个定义的时间表，就不太灵活。

根据图3，作者认为PINN的解是由靠近初始条件的正确解和远离初始条件的错误解组合得到的。如果由错误解占据了主导那么PINN就会陷入到一个糟糕的收敛，因此，一开始就包含远离初始条件的点不会带来任何好处。所以作者结合以前工作，提出了一种新的置信度标准。（一个规律是，使用一组PINN，配备有不同的初始化，它们会在有观测数据的地方收敛到相同的解，在远离观测数据的地方收敛到不同的观测方案）。

主要创新就是，作者使用一组不同初始化的PINN，如果在某个内部候选点，这一组PINN计算出的值的方差小于预定的一个方差上界，并且，这个点与观测点（包括新纳入的点）的距离也小于一个预先设定的值，那么就把这个点纳入到观测点的集合。关于新纳入观测点的那些伪标签点，作者提供了两种处理方法，一是算出残差损失和初始条件损失，二是只算残差损失，根据实验，方案一会更好一些。未考虑的点不参与PINN的贡献。关于最后的解决方案，应该是多个PINN求平均值，本文的实验作者使用了五个相同的PINN，具有不同初始化的。

下图为一个传播示例。

 下图为实验结果，可以看出方案一更好一些。

 最后，作者也承认了本文工作的缺点，也就是计算量太大，但是作者说到，由于PINN可以并行计算，所以并不会在时间上显著的增加。作者认为，下一步可以使用不同的方式来创建模型，我想，在不同的PINN之间是否可以加权？而是寻找解决方案扩展的新方法。

关于灵活性说明一下，作者的方法并不需要预先设置一个时间分割方案，因此是更加灵活的。