了解神经 ODE 第 2 部分（AI）

Photo by 约翰尼·维格斯滕 on 不飞溅

1. 连续性方程轨迹逼近的神经 ODE 控制（ arXiv )

作者 ： 卡尔提克·埃拉姆瓦朱蒂 , 巴曼·加雷西法德 , 安德里亚·贝尔托齐 , 斯坦利·奥舍

抽象的 ： 我们考虑连续性方程的可控性问题，对应于神经常微分方程 (ODE)，它描述了概率度量是如何被流动推动的。我们证明了受控连续性方程具有很强的可控性。特别地，对应于有界 Lipschitz 向量场的连续性方程的给定解定义了一组概率测度上的轨迹。对于这个轨迹，我们证明了神经 ODE 存在分段常数训练权重，使得与神经 ODE 对应的连续性方程的解任意接近它。作为该结果的推论，我们确定神经 ODE 的连续性方程在相对于 Lebesgue 测度绝对连续的紧支持概率测度集上是近似可控的

2.基于降阶神经ODE模型和强化学习的时空混沌数据驱动控制（ arXiv )

作者 ： 曾凯文 , 亚历克·J·利诺特 , 迈克尔·D·格雷厄姆

抽象的 ： 深度强化学习（RL）是一种数据驱动的方法，能够为高维系统发现复杂的控制策略，使其在流量控制应用中很有前景。特别是，本工作的动机是减少湍流中的能量耗散，所考虑的例子是 Kuramoto-Sivashinsky 方程 (KSE) 的时空混沌动力学。与 RL 相关的一个主要挑战是，必须通过与目标系统反复交互来生成大量训练数据，这使得当系统在计算或实验上很昂贵时成本很高。我们通过将自动编码器的降维与神经 ODE 框架相结合，以数据驱动的方式缓解这一挑战，从而仅从有限的数据集中获得低维动态模型。我们在 RL 训练期间用这种数据驱动的降阶模型 (ROM) 代替真实系统，以有效地估计最优策略，然后可以将其部署在真实系统上。对于在四个位置以局部强制（“喷射”）驱动的 KSE，我们证明我们能够学习一个 ROM，该 ROM 仅从 KSE 经历随机驱动的快照中准确地捕获驱动动力学以及潜在的自然动力学。使用这个 ROM 和最小化耗散和功率成本的控制目标，我们使用深度 RL 从中提取控制策略。我们表明基于 ROM 的控制策略可以很好地转化为真正的 KSE，并强调 RL 代理发现并稳定了 KSE 系统的潜在强制平衡解。我们表明，这种在 ROM 中捕获并通过 RL 发现的强制平衡与天然 KSE 的现有已知平衡解有关

3. 通过知识蒸馏改进神经 ODE（ arXiv )

作者 ： Haoyu Chu , Shikui Wei , Qiming Lu , Yao Zhao

抽象的 ： 神经常微分方程 (Neural ODE) 使用由神经网络指定的常微分方程构建隐藏单元的连续动力学，在许多任务上展示了有希望的结果。然而，神经 ODE 在图像识别任务上仍然表现不佳。可能的原因是 Neural ODEs 中常用的 one-hot 编码向量不能提供足够的监督信息。我们提出了一种基于知识蒸馏的新训练，以构建更强大、更健壮的神经 ODE，以适应图像识别任务。特别是，我们将神经 ODE 的训练建模为师生学习过程，其中我们提出 ResNets 作为教师模型，以提供更丰富的监督信息。实验结果表明，新的训练方式可以在 CIFAR10 上将 Neural ODE 的分类准确率提高 24%，在 SVHN 上提高 5%。此外，我们还定量讨论了神经 ODE 中知识蒸馏和时间范围对对抗性示例的鲁棒性的影响。实验分析得出结论，引入知识蒸馏和增加时间范围可以提高神经 ODE 对对抗样本的鲁棒性

4.CortexODE: Learning Cortical Surface Reconstruction by Neural ODEs ( arXiv )

作者 ： Qiang Ma , Liu Li , 艾玛·C·罗宾逊 , 伯恩哈德·凯恩斯 , 丹尼尔·鲁克特 , 阿米尔·阿兰萨里

抽象的 ： 我们提出了 CortexODE，这是一个用于皮质表面重建的深度学习框架。 CortexODE 利用神经常微分方程 (ODE) 通过学习微分流将输入表面变形为目标形状。表面上点的轨迹被建模为 ODE，其中它们的坐标的导数通过可学习的 Lipschitz 连续变形网络进行参数化。这为防止自相交提供了理论保障。 CortexODE 可以集成到基于自动学习的管道中，该管道可以在不到 6 秒的时间内有效地重建皮质表面。该管道利用 3D U-Net 从脑磁共振成像 (MRI) 扫描中预测白质分割，并进一步生成表示初始表面的有符号距离函数。引入快速拓扑校正以保证球体的同胚性。在等值面提取步骤之后，训练两个 CortexODE 模型以分别将初始表面变形为白质和软脑膜表面。提议的管道在包括新生儿（25-45 周）、年轻人（22-36 岁）和老年受试者（55-90 岁）在内的不同年龄组的大规模神经图像数据集上进行了评估。我们的实验表明，与传统处理流水线相比，基于 CortexODE 的流水线可以实现小于 0.2 毫米的平均几何误差，同时速度要快几个数量级。

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明

本文链接：https://www.qanswer.top/15698/41340511