本文是由鄂维南院士、马超、吴磊和Stephan Wojtowytsch 2020年12月发表在CSIAM Transactions on Applied Mathematics 上的综述文章。原文题目为“Towards a Mathematical Understanding of Neural Network-Based Machine Learning: What We Know and What We Don’t”。下载英文报告请在本公众号发送关键词“机器学习数学理解”
基于神经网络的机器学习非常强大然而也十分脆弱。一方面，它能以前所未有的效率和精度逼近高维函数。这在不同的学科领域开辟了全新的可能性。另一方面，它也有着“黑魔法”的名声：其成功取决于许多技巧，参数调整可以是一门艺术。机器学习数学研究的主要目标是
- 解释机器学习成功背后的原因和微妙之处，以及
- 提出同样成功但不那么脆弱的新模型。
我们离完全实现这些目标还很远，但公平地说，一个合理的大局正在显现。
本文的目的是回顾第一个目标的主要成就，并讨论存在的主要困惑。在古老的应用数学传统中，我们不仅要注意严谨的数学结果，还要讨论我们从仔细的数值实验和简化模型分析中获得的见解。
目前对第二个目标的关注要少得多。我们应该提到的一个观点是[33]中所提倡的连续形式化。其思想是首先建立机器学习问题的“适定”连续模型，然后离散化得到具体的算法。这一提议的吸引力在于：
- 许多现有的机器学习模型和算法都可以用这种方法以比例形式恢复；
- 有证据表明，与传统的机器学习模型相比，用这种方法获得的机器学习模型在选择超参数方面更为稳健（例如，参见下面的图5）；
- 新的模型和算法自然以这种方式得到验证。一个特别有趣的例子是针对ResNet类模型的基于最大原理的训练算法[58]。
然而，在现阶段还不能说连续形式化就是一条走得通的道路。因此我们将把对这个问题的充分讨论推迟到今后的工作。
文章提纲：
- 1 介绍
- 1.1 有监督学习
- 1.2 主要问题（假设空间、损失函数和训练算法的性质）
- 1.3 逼近和估计误差
- 2 序言
2.1 万能逼近定理和维度灾难
2.2 大型神经网络模型的损失景观
2.3 过参数化、插值和隐式正则化
2.4 选题
3 假设空间的逼近性质和Rademacher复杂性
3.1 随机特征模型
3.2 两层神经网络模型
3.3 残差网络
3.4 多层网络：树型函数空间
3.5 索引表示和多层空间
3.6 多层网络中的深度分离
3.7 可学习性和逼近性的权衡
3.8 先验和后验估计
3.9 未知的问题
4 损失函数和损失景观
4.1 未知的问题
5 训练过程：收敛性和隐式正则化
5.1 具有平均场标度的两层神经网络
5.2 具有常规尺度的两层神经网络
5.3 神经网络模型训练的其他收敛结果
5.4 随机特征模型的双下降慢劣化
5.5 全局极小值选择
5.6 自适应梯度算法的定性性质
5.7 多层神经网络的爆炸和消失梯度
5.8 未知的问题？
总结