朗之万方程，机器学习与液体中的粒子运动

一、说明
二、朗之万方程的诞生
- 2.1 牛顿力学
- 2.2 流体中的随机运动
三、小质量物体布朗运动方程
四、布朗运动的Python代码
五、稳定性讨论
- 5.1 波尔兹曼分布
- 5.2 梯度下降算法
六、随机梯度下降（SGD）和小批量梯度下降
七、机器学习与物理，作为朗之万过程的梯度下降
结论

一、说明

梯度下降算法是机器学习中最流行的优化技术之一。它有三种类型：批量梯度下降（GD）、随机梯度下降（SGD）和小批量梯度下降（在每次迭代中用于计算损失函数梯度的数据量不同）。
本文的目标是描述基于朗格文动力学（LD）的全局优化器的研究进展，LD是一种分子运动的建模方法，它起源于20世纪初阿尔伯特·爱因斯坦和保罗·朗之万关于统计力学的著作。

我将从理论物理学的角度提供一个优雅的解释，为什么梯度下降的变种是有效的全局优化器。

二、朗之万方程的诞生

在这里插入图片描述

没有迹象表明一场革命即将发生。1904年，如果阿尔伯特·爱因斯坦放弃了物理学，他的科学家同行们可能甚至都不会注意到。幸运的是，这并没有发生。1905年，这位年轻的专利职员发表了四篇革命性的论文。
m d 2 x d t 2 = − λ d x d t + R t + F m \frac{d^2x}{dt^2}=-\lambda\frac{dx}{dt}+R_t + F mdt2d2x=−λdtdx+Rt+F

这里提醒大家，我们需要习惯于这种数学模型的表述。如何习惯？简单！长期接触长期体味，逐渐地，你就体会到这种简单方法的奇妙和快捷沟通，那么，该方程是到底什么意思呢？

2.1 牛顿力学

我i们知道牛顿公式 m a = F ma = F ma=F
只要对这个方程任意加入能解释的项就可以了，大致的框架如下图：
在这里插入图片描述
其中：
d 2 x d t 2 \frac{d^2x}{dt^2} dt2d2x:加速度，是位移对时间的二阶导。
− λ d x d t -\lambda \frac{dx}{dt} −λdtdx: 该项是运动阻力，速度越大，阻力越大，因此成正比。
R t R_t Rt：是个力，来自高斯随机过程。
F F F：是个外力，可有可无。
其实，几乎所有的宏观物理方程框架来自牛顿，而且，框架类似，细节不同。
随机力 R t R_t Rt是一个 δ \delta δ相关的平稳高斯过程，其均值和方差如下：

在这里插入图片描述
术语“ δ \delta δ相关”意味着两个不同时间的力是零相关的。 Langevin方程是第一个描述不平衡热力学的数学方程。

2.2 流体中的随机运动

什么是布朗运动？
“布朗运动是指悬浮在流体中的小颗粒所表现出的随机运动。它通常被称为“布朗运动”。这种运动是粒子与流体中其他快速移动的粒子碰撞的结果。

布朗运动以苏格兰植物学家罗伯特·布朗的名字命名，他首先观察到花粉粒放入水中时会沿随机方向移动。下面提供了描述流体粒子的随机运动（由这些粒子之间的碰撞引起）的图示。

在这里插入图片描述

三、小质量物体布朗运动方程

先参考朗之万方程： m d 2 x d t 2 = − λ d x d t + R t + F m \frac{d^2x}{dt^2}=-\lambda\frac{dx}{dt}+R_t + F mdt2d2x=−λdtdx+Rt+F
当 m < ε m<\varepsilon m<ε

表示：如果粒子的质量足够小，我们可以把左边设为零。此外，我们可以用某个势能的导数来表示一个（保守）力，比如引力。我们得到：
在这里插入图片描述
小质量的朗之万方程
写作：

其中δt是一个小时间间隔，并有移动项，我们得到了小质量粒子的离散朗之万方程：

用这种方式表示，朗之万方程描述了经历布朗运动的粒子的增量位移。至此，我们可以用计算机程序实现整个过程。

四、布朗运动的Python代码

为了模拟二维离散布朗过程，采用了两种一维过程。步骤如下：

首先，选择时间步数“steps”。
坐标x和y是随机跳跃的累积和（函数np.cumsum()用于计算它们）。
中间点X和Y通过使用np.interp()插值计算。
然后使用plot()函数绘制布朗运动。
代码是：

import numpy as np
import matplotlib.pyplot as plt
import random

steps =5000
random.seed(42)

x,y = np.cumsum(np.random.randn(steps)), np.cumsum(np.random.randn(steps))
points = 10
ip = lambda x, steps, points: np.interp(np.arange(steps*points),np.arange(steps)*points,x)
X, Y = ip(x, steps, points), ip(y, steps, points)
fig, ax = plt.subplots(1, 1, figsize=(10, 10))
ax.set_title('Brownian Motion')
ax.set_xlabel('x')
ax.set_ylabel('y')
ax.plot(X, Y, color='green',marker='o', markersize=1)
plt.show()

在这里插入图片描述