回归的含义——用观察使得认知接近真值的过程，回归本源。
在我们认知（测量）这个世界的时候，我们并不能得到这个世界的全部信息（真值），只能得到这个世界展现出的可被我们观测的部分信息。那么，如果我们想得到世界的真值，就只能通过尽可能多的信息，从而使得我们的认识，无限接近（回归）真值。
其中，真值的概念是一个抽象的概念（感觉是从统计学中给出的）。真值是真实存在于这个世界的，但是却又永远无法真正得到。因为，无论是受限于我们自身的认知水平，还是测量手段，都会存在偏差，导致无法得到真值。就像海森堡测不准原理一样，永远不可能知道一个确定的真值。再说的扯一点，真值就是我们中国人常说的道。
梯度是三维曲面等高线在XOY平面的法向量，三维曲面的法向量受Z方向影响，和梯度所在平面存在夹角，三维曲面的法向量在XOY平面的投影是梯度。
参考链接
【机器学习】逻辑回归（非常详细）
逻辑回归的似然估计公式推导
梯度的方向为什么是函数值增加最快的方向？
直观上理解“梯度”与“法向量”的关系
什么是梯度下降法？
统计学习的“回归”——各种回归（Regression）都是什么意思？