每个特征变量可以首先映射到⼀一个函数，然后再参与线性计算,模型如下：
其中表示自变量（特征分量），
表示因变量，
是权重，
是偏移项（截距）;
越大，说明
对
结果的影响越⼤
输入空间映射到特征空间(映射函数)，建模.为
特征映射相关技术，包括特征哈希、特征学习、Kernel等
目标函数
预测值$ h_\theta(x)y$之差越小越好，加入损失函数(平方损失函数):
求
损失函数就是的预测值
与真实值
之差的平方和
回归模型（尤其是线性回归类）的⽬目标函数通常⽤用平⽅方损失函数来作为优化的⽬目标函数
为什么用误差平方和作为目标函数：
根据中⼼心极限定理理，把那些对结果影响⽐比较⼩小的变量量（假设独⽴立同分布）之和认为服从正态分布是合理理的
如果数据是高斯分布的，输入值，预测值
，真实值
，误差
，线性模型为，
根据中心极限定理，认为变量之和服从高斯分布,即
则，x,y的条件概率为越大，证明越接近真实值，还要考虑拟合过度以及模型的泛化能力问题
优化目标函数：使目标函数最小
最小二乘法
梯度下降法
批量梯度下降法
随机梯度下降法
拉格朗日乘子法
例子