首页 > 其他分享 >一文看懂线性回归和非线性回归

一文看懂线性回归和非线性回归

时间:2022-08-15 19:57:01浏览次数:67  
标签:mathbf 回归 非线性 beta 线性 模型

一文看懂线性回归和非线性回归

            1. 非线性回归
            2. 线性回归
            3. 总结

1. 非线性回归

我们首先来看维基百科中对于非线性回归的定义:

In statistics, nonlinear regression is a form of regression analysis in which observational data are modeled by a function which is a nonlinear combination of the model parameters and depends on one or more independent variables.

这段话的意思是:非线性回归是采用一个函数模型对观测数据进行建模,并且该函数是由模型参数的非线性组合构成的,并且可以通过观测数据(自变量和因变量)对模型参数进行估计。

这里需要注意的是:非线性估计中的非线性指的是模型函数是由模型参数的非线性组合构成,而并不是描述函数和自变量之间的关系。

举个例子,我们采用如下的模型:

y ∼ f ( x , β ) \mathbf{y} \sim f(\mathbf{x},\mathbf{\beta}) y∼f(x,β)
其中, x = { x 1 , x 2 , ⋯   , x n } \mathbf{x}=\{x_1,x_2,\cdots,x_n\} x={x1​,x2​,⋯,xn​} 为自变量向量, y = { y 1 , y 2 , ⋯   , y n } \mathbf{y}=\{y_1,y_2,\cdots,y_n\} y={y1​,y2​,⋯,yn​}为观测因变量向量, β = { β 1 , β 2 , ⋯   , β n } \mathbf{\beta}=\{\beta_1,\beta_2,\cdots,\beta_n\} β={β1​,β2​,⋯,βn​}为模型参数向量。

假设某个模型由一个自变量,和两个参数构成,即:
f ( x , β ) = β 1 x β 2 + x f(\mathbf{x},\mathbf{\beta})=\frac{\beta_1x}{\beta_2+x} f(x,β)=β2​+xβ1​x​
显然,函数模型 f f f无法表示成模型参数 β 1 \beta_1 β1​和 β 2 \beta_2 β2​的线性组合,因此,这个函数是非线性的。
2. 线性回归

如果我们考虑如下的模型:
f ( x , β ) = β 0 + β 1 x 1 + β 2 x 2 2 + ⋯ + β n x n 2 f(\mathbf{x},\mathbf{\beta})=\beta_0+\beta_1x_1+\beta_2x_2^2+\cdots+\beta_nx_n^2 f(x,β)=β0​+β1​x1​+β2​x22​+⋯+βn​xn2​
这看似是一个非线性函数,但是实际上,函数 f f f对于模型参数 { β 0 , β 1 , ⋯   , β n } \{\beta_0,\beta_1,\cdots,\beta_n\} {β0​,β1​,⋯,βn​}而言是线性的,即是由 { β 0 , β 1 , ⋯   , β n } \{\beta_0,\beta_1,\cdots,\beta_n\} {β0​,β1​,⋯,βn​}的线性组合构成的,系数分别为 1 , x 1 , x 2 , ⋯   , x n 1,x_1,x_2,\cdots,x_n 1,x1​,x2​,⋯,xn​。因此,这个函数是线性的。
3. 总结

线性还是非线性是要根据分析的目标来决定的,在线性回归和非线性回归中,我们需要求解的是模型参数,因而,线性与非线性描述的是函数模型模型参数之间的关系,而非因变量与自变量之间的关系。

原文链接:https://blog.csdn.net/Mr_Sudo/article/details/124790852

标签:mathbf,回归,非线性,beta,线性,模型
From: https://www.cnblogs.com/Ph-one/p/16589438.html

相关文章

  • 线性基
    writtenon2022-08-14学高斯消元的时候顺便学到了线性基,线性基通常在异或运算中出现。这里先贴一下别人的博客,个人认为这篇博客总结的还是蛮好的,可以特别关注一下里面......
  • 【MIT18.06·线性代数02】
    线性方程组的矩阵形式可以将线性方程组写成\(Ax=b\)的矩阵相乘形式:比如线性方程组\(\left\{\begin{matrix}\begin{aligned}2x-y&=0\\-x+2y&=3\end{aligned}\end......
  • 【MIT18.06·线性代数01】过去对线性方程组的理解
    如何理解一个线性方程组?考虑这样一个方程组:\(\left\{\begin{matrix}\begin{aligned}2x-y&=0\\-x+2y&=3\end{aligned}\end{matrix}\right.\)在之前的理解方式中,求......