评价指标
时间序列预测评价指标
均方误差 (Mean Squared Error, MSE)
-
简要介绍：MSE 是实际值与预测值之间差的平方的平均值。它是衡量预测精度的常用方法，适用于连续变量。
-
优点：易于计算，对大误差有较高的敏感性。
-
缺点：受异常值影响较大，不具有尺度无关性质。
-
公式：
M S E = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 MSE = \frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2 MSE=n1i=1∑n(yi−y^i)2
n n n表示样本量， y i y_i yi`表示真实值， y ^ i \hat{y}_i y^i表示预测值 -
代码：
均方根误差 (Root Mean Squared Error, RMSE)
-
简要介绍：RMSE是MSE的平方根，它衡量了预测值和实际值之间的偏差程度。
-
优点：与MSE相比，RMSE给出了与预测变量相同单位的误差，这使得结果更容易解释。
-
缺点：对异值非常敏感。
-
公式：
R M S E = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 RMSE = \sqrt{\frac{1}{n}\sum_{i=1}^{n}(y_i - \hat{y}_i)^2} RMSE=n1i=1∑n(yi−y^i)2 -
代码：
平均绝对误差 (Mean Absolute Error, MAE)
-
简要介绍：MAE是实际值和预测值之间差的绝对值的平均值。
-
优点：易于理解和计算，对异值不敏感。
-
缺点：不像MSE那样对大误差有较高的敏感性。
-
公式：
M A E = 1 n ∑ i = 1 n ∣ y i − y ^ i ∣ MAE = \frac{1}{n}\sum_{i=1}^{n}|y_i - \hat{y}_i| MAE=n1i=1∑n∣yi−y^i∣ -
代码：
平均绝对百分比误差 (Mean Absolute Percentage Error, MAPE)
-
简要介绍：MAPE是预测值和实际值之间的误差的绝对值与实际值之比的平均值，结果以百分比表示。
-
优点：容易理解，因为错误以百分比形式表示。
-
缺点：当实际值接近或等于零时，MAPE会变得极其敏感并可能导致无穷大的错误。
-
公式：
M A P E = 1 n ∑ i = 1 n ∣ y i − y ^ i y i ∣ ∗ 100 % MAPE = \frac{1}{n}\sum_{i=1}^{n}\left|\frac{y_i - \hat{y}_i}{y_i}\right|*100\% MAPE=n1i=1∑n yiyi−y^i ∗100% -
代码：
决定系数 (Coefficient of Determination, R² or R-squared)
-
简要介绍：R方衡量模型解释数据变异性的程度。它的值范围在0到1之间，值越接近1，说明模型可以更好地解释数据。
-
优点：直观，可用来比较模型的相对优劣。
-
缺点：不能判断模型的偏差大小，且随着独立变量数量的增加，R方通常会增大。
-
公式：
R 2 = 1 − ∑ i = 1 n ( y i − y ^ i ) 2 ∑ i = 1 n ( y i − y ˉ ) 2 R^2 = 1 - \frac{\sum_{i=1}^{n}(y_i - \hat{y}_i)^2}{\sum_{i=1}^{n}(y_i - \bar{y})^2} R2=1−∑i=1n(yi−yˉ)2∑i=1n(yi−y^i)2
y ˉ i \bar{y}_i yˉi表示真实值的平均数 -
代码：
均方根对数误差 (Mean Squared Logarithmic Error, MSLE)
-
简要介绍：MSLE 是预测值和实际值取对数后的均方误差的平方根，适用于处理具有指数增长的数据。
-
优点：赋予小预测误差更多权重，对预测过大的预测值进行惩罚。
-
缺点：需要处理负值，因为负值的对数是未定义的。
-
公式：
M S L E = 1 n ∑ i = 1 n ( log ( y i + 1 ) − log ( y ^ i + 1 ) ) 2 MSLE = \frac{1}{n}\sum_{i=1}^{n}(\log(y_i + 1) - \log(\hat{y}_i + 1))^2 MSLE=n1i=1∑n(log(yi+1)−log(y^i+1))2 -
代码：
对称平均绝对百分比误差 (Symmetric Mean Absolute Percentage Error, SMAPE)
-
简要介绍：SMAPE与MAPE类似，但它改变了分母的计算方式以避免当实际值接近零时错误率无穷大的问题。
-
优点：对实际值和预测值的大小给予了相等的重视。
-
缺点：可能会导致准确性指标大于100％。
-
公式：
S M A P E = 1 n ∑ i = 1 n ∣ y i − y ^ i ∣ ( ∣ y i ∣ + ∣ y ^ i ∣ ) / 2 ∗ 100 % SMAPE = \frac{1}{n} \sum_{i=1}^{n} \frac{|y_i - \hat{y}_i|}{(|y_i| + |\hat{y}_i|)/2}*100\% SMAPE=n1i=1∑n(∣yi∣+∣y^i∣)/2∣yi−y^i∣∗100%
平均绝对尺度误差 (Mean Absolute Scaled Error, MASE)
-
简要介绍：MASE比较了给定模型预测错误与一种简单方法（如随机游走）的预测错误。如果MASE小于1，则选定模型的性能优于简单方法。
-
优点：具有尺度无关性，可以在不同的时间序列间进行比较。
-
缺点：选择基准预测模型可能有主观性。
-
公式：
M A S E = 1 n ∑ i = 1 n ∣ y i − y ^ i ∣ 1 n − m ∑ i = m + 1 n ∣ y i − y i − m ∣ MASE = \frac{\frac{1}{n}\sum_{i=1}^{n}|y_i - \hat{y}_i|}{\frac{1}{n-m}\sum_{i=m+1}^{n}|y_i - y_{i-m}|} MASE=n−m1∑i=m+1n∣yi−yi−m∣n1∑i=1n∣yi−y^i∣
n n n表示样本量， m m m表示时间序列中季节性周期， y i y_i yi`表示真实值， y ^ i \hat{y}_i y^i表示预测值， y i − m y_{i-m} yi−m表示滞后m期的真实值
中位数绝对误差 (Median Absolute Error, MedAE)
- 简要介绍：MedAE 是所有单个观察值的绝对误差的中位数。
- 优点：对异常值有很强的鲁棒性。
- 缺点：由于使用了中位数，可能会忽视数据的部分信息。
- 公式：
M e d A E = m e d i a n ( ∣ y 1 − y ^ 1 ∣ , . . . , ∣ y n − y ^ n ∣ ) MedAE = median(|y_1 - \hat{y}_1|,...,|y_n - \hat{y}_n|) MedAE=median(∣y1−y^1∣,...,∣yn−y^n∣)
整体加权平均误差 (Overall Weighted Average Error, OWA)
-
简要介绍：OWA是不同评价指标的加权平均分，可以同时考虑多个评价指标。
-
优点：能够全面考察模型性能，避免某一评价指标优秀掩盖其他评价指标的差异。
-
缺点：权重的设定可能存在主观性。
-
公式：
O W A = w 1 ∗ m e t r i c 1 + w 2 ∗ m e t r i c 2 + . . . + w n ∗ m e t r i c n OWA = w_1 * metric_1 + w_2 * metric_2 + ... + w_n * metric_n OWA=w1∗metric1+w2∗metric2+...+wn∗metricn
w i w_i wi表示度量权重， m e t r i c i metric_i metrici表示第 i i i个度量