集成方法(ensemble method,元算法meta algorithm)是对其它算法进行组合的一种形式。也就是说,集成多个模型的能力,达到比单一模型更佳的效果。
Bagging
原理
Bagging是“Bootstrap aggregating”的缩写。
Bootstrap(自助法)是一种抽样方法,是现代统计学较为流行的一种统计方法,在小样本时效果很好.
优点:
- Bagging算法可以显著降低模型的方差,提高模型的稳定性。通过使用多个相互独立的学习器,Bagging可以减少模型对训练数据的敏感性,从而更好地适应未知的测试数据。
- Bagging算法可以并行计算,加速模型训练的速度。由于每个基学习器都是独立训练的,所以Bagging算法可以并行处理多个子集,从而加速训练过程。
- Bagging算法不容易出现过拟合。通过使用随机抽样的方式来生成多个子集,Bagging可以避免模型对训练数据的过分拟合。