特征选择是指从原始特征集中选择一部分特征，以提高模型性能、减少计算开销或改善模型的解释性。特征选择的目标是找到对目标变量预测最具信息量的特征，同时减少不必要的特征。这有助于防止过拟合、提高模型的泛化能力，并且可以减少训练和推理的计算成本。
如果特征N的数量很小，那么穷举搜索可能是可行的:比如说尝试所有可能的特征组合，只保留成本/目标函数最小的那一个。但是如果N很大，那么穷举搜索肯定是不可能的。因为对于N的组合是一个指数函数，所以在这种情况下，必须使用启发式方法:以一种有效的方式探索搜索空间，寻找能够最小化用于执行搜索的目标函数的特征组合。
找到一个好的启发式算法并非易事。R中的regsubsets()函数有一些可以使用的选项。此外，scikit-learn提供了几种执行启发式特征选择的方法，但是找到一个好的、通用的启发式——以最通用的形式——是一个难题。所以本文将探讨一些即使在N相当大的情况下也能很好地工作的方法。
https://avoid.overfit.cn/post/3bd329a18abe4ab4af36e6b7ceaef469
标签：特征选择,CMA,协方差,特征,搜索,启发式,穷举 From： https://www.cnblogs.com/deephub/p/17963389