• 2024-07-05【机器学习】连续字段的特征变换
    介绍 除了离散变量的重编码外,有的时候我们也需要对连续变量进行转化,以提升模型表现或模型训练效率。在之前的内容中我们曾介绍了关于连续变量标准化和归一化的相关内容,对连续变量而言,标准化可以消除量纲影响并且加快梯度下降的迭代效率,而归一化则能够对每条数据进行进行范数
  • 2024-06-18论文阅读:Corrective Retrieval Augmented Generation
    CorrectiveRetrievalAugmentedGeneration(https://arxiv.org/pdf/2401.15884.pdf)https://github.com/jiangnanboy/paper_read_note一.序言RAG即检索增强生成(retrievalaugmentedgeneration),当检索到不准确的数据时,会产生对模型的生成干扰。CorrectiveRetrievalAugme
  • 2024-06-04机器学习中的集成学习
     
  • 2023-07-125.3 集成学习 - Boosting与AdaBoost
    1Boosting方法的基本思想在集成学习的“弱分类器集成”领域,除了降低方差来降低整体泛化误差的装袋法Bagging,还有专注于降低整体偏差来降低泛化误差的提升法Boosting。相比起操作简单、大道至简的Bagging算法,Boosting算法在操作和原理上的难度都更大,但由于专注于偏差降低,Boosting
  • 2022-12-17集成算法--GBDT梯度提升树
    三要素:损失函数L(x,y): 真实值和预测值之间的差异弱评估器f(x):效果差的模型综合集成规则:数据、特征处理方法,构建迭代过程,参数设置等基本训练流程:以上一个弱评估器的结
  • 2022-11-02Boosting与AdaBoost
    【集成算法专题】:Boosting与AdaBoost1.Boosting的基本思想和基本元素装袋法Bagging:降低方差来降低整体泛化误差提升法Boosting:降低整体偏差来降低泛化误差BaggingPK
  • 2022-11-02梯度提升决策树GBDT
    GBDT简述梯度提升树:使用损失函数的负梯度在当前模型的值求解更为一般的提升树模型,这种基于负梯度求解提升树前向分布迭代过程叫做梯度提升树GBDT可以适用于回归问题(线