Pre-training vs Fine-tuning
https://developer.volcengine.com/articles/7399549896799780874
Fine-tuning
微调的技术原理是什么？在预训练模型的基础上，针对特定任务或数据领域，通过 在新任务的小规模标注数据集上进一步训练 和 调整模型的部分或全部参数 ，使模型能够更好地适应新任务，提高在新任务上的性能。
Fine-tuning
微调如何分类？ 微调分为在新任务数据集上全面或基于人类反馈的监督训练（SFT与RLHF），以及调整模型全部或部分参数以高效适应新任务（Full Fine-tuning与PEFT）。 ### 1. 在新任务的小规模标注数据集上进一步训练
这种方式通常使用预训练模型作为基础，并在新任务的小规模标注数据集上进行进一步的训练。这种训练过程可以根据具体的训练方法和目标细分为不同的策略， 如监督微调（Supervised Fine-tuning, SFT）和基于人类反馈的强化学习微调（Reinforcement Learning with Human Feedback, RLHF）。
SFT or RLHF 1. #### 监督微调（SFT）
微调领域大模型
审计大模型
https://arxiv.org/pdf/2402.09334v2
https://arxiv.org/pdf/2410.10873v1
https://github.com/HooRin/AuditWen
网络安全大模型
https://github.com/ddzipp/AutoAudit/tree/main?tab=readme-ov-file
标签：Pre,training,tuning,模型,微调,vs,https,Fine,SFT From： https://www.cnblogs.com/lightsong/p/18675301