• 2024-05-31山东大学项目实训-基于LLM的中文法律文书生成系统(十六)- 指令微调(1)
    指令微调指令微调(InstructionTuning)是指使用自然语言形式的数据对预训练后的大语言模型进行参数微调。微调适用的场景通常来说,适合微调的场景主要分为行业场景和通用场景对于行业场景:例如客服助手,智能写作辅导等需要专门的回答范式和预期的场景例如智慧医生,智慧律师等需要
  • 2024-05-23SAM视觉大模型的finetune
    随着Meta发布的SegmentAnythingModel(SAM),计算机视觉迎来了ChatGPT时刻。SAM经过超过110亿个分割掩码的训练,是预测性人工智能用例而非生成性人工智能的基础模型。虽然它在广泛的图像模式和问题空间上表现出了令人难以置信的灵活性,但它的发布没有“微调”功能。本教程将概述使用掩
  • 2024-03-23LLM finetune
    微调微调的目的有几个:1. 和人类对齐,减少一些hullucination和toxiccontent;2.引入domainknowledge;3.做一些promptengineering低效的事情,比如不用提供大量的样本。但是也有可能因此而产生灾难性遗忘。同时需要对样本量和质量进行把控。 SFT(supervisedfine-tuning)实
  • 2024-03-03如何入门AI Agent?
    随着chatgpt问世,大模型已经在加速各行各业的变革,这是我之前对AIAgent行业的粗浅判断。  下面给大家介绍一下如何制作AIAgent,我会用我开发的全赞AI为例子进行简要的介绍,下面是一种工具型AIAgent的框架图  这是一个大量使用工具的Agent。Agent需要基于LLM才能正常工
  • 2024-02-20python · matplotlib | seaborn 画图与调整图例位置
    1seaborn画图代码存档:sns.set_style("whitegrid")#好看的styleplt.figure()#plt.plot(ppo_data['Step']*step_mul,ppo_data['ppo_mean'],label='PPO')#plt.plot(sac_data['Step']*step_mul,sac_data['sac_m
  • 2024-01-11XTuner 大模型单卡低成本微调
    微调框架XTuner以及整个微调的工作流程。以InternLM为底座模型来进行微调。 Finetune简介XTuner介绍8GB显卡玩转LLM动手实战成功连接上了开发机。
  • 2023-08-14优化:微调Finetuning
    模型的微调 使用别人训练好的网络模型进行训练,前提是必须和别人用同一个网络,因为参数是根据网络而来的。当然最后一层是可以修改的,因为我们的数据可能并没有1000类,而只有几类。把最后一层的输出类别和层的名称改一下就可以了。用别人的参数、修改后的网络和自己的数据进行
  • 2023-06-06opennmmlab实战营二期-mmpretrain代码课课(五)
    opennmmlab实战营二期-mmpretrain代码课课(五)点我:视频课程代码课写代码最重要(相关代码见:点我),笔记的话就简单进行总结,大致如下:一、安装mmpretrain二、调用mmpretrain的模型进行推理图像分类图像描述三、在新分类数据集进行resnet18微调训练1、准备猫狗数据集2
  • 2022-10-26keras分类猫狗数据(下)finetune
    ​​keras分类猫狗数据(上)数据预处理​​​​​​keras分类猫狗数据(中)使用CNN分类模型​​​​​​keras分类猫狗数据(下)迁移学习​​​​​​keras分类猫狗数据(番外篇)深度
  • 2022-10-16基于kaldi的语音识别:chain模型的finetune通用步骤
    前记:先说下模型训练的背景。正如一般的机器学习的模型训练那样,首先会用较大的数据集训练生成一个较大的模型,然后在这个模型基础上进行调优,也就是finetune。 我这边基于k
  • 2022-10-12【NLP预训练模型】你finetune BERT的姿势可能不对哦?
    预训练模型BERT是NLP领域如今最大的网红,BERT的预训练过程学习了大量的自然语言中词、句法以及常识等泛领域的知识。因此,在运用BERT到实际的NLP任务中,通常的做法都是基于特定