首页 > 其他分享 >unsloth微调

unsloth微调

时间:2024-10-21 21:01:25浏览次数:4  
标签:https 微调 unsloth pytorch install docker cn

conda create --name unsloth_env python=3.10 pytorch-cuda=11.8
conda install pytorch-cuda=11.8 pytorch cudatoolkit xformers -c pytorch -c nvidia -c xformers -y
conda install pytorch torchvision torchaudio cudatoolkit=11.8 -c pytorch
pip install protobuf==3.18
pip install "unsloth[colab-new] @ git+https://github.com/unslothai/unsloth.git"

pip install --no-deps xformers "trl<0.9.0" peft accelerate bitsandbytes

-i https://pypi.tuna.tsinghua.edu.cn/simple

 

python /home/magic/ftp/FT/app.py

 

 

 

解决docker 拉取超时的问题

首先进入/etc/docker/daemon.json文件

然后在里面加入下面的配置

{
"registry-mirrors": ["https://docker.registry.cyou",
"https://docker-cf.registry.cyou",
"https://dockercf.jsdelivr.fyi",
"https://docker.jsdelivr.fyi",
"https://dockertest.jsdelivr.fyi",
"https://mirror.aliyuncs.com",
"https://dockerproxy.com",
"https://mirror.baidubce.com",
"https://docker.m.daocloud.io",
"https://docker.nju.edu.cn",
"https://docker.mirrors.sjtug.sjtu.edu.cn",
"https://docker.mirrors.ustc.edu.cn",
"https://mirror.iscas.ac.cn",
"https://docker.rainbond.cc"]
}

然后在终端重新启动一下docker

systemctl daemon-reload

systemctl restart docker

然后再拉镜像,您猜怎么着!?成了!!!

再然后就是问题得到圆满解决!!
————————————————

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

原文链接:https://blog.csdn.net/Liiiiiiiiiii19/article/details/142438122

 

标签:https,微调,unsloth,pytorch,install,docker,cn
From: https://www.cnblogs.com/CqMagic/p/18356638

相关文章

  • Apple提出MM1.5:多模态大型语言模型微调的方法、分析和见解
    摘要我们介绍了MM1.5,一个新的多模态大型语言模型(MLLM)家族,旨在增强在富文本图像理解、视觉参照和定位以及多图像推理方面的能力。在MM1架构的基础上,MM1.5采用以数据为中心的模型训练方法,系统地探索了整个模型训练生命周期中各种数据混合的影响。这包括用于持续预......
  • 【送书福利社】超全!一文详解大型语言模型的11种微调方法
    标题详情作者简介愚公搬代码头衔华为云特约编辑,华为云云享专家,华为开发者专家,华为产品云测专家,CSDN博客专家,CSDN商业化专家,阿里云专家博主,阿里云签约作者,腾讯云优秀博主,腾讯云内容共创官,掘金优秀博主,亚马逊技领云博主,51CTO博客专家等。近期荣誉2022年度博客之星TOP2,2023年度......
  • DataDream:调一调更好,基于LoRA微调SD的训练集合成新方案 | ECCV'24
    尽管文本到图像的扩散模型已被证明在图像合成方面达到了最先进的结果,但它们尚未证明在下游应用中的有效性。先前的研究提出了在有限的真实数据访问下为图像分类器训练生成数据的方法。然而,这些方法在生成内部分布图像或描绘细粒度特征方面存在困难,从而阻碍了在合成数据集上训练的......
  • 超全!一文详解大型语言模型的11种微调方法
    导读:大型预训练模型是一种在大规模语料库上预先训练的深度学习模型,它们可以通过在大量无标注数据上进行训练来学习通用语言表示,并在各种下游任务中进行微调和迁移。随着模型参数规模的扩大,微调和推理阶段的资源消耗也在增加。针对这一挑战,可以通过优化模型结构和训练策略来......
  • LLAMAFACTORY:一键优化大型语言模型微调的利器
    人工智能咨询培训老师叶梓转载标明出处模型适配到特定的下游任务,通常需要进行微调(fine-tuning),这一过程往往需要大量的计算资源。为了解决这一问题,来自北京航空航天大学和北京大学的研究人员共同开发了LLAMAFACTORY,这是一个统一的框架,集成了多种前沿的高效训练方法,使得用户可......
  • Faster R-CNN模型微调检测航拍图像中的小物体
    关于深度实战社区我们是一个深度学习领域的独立工作室。团队成员有:中科大硕士、纽约大学硕士、浙江大学硕士、华东理工博士等,曾在腾讯、百度、德勤等担任算法工程师/产品经理。全网20多万+粉丝,拥有2篇国家级人工智能发明专利。社区特色:深度实战算法创新获取全部完整项目......
  • 2025秋招NLP算法面试真题(二十二)-大模型参数高效微调技术总结与对比
    目录当前高效微调技术的简述BitFitPrefixTuningPromptTuningP-TuningP-Tuningv2AdapterTuningAdapterFusionAdapterDropLoRAAdaLoRA<......
  • 第十三期 常见的PEFT微调技术
    一:LLM大语言模型(一)阶段划分LLM大语言模型训练一般有两个阶段Step1.预训练阶段大模型首先在大量的无标签数据上进行训练,预训练的最终目的是让模型学习到语言的统计规律和一般知识。在这个过程中模型能够学习到词语的语义、句子的语法结构、以及文本的一般知识和上下文信息。......
  • 先到先得!字节内疯传的380页《从零开始大模型开发与微调基于PyTorch与ChatGLM》大模型
    大模型是深度学习自然语言处理皇冠上的一颗明珠,也是当前AI和NLP研究与产业中最重要的方向之一。本书使用PyTorch2.0作为学习大模型的基本框架,以ChatGLM为例详细讲解大模型的基本理论、算法、程序实现、应用实战以及微调技术,为读者揭示大模型开发技术。实战案例丰富基于Py......
  • 大模型微调
    大模型微调指令微调指令微调对齐微调高效微调适配器微调(adaptertuning)前缀微调(prefixtuning)提示微调(prompttuning)低秩适配(LoRA)对齐微调高效微调适配器微调(adaptertuning)前缀微调(prefixtuning)提示微调(prompttuning)低秩适配(LoRA)【论文速读】LoRA:Low-rankadapt......