首页 > 其他分享 >基于华为昇腾910B和LLaMA Factory多卡微调的实战教程

基于华为昇腾910B和LLaMA Factory多卡微调的实战教程

时间:2024-08-23 22:22:47浏览次数:13  
标签:教程 多卡 Factory 算法 LLaMA 910B

  大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委,编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

  本文主要介绍了基于华为昇腾910B和LLaMA Factory多卡微调的实战教程,希望对使用大语言模型的同学们有所帮助。

文章目录

1. 前言

  在之前博客中介绍了LLaMA Factory多卡微调的实战教程,该教程的算力依赖于英伟达GPU。但最近有不少订阅专栏的小伙伴提出疑问,是否能够使用华为的910B GPU来进行多卡微调呢?
在这里插入图片描述

2. 配置环境

  需要说明的是,本文是在Ubuntu 20.04+MindSpore 2.2+CANN 8.0环境下复现成功的。

2.1 安装虚拟环境

  首先安装anaconda&

标签:教程,多卡,Factory,算法,LLaMA,910B
From: https://blog.csdn.net/herosunly/article/details/141475475

相关文章

  • 开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100(八)
    一、前言  本篇文章将使用LLaMA-Factory去高效微调(命令和界面方式)QWen2系列模型,通过阅读本文,您将能够更好地掌握这些关键技术,理解其中的关键技术要点,并应用于自己的项目中。二、术语介绍2.1.LoRA微调  LoRA(Low-RankAdaptation)用于微调大型语言模型(LLM)。......
  • spring boot简单运用ollama大模型(windows版本)
    1、下载模型(windows为例)打开官方网站https://ollama.com/download/windows。打开exe文件,打开命令行工具,直接运行ollamarun要下载的模型(右上角的models能找到你想要的,例子以llama3.1展示,springai暂时非全支持,支持模型步骤2列出)运行完后直接是这样显示......
  • 不会大模型不要紧!只需5分钟!你也可以微调大模型!如何快速微调Llama3.1-8B
    AI浪潮席卷全球并发展至今已有近2年的时间了,大模型技术作为AI发展的底座和基石,更是作为AI从业者必须掌握的技能。但是作为非技术人员,相信大家也有一颗想要训练或微调一个大模型的心,但是苦于技术门槛太高,无从下手。今天教大家一个非常快速的方法,5分钟就可以让你快速上手去微......
  • 使用Ollama本地离线体验SimpleRAG(手把手教程)
    Ollama介绍Ollama是一个开源项目,专注于开发和部署大语言模型,特别是像LLaMA这样的模型,用于生成高质量的文本和进行复杂的自然语言处理任务。Ollama的目标是让大语言模型的运行和使用变得更加容易和普及,而无需复杂的基础设施或深度的机器学习知识。GitHub地址:https://github.com/......
  • LLaMA-Factory
    LLaMA-Factory是一个整合了主流的各种高效训练微调技术、适配主流开源模型、功能丰富、适配性好的训练框架。安装LLaMAFactorycondacreate-nllamafactorypython=3.8.0condaactivatellamafactorygitclone--depth1https://github.com/hiyouga/LLaMA-Factory.gitc......
  • 本地快速安装运行史上最强开源LLaMa3大模型
    https://liaoxuefeng.com/blogs/all/2024-05-06-llama3/ 史上最强开源AI大模型——Meta的LLaMa3一经发布,各项指标全面逼近GPT-4。它提供了8B和70B两个版本,8B版本最低仅需4G显存即可运行,可以说是迄今为止能在本地运行的最强LLM。虽然LLaMa3对中文支持不算好,但HuggingFace上很快......
  • 大模型算法必学,万字长文Llama-1到Llama-3详细拆解
    导读Llama系列的大语言模型在多个自然语言处理任务中表现出色,包括文本分类、情感分析和生成式问答,本质是使用Transformer架构并结合预训练和微调技术。本文详细讲解Llama-1到Llama-3,值得读者点赞收藏!引言在AI领域,大模型的发展正以前所未有的速度推进技术的边界。北京......
  • ollama搭建本地ai大模型并应用调用
    1、下载ollama1)https://ollama.com 进入网址,点击download下载2)下载后直接安装即可。2、启动配置模型默认是启动cmd窗口直接输入1ollamarunllama3启动llama3大模型 或者启动千问大模型1ollamarunqwen2启动输入你需要输入的问题即可 3、配置UI界面安装......
  • 【实战教程】手把手教你微调热门大模型 Llama 3
    Llama3近期重磅发布,发布了8B和70B参数量的模型,我们对Llama3进行了微调!!!今天手把手教大家使用XTuner微调Llama3模型。Llama3概览首先我们来回顾一下Llama3亮点概览~首次出现8B模型,且8B模型与70B模型全系列使用GQA(GroupQueryAttention)。最......
  • 全面指南:LLMs中的Llama-3模型——简介、安装教程、使用技巧及案例实践详解
    LLMs之Llama3:Llama-3的简介、安装和使用方法、案例应用之详细攻略导读:2024年4月18日,Meta重磅推出了MetaLlama3,本文章主要介绍了Meta推出的新的开源大语言模型MetaLlama3。模型架构Llama3是一种自回归语言模型,采用了优化的Transformer架构。调优版本使用了监督......