首页 > 其他分享 >【LLM大模型】《开源大模型食用指南》全网发布,轻松助你速通llm大模型!

【LLM大模型】《开源大模型食用指南》全网发布,轻松助你速通llm大模型!

时间:2024-07-18 16:54:41浏览次数:17  
标签:教程 速通 部署 模型 微调 开源 LLM

前 言

《开源大模型食用指南》 是一个围绕开源大模型、针对国内初学者、基于 AutoDL 平台的中国宝宝专属大模型教程,针对各类开源大模型提供包括环境配置、本地部署、高效微调等技能在内的全流程指导,简化开源大模型的部署、使用和应用流程,让更多的普通学生、研究者更好地使用开源大模型,帮助开源、自由的大模型更快融入到普通学习者的生活中。

朋友们如果有需要全套 《开源大模型食用指南》,扫码获取~

在这里插入图片描述

项目的主要内容包括:

  • 基于 AutoDL 平台(可扩展,例如阿里云)的开源 LLM 环境配置指南,针对不同模型要求提供不同的详细环境配置步骤;
  • 针对国内外主流开源 LLM 的部署使用教程,包括 InternLM、Qwen、ChatGLM、DeepSeek 等;
  • 开源 LLM 的部署应用指导,包括命令行调用、在线 Demo 部署、LangChain 框架集成等;
  • 开源 LLM 的全量微调、高效微调方法,包括分布式全量微调、LoRA、ptuning 等。

图1.项目主页

开源初心

什么是大模型?

大模型(LLM)狭义上指基于深度学习算法进行训练的自然语言处理(NLP)模型,主要应用于自然语言理解和生成等领域,广义上还包括机器视觉(CV)大模型、多模态大模型和科学计算大模型等。

百模大战正值火热,开源LLM层出不穷。如今国内外已经涌现了众多优秀开源 LLM,国外如 LLaMA、Alpaca,国内如 ChatGLM、BaiChuan、InternLM(书生·浦语)等。开源 LLM 支持用户本地部署、私域微调,每一个人都可以在开源 LLM 的基础上打造专属于自己的独特大模型。

然而,当前普通学生和用户想要使用这些大模型,需要具备一定的技术能力,才能完成模型的部署和使用。对于层出不穷又各有特色的开源 LLM,想要快速掌握一个开源 LLM 的应用方法,是一项比较有挑战的任务。

本项目旨在首先基于核心贡献者的经验,实现国内外主流开源 LLM 的部署、使用与微调教程;在实现主流 LLM 的相关部分之后,我们希望充分聚集共创者,一起丰富这个开源 LLM 的世界,打造更多、更全面特色 LLM 的教程。星火点点,汇聚成海。

我们希望成为 LLM 与普罗大众的阶梯,以自由、平等的开源精神,拥抱更恢弘而辽阔的 LLM 世界。

项目受众

本项目适合以下学习者:

  • 想要使用或体验LLM,但无条件获得或使用相关 API;
  • 希望长期、低成本、大量应用LLM;
  • 对开源LLM感兴趣,想要亲自上手开源 LLM;
  • NLP在学,希望进一步学习LLM;
  • 希望结合开源LLM,打造领域特色的私域 LLM;
  • 以及最广大、最普通的学生群体。

项目规划及进展

本项目拟围绕开源 LLM 应用全流程组织,包括环境配置及使用、部署应用、微调等,每个部分覆盖主流及特点开源 LLM:

图2.已支持的模型

学习指南

本教程出发点便是降低大模型部署开发的学习门槛,帮助更多初学者入门大模型开发领域, 因此本教程的受众是所有具备基础 Python 能力,想要掌握大模型应用开发部署技能的开发者。也就是说,本项目对学习者的人工智能基础、算法基础没有任何要求,仅需要掌握基本 Python 语法、掌握初级 Python 开发技能即可 。学习者可以任意挑选一个模型进行学习,每个教程都是相对独立的教程。

同时,本项目对本地硬件基本没有要求,全程都需要在云服务器上运行,AutoDL租一台3090服务器,每小时需要1.66元,一杯奶茶就可以租一块3090愉快的学习7个小时!

理论上7小时就可以将本项目的所有教程全部跑通一遍(除全量微调外),一杯奶茶速通大模型,掌握开源大模型部署的核心科技。

朋友们如果有需要全套 《开源大模型食用指南》,扫码获取~

在这里插入图片描述

标签:教程,速通,部署,模型,微调,开源,LLM
From: https://blog.csdn.net/z099164/article/details/140523925

相关文章

  • 大模型网信办备案全网最详细说明【附流程+附件】
    本文共分为以下几个章节一、大模型算法备案的强制性二、生成式人工智能(大语言模型)安全评估要点三、大模型备案必备材料+重点说明四、大模型备案填报流程五、大模型备案时间成本对比六、备案建议附录、过程性材料一、大模型算法备案的强制性1、强制要求备案(1)《办法》第六条......
  • 多进程模型
    多进程模型基于最原始的阻塞网络I/O,如果服务器要支持多个客户端,其中比较传统的方式,就是使用多进程模型,也就是为每个客户端分配一个进程来处理请求。服务器的主进程负责监听客户的连接,一旦与客户端连接完成,accept()函数就会返回一个「已连接Socket」,这时就通过fork()函数创......
  • 使用gradio部署微调后的模型
    文章目录概要整体架构流程技术细节小结概要使用gradio部署微调后的模型整体架构流程gradio前期学习,以下是一些常见的输入输出组件,有些即可输入也可输出gr.Audio(sources=['microphone','upload'],#音频输入sources,支持录制或者上传音频文件......
  • 含光AI心理大模型:AI 心理助手,随时待命,伴你左右
    “我感觉自己毫无用处,做什么都不顺。”“焦虑让我窒息,没人能帮我。”……在当今这个快速变化的世界,我们每个人都可能会遇到压力和挑战,这些压力和挑战有时会让我们感到焦虑、失落,甚至自我怀疑。我们的内心可能充满了未被听见的声音,这些声音是我们情感状态的真实写照,它们渴望......
  • 大模型的短期记忆和上期记忆各自的使用场景
    吾名爱妃,性好静亦好动。好编程,常沉浸于代码之世界,思维纵横,力求逻辑之严密,算法之精妙。亦爱篮球,驰骋球场,尽享挥洒汗水之乐。且喜跑步,尤钟马拉松,长途奔袭,考验耐力与毅力,每有所进,心甚喜之。 吾以为,编程似布阵,算法如谋略,需精心筹谋,方可成就佳作。篮球乃团队之艺,协作共进,方显力......
  • 【十分钟学会微调大语言模型 】
    有同学给我留言说想知道怎么训练自己的大语言模型,让它更贴合自己的业务场景。完整的大语言模型训练成本比较高昂,不是我们业余玩家能搞的,如果我们只是想在某个业务场景或者垂直的方面加强大模型的能力,可以进行微调训练。本文就来介绍一种大语言模型微调的方法,使用的工具是我......
  • 苹果大模型系列之 从头开始在 Apple Silicon 上进行 ComfyUI(教程含完整步骤)
    简介如何在搭载AppleSilicon的MacBookPro上安装ComfyUI,并开始使用StableDiffusion创作AI生成的艺术作品。无需开发技能。在安装了Python3.9的M1MacBookPro和安装了Python3.10的M1MaxMacBookPro上进行了测试,均使用macOSSonoma14.1.2。本地......
  • 探索混合专家(MoE)模型预训练:开源项目实操
    探索混合专家(MoE)模型预训练:开源项目实操Mantaverse 来自知乎​目录收起MOE模型是什么实现Moe模型实现步骤拆解1.初始化和形状调整2.计算路由器的logits3.初始化和创建专家掩码4.循环计算专家层输出5.恢复形状并返回结果预训练效果对比DeepseekMoE结语......
  • 大模型长度扩展:直接外推, PI, NTK-aware, NTK-by-parts, Dynamic NTK, ALiBi, YaRN, S
    目录第一部分背景知识:从进制表示谈到直接外推、线性内插、进制转换1.1从进制表示到直接外推1.1.1进制表示1.1.2直接外推1.2从线性内插到进制转换1.2.1线性内插1.2.2进制转换第二部分从RoPE、直接外推到位置内插PositionInterpolation2.1旋转位置嵌入2.1.1RoPE的快速回......
  • 【AI牛马贾维斯】微信接入国内大模型生成专属于自己的贾维斯
    效果展示:*根据自定义知识库生成的答案创建并发布智能体创建一个bot(bot如果不知道怎么创建的可以参考这个【养成系】创建你的coze聊天chatbo并训练成你要的样子(摸鱼、炒股、工作…))2.点击右上角的发布选中微信订阅号,点击配置输入APPID,点保存,如果不知道怎么获......