如何打造你的AI大模型：开源大模型指南

本地大语言模型

为什么要用开源模型

大语言模型有两种类型：

• 闭源的模型，如GPT-3.5、GPT-4、Cluade 、文心一言等

• 开源的模型，如LLaMA、ChatGLM,Qianwen等

开源模型的优势

• 已知目前最强的gpt4等大模型是商用闭源的，这些模型参数更大，更加智能，为什么我们会关注开源模型呢？

• 可以本地部署运行（利用自己的电脑或服务器，运行）数据交互不需要和外网连接，数据安全性提升

• 不需要购买服务，不用开会员，跑在自己的电脑上，想用多少就用多少

直接运行–>打包+运行

本地直接运行大模型

• 本地运行，需要至少一台性能很好的机器，不管是服务器，云服务器，或者自己的电脑，最好有张naviad 的显卡

• 选择大模型，现在目前最好的是llama3 是由Meta公司开源的，另外gemma是Google的，也非常不错，微软和苹果也开源了。中文的阿里开源的千问也不错

• 选好大模型后去下载到本地（体积看参数多少，在4G–100G之间）

• 下载好后，就可以本地运行了，只需要在命令行中输入命令

• 如果想要个网页端上对话，可以再下载一个网页端，比如open webui （这是我喜欢用的）。看个人风格

• 我自己常用的本地化大模型：

• 

打包自己的模型

• 有个新闻说是国内现在发布了几百个ai大语言模型，很多都是基于这些开源的模型上训练或改的

• 即使在开源模型上训练和微调也需要很多的显卡资源和算力。也不是个人可以做到的

• 如果你和我一样没有很大算力的服务器，又想尝试发布自己的大模型

• 可以考虑重新打包一个大模型，让它变成你的大模型

怎么打包

• 步骤1.下载开源模型

wget "https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit/blob/main/Llama3-8B-Chinese-Chat-q8.gguf""   ll -h    -rw-r--r-- 1 root root 8.0G Apr 21 10:21 Llama3-8B-Chinese-Chat-q8.gguf   -rw-r--r-- 1 root root  662 Apr 21 14:57 Modelfile   

• 步骤2.编辑Modelfile

vim Modelfile      #类型如下   FROM "/data/gguf/Llama3-8B-Chinese-Chat-q8.gguf"   TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>      {{ .System }}<|eot_id|>{{ end }}{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>      {{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>      {{ .Response }}<|eot_id|>   """   PARAMETER num_keep 24   PARAMETER stop "<|start_header_id|>"   PARAMETER stop "<|end_header_id|>"   PARAMETER stop "<|eot_id|>"   SYSTEM """   - Think step by step.   - Be precise, no preamble, get to the point.   - Always answer in Chinese unless the user is in English.   - My name is 51ak.    - My last training session took place on April 25th, 2024.   """         

• 步骤3: 打包

ollama create 51akGPT -f "/data/gguf/Modelfile"   

• 等待一会，就会出现一个模型，51akGPT

新模型可以用了

51akGPT

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。

本文转自 https://mp.weixin.qq.com/s/ok4OvLFk1S8j3CmXIXNW_w，如有侵权，请联系删除。