首页 > 其他分享 >如何拥有自己的专属GPT-本地部署目前最强大模型llama3

如何拥有自己的专属GPT-本地部署目前最强大模型llama3

时间:2024-04-26 14:45:09浏览次数:23  
标签:专属 -- 安装 模型 llama3 GPT docker ollama

你是不是苦于没法使用ChatGPT?或者访问了ChatGPT却没法使用GPT4?现在一切问题都可以解决了!
4月18日,Meta发布两款开源Llama 3 8B与Llama 3 70B模型,供外部开发者免费使用。这个消息轰动了全球开发者。按照Meta的说法,Llama 3 8B和Llama 3 70B是目前同体量下,性能最好的开源模型。
所以Llama3成了ChatGPT最好的平替。

本文教你一步一步在本地部署目前最先进的开源大模型llama3,让你再也不用忍受网络问题,且可以无限制使用大模型。非常简单,包教包会。

先讲下作者的开发环境:内存 32G,显存22G,Windows

1. 安装docker

什么是docker?
简单来讲,可以将docker理解为轻量版的虚拟机。也许你曾经遇到过,使用某一个软件的时候环境不通、还要安装各种依赖等等问题,经常会导致卡在某一步无法进行。所以容器化很好的解决了这个问题,会将你需要的环境、前置的依赖等等打包成镜像,你可以在容器中直接运行。

首先访问docker官网,下载docker桌面版。

image

下载完成后双击打开直接安装。
image

上图是我已经安装成功了。

2. 安装ollama

随着LLM发展越来越快,一些优秀的开源大语言基座模型得到了广泛应用。比如meta发布的llama3,google发布的gemma等等。每次大模型的发布都号称史上最强,但到底怎么样你自己体验了才能知道。
Ollama就是做这个事情的,让你能快速在本地也能跑起来各种大模型。
Ollama可以直接部署在本地,也可以部署在docker上,简单起见,我们还是部署在docker上比较好。
首先打开Windows命令行,可以使用win+r,然后输入cmd即可打开。

image

然后输入命令

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama --restart always ollama/ollama

如果没有ollama镜像,会自动从网络获取ollama镜像。

image

我这个是已经安装过了。

tips:最好使用命令行运行,主要是为了打开11434端口,为了后面可视化做准备。

3. 安装llama3模型

在docker desktop找到ollama的容器,点击进入

image

点击exec进入容器命令行。

image

运行命令

ollama run llama3

ollama会自动下载llama3模型并运行。
等待下载完成后,显示success便是运行成功,这时候就可以向它提问了。

image

以上是我向它提的问题,可以看到已经有了回答。

4. 安装Open WebUI

虽然大模型已经安装成功,但是总不能一直用命令行来提问吧,非常不友好。如何才能像ChatGPT那样呢?
不用担心,开源社区总会有惊喜,Open WebUI就是做这个的。

打开命令行,执行下面的命令。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

image

没有镜像会自动下载好Open WebUI的镜像,然后执行。

image

这时候你打开docker desktop,可以看到open-webui已经在运行中了。

打开浏览器,输入localhost:3000,看到有登录界面,就算安装成功了。
image

可以注册一个账号再登录。
image

这时候还没有完,需要在上面设置模型后才能使用。
image

选择刚才创建好的llama3,这时候就可以提问啦。

image

看到这里就大功告成了,你已经拥有了自己的ChatGPT,please enjoy your llm。

结束

后面我会持续分享AI相关的技术,欢迎大家关注。
如果在安装过程中出现各种问题,也欢迎提问,笔者非常乐于解答。

标签:专属,--,安装,模型,llama3,GPT,docker,ollama
From: https://www.cnblogs.com/1000hours/p/18160035

相关文章

  • 压缩即智能:为什么 ChatGPT 拥有智能?(转)
    源地址:背景随着ChatGPT、GPT4、PaLM2、文心一言各种大模型的爆火,我们在惊讶大模型能力的同时,也在不断的问自己一个问题,为什么Decode-only的ChatGPT拥有智能?GPT其实就是基于Transformer的Decode-only,本质是就是 NextTokenPrediction,为啥如此简单的结构,训练出来的大......
  • Sharding-JDBC测试ChatGPT
    问题:Sharding-JDBC对订单表进行分库分表,16个库,每个库16张表。分片键订单id、用户id。分库规则,对分片键按1000取模再对16取模。分表规则,对分片键按1000取模再对256取模。配置文件如何写,以及ComplexKeysShardingAlgorithm实现代码? 回答:针对订单表进行分库分表,每个库16张表,分片......
  • ollama——快速上手Llama3部署使用
    ollama——快速上手Llama31.ollama安装#Linuxcurl-fsSLhttps://ollama.com/install.sh|sh#vi/etc/systemd/system/ollama.service[Unit]Description=OllamaServiceAfter=network-online.target[Service]ExecStart=/usr/local/bin/ollamaserveUser=ollamaGrou......
  • 学习笔记447—本地部署 Llama3 – 8B/70B 大模型!最简单的方法: 支持CPU /GPU运行 【3种
    本地部署Llama3–8B/70B大模型!最简单的方法:支持CPU/GPU运行【3种方案】目前在开源大模型领域,Llama3无疑是最强的!这次Meta不仅免费公布了8B和70B两个性能强悍的大模型,400B也即将发布,这是可以和GPT-4对打的存在!今天我们就来介绍3各本地部署方法,简单易懂,非常适合新手!1.G......
  • 扎克伯格说,Llama3-8B还是太大了,量化、剪枝、蒸馏准备上!
    扎克伯格说,Llama3-8B还是太大了,不适合放到手机中,有什么办法?量化、剪枝、蒸馏,如果你经常关注大语言模型,一定会看到这几个词,单看这几个字,我们很难理解它们都干了些什么,但是这几个词对于现阶段的大语言模型发展特别重要,它们就是将模型缩小的利器。这篇文章就带大家来认识认识它们,......
  • https://github.com/meta-llama/llama3 文生图
    https://github.com/meta-llama/llama3 Skiptocontent NavigationMenu Product Solutions OpenSource Pricing Searchorjumpto...  SigninSignup  meta-llama/llama3PublicNotificationsFork 1.4k Star ......
  • 图解GPT
     通过最后的向量来预测接下来的内容。   权重:是在训练中得到的,算是大脑吧用这个些权重,去乘以新的内容向量 词嵌入三维空间和能简单 多维12288 我目前没法展示也理解不了他在空间中是什么样子,。......
  • 微软Phi-3,3.8亿参数能与Mixtral 8x7B和GPT-3.5相媲美,量化后还可直接在IPhone中运行
    Phi-3系列Phi-3是一系列先进的语言模型,专注于在保持足够紧凑以便在移动设备上部署的同时,实现高性能。Phi-3系列包括不同大小的模型:Phi-3-mini(38亿参数) -该模型在3.3万亿个令牌上进行训练,设计得足够小,可以在现代智能手机上运行。尽管体积紧凑,它的性能却可与更大的模型如Mixtra......
  • 使用ollama分别在我的window、mac、小米手机上部署体验llama3-8b
    1、ollama到底是个什么玩意一句话来说,Ollama是一个基于Go语言开发的简单易用的本地大模型运行框架。可以将其类比为docker(有类似docker中的一些常规命令list,pull,push,run等等),事实上确实也制定了类似docker的一种模型应用标准,在后边的内容中,你能更加真切体会到这一点。......
  • 10分钟本地运行llama3及初体验
    Meta最新推出的开源大模型llama-3,被誉为目前最强的开源大模型,能力接近于GPT4.5.因此在本地搭建一下抢鲜体验系统环境CPU:AMDRyzen53600X6-CoreProcessor4.10GHzRAM:32GGPU:Navida2060S8GDISK:SSD100GFree基于上述自身条件,装llama-38b版本比较实际。整......