首页 > 其他分享 >使用open webui+ollama部署本地大模型

使用open webui+ollama部署本地大模型

时间:2024-04-25 20:46:01浏览次数:21  
标签:open com webui https docker ollama

使用open webui+ollama部署本地大模型

上次使用了angthingllm + ollama部署了本地大模型,详情见:https://www.cnblogs.com/jokingremarks/p/18151827

但是还是觉得可以用兼容性更好的open webui

1.安装docker

比较懒,所以还是在Windows系统上安装docker

docker官网链接:
https://www.docker.com/products/docker-desktop/

选择自己的系统等下载完毕以后就行了

image

启动虚拟化(Microsoft Hyper-V)

具体操作可以见这个文章的:https://www.cnblogs.com/jokingremarks/p/18156334

直接打开安装包,一路点下去即可

重启电脑以后就可以看到有个这个界面

image

点击accept,然后默认进入即可

如果遇到进不去,界面一直提示docker engine stopped,解决方法见链接:https://www.cnblogs.com/jokingremarks/p/18156334

2.拉取open webui镜像

最好配置个阿里云镜像,不然说实话拉取速度感人

阿里云镜像链接:https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

image

复制这个链接,打开docker desktop,找到设置,找到Docker Engine,在大括号内输入

"registry-mirrors": ["复制的网址"],

然后点击Apply &restart可以配置成功

image

open webui的GitHub地址:https://github.com/open-webui/open-webui?tab=readme-ov-file#how-to-install-

找到readme部分

image

因为我们是本机安装的ollama,所以直接在 PowerShell(管理员运行) 里面执行

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

等待进度条走完即可

这个时候在docker desktop的Images中就能看到下载的open webui了

image

3.open webui~ 启动!

启动就快了,点击run

image

等待加载,在浏览器中输入http://localhost:3000/即可进入

image

刚进去的时候需要注册,这个地方因为是本地的,所以不会有什么验证码之类的,正常填写就行

选择一个模型,这里你下载的ollama的模型都会在下拉框中

image

这个时候就可以开始问答环节了

image

标签:open,com,webui,https,docker,ollama
From: https://www.cnblogs.com/jokingremarks/p/18158530

相关文章

  • kali卸载重装openvas(gvm)
     参考百度aikali中gvm卸载重装在KaliLinux中,如果你需要卸载GreenboneVulnerabilityManager(GVM)并重新安装它,你可以按照以下步骤操作:停止所有GVM服务:   sudosystemctlstopgvmdsudosystemctlstopgsadsudosystemctlstopopenv......
  • openwrt wifi连接做中继
    连接目标wifi重命名下3.4.在无线安全里设置wifi密码后保存应用大功告成......
  • Pyinstaller打包 openvino,但未带上 openvino的依赖,找不到CPU,GPU
    命令:pyinstaller--onefile--collect-submodulesopenvino--collect-binariesopenvino--collect-dataopenvinoserver.pyserver.spec(自动生成)#-*-mode:python;coding:utf-8-*-fromPyInstaller.utils.hooksimportcollect_data_filesfromPyInstaller.util......
  • openCV 图像清晰度检测
    图像清晰度评价算法有很多种,在空域中,主要思路是考察图像的领域对比度,即相邻像素间的灰度特征的梯度差;在频域中,主要思路是考察图像的频率分量,对焦清晰的图像高频分量较多,对焦模糊的图像低频分量较多。这里实现3种清晰度评价方法,分别是Tenengrad梯度方法、Laplacian梯度方法和方差......
  • 苹果开源高效语言模型 OpenELM;全球首个 AI 基因编辑器开源丨RTE 开发者日报 Vol.192
       开发者朋友们大家好: 这里是「RTE开发者日报」,每天和大家一起看新闻、聊八卦。我们的社区编辑团队会整理分享RTE(RealTimeEngagement)领域内「有话题的新闻」、「有态度的观点」、「有意思的数据」、「有思考的文章」、「有看点的会议」,但内容仅代表编......
  • Centos7 下安装OpenCV 3.4.6 (本人参考这个步骤,在openEuler操作系统安装了OpenCV 3.4.1
    Centos7下安装OpenCV3.4.6 转自 https://blog.csdn.net/MaXiaoTiancsdn/article/details/115336499(本人参考这个步骤,在openEuler操作系统安装了OpenCV3.4.10的版本)  1.参考资料本文主要参考自以下文章,按照这篇文章的安装过程十分顺利,网上的贴子很多但是很......
  • Python3.8.4 解决 ImportError: urllib3 v2 only supports OpenSSL 1.1.1+, currently
    系统版本:CentOSLinuxrelease7.6.1810(Core)编译安装Python3.8.4[root@hankyoon~]#tar-xvfPython-3.8.4.tgz[root@hankyoon~]#cdPython-3.8.4/[root@hankyoon~]#./configure--prefix=/usr/local/python3.8[root@hankyoon~]#make&&makeinstall[......
  • Hessian矩阵以及在血管增强中的应用—OpenCV实现【2024年更新】
    有别于广为人知的Sobel、Canny等一阶算法,基于Hessian矩阵能够得到图像二阶结果,这将帮助我们深入分析图像本质。Hessian矩阵在图像处理中有着广泛的应用:其中在图像分割领域,包括边缘检测、纹理分析等;在图像增强领域,包括边缘增强、边缘消除等。本文从Hessian矩阵定义出发,通过清晰简......
  • OpenAI未至,Open-Sora再度升级!已支持生成16秒720p视频
    Open-Sora在开源社区悄悄更新了!现在支持长达16秒的视频生成,分辨率最高可达720p,并且可以处理任何宽高比的文本到图像、文本到视频、图像到视频、视频到视频和无限长视频的生成需求。我们来试试效果。生成个横屏圣诞雪景,发b站再生成个竖屏,发抖音还能生成16秒的长视频,这下人......
  • 每天5分钟复习OpenStack(十三)存储缓存技术Bcache
    Ceph作为一个分布式存储,在项目中常见的形态有两者,一种是采用SSD或NVME磁盘做Ceph的日志盘,使用SATA磁盘来做数据盘。这样的好处是比较经济实惠。另一种则是全部采用SSD或NVME磁盘,其性能更好,但是其价格比较昂贵。在第一种形态中,我们能像中间件那样加上一层缓存层,从而实现给数......