首页 > 其他分享 >开源大模型本地私有化部署

开源大模型本地私有化部署

时间:2024-04-08 11:56:17浏览次数:38  
标签:run https open 私有化 开源 com webui 本地 ollama

1、安装ollama

ollma下载
https://ollama.com/download/windows


linux 安装
curl -fsSL https://ollama.com/install.sh | sh
运行
ollama run gemma:2b
ollama run gemma:7b
使用端口11434

2、下载 open-webui 代码
https://github.com/open-webui/open-webui.git
生成目录open-webui

docker 运行open-webui 代码
docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_API_BASE_URL=http://127.0.0.1:11434/api --name open-webui --restart always ghcr.io/open-webui/open-webui:main

更多大模型下载部署
https://ollama.com/library

 

3、访问:http://ip:8080

标签:run,https,open,私有化,开源,com,webui,本地,ollama
From: https://www.cnblogs.com/testway/p/18120823

相关文章

  • 模型代码理解本地知识库
    importosfromlangchain.chainsimportRetrievalQAfromlangchain_community.document_loadersimportTextLoaderfromlangchain_community.embeddingsimportOllamaEmbeddingsfromlangchain_community.llms.ollamaimportOllamafromlangchain_community.vectors......
  • 开源许可协议简述
     一、开源许可协议简述开源许可协议是指开源社区为了维护作者和贡献者的合法权利,保证软件不被一些商业机构或个人窃取,影响软件的发展而开发的协议。它的中文名:开源许可协议;外文名:opensourcelicense。二、开源许可协议之间的区别与联系通过上图,可以很清晰的了解到6......
  • 开源基金会
    1985年——自由软件基金会成立自由软件基金会(FreeSoftwareFoundation,简称FSF)由RMS于1985年创立,这是一个非营利组织,其主要工作是运行GNU计划,使命是促进计算机用户的自由。基金会的员工编写并维护着一些GNU软件包。1999年——Apache软件基金会成立Ap......
  • 开源机器学习系统(一)
    找到懂机器学习系统开发的人太难了。现今的学生都一心学习机器学习算法,很多学生对于底层的运作原理理解得很浅。而当他们在实际中应用机器学习技术时才意识到系统的重要性,那时想去学习,却没有了充沛的学习时间。导言为了支持在不同应用中高效开发机器学习算法,人们设计和实现了......
  • 白嫖 kimi.ai 的 API 接口,给这个开源项目点赞!
    Kimi是当前国内相当火爆的AI产品,输出结果和使用体验都非常不错。Kimi开放了API接口,新用户注册后会免费赠送15元额度。KimiAPI的网址:platform.moonshot.cn/console这是光明正大的白嫖方式,一定不要错过哦。如果赠送额度用完了,你还想继续免费体验,那么,下面的这......
  • 本地运行大模型,需要什么样的配置?
    本地运行大模型有多爽?只有用过了才知道。那是一种顺畅、自由的感觉。比如使用那些主流大模型,最常见的就是网络问题,如IP受限,或者服务器压力过大导致的延迟等等。使用本地大模型,真的是像和人自然交谈那么顺畅。而且,再也不用心疼token的费用了。使用API调用大模型时,......
  • 开源模型应用落地-chatglm3-6b模型小试-入门篇(二)
       一、前言   刚开始接触AI时,您可能会感到困惑,因为面对众多开源模型的选择,不知道应该选择哪个模型,也不知道如何调用最基本的模型。但是不用担心,我将陪伴您一起逐步入门,解决这些问题。   在信息时代,我们可以轻松地通过互联网获取大量的理论知识和概念。然而,仅仅......
  • 将libc database下载到本地
    将libcdatabase下载到本地  这个是libc-database的网站,可以在线查找libc。libc-database  本文对自己下载使用libcdatabase做一个记录,详情请查看libcdatabase的官方文档:https://github.com/niklasb/libc-database下载  这个无需安装,从官方的github下载zip,放到liunx......
  • 本地知识库解锁答案
    fromlangchain.chainsimportRetrievalQAfromlangchain_community.document_loadersimportTextLoaderfromlangchain_community.embeddingsimportOllamaEmbeddingsfromlangchain_community.llms.ollamaimportOllamafromlangchain_community.vectorstores.faiss......
  • 毕业设计程序开源 Spring Boot+vue.js+Echart+mysql +QT+halcon
    1.介绍 涉及到的技术框架比较多,但是也不难,相关技术需要些基础。目前还是个半成品,还有些数据图表和QT功能没做完善,本来想在前端部分做大数据分析平台的,后续有空再完善。下面简单介绍一下。源代码此处:链接:https://pan.baidu.com/s/1904kLOv4EDJkcBuuNe1jqw?pwd=6666 提取码:6......