首页 > 其他分享 >搭建本地大模型和知识库最简单的方法

搭建本地大模型和知识库最简单的方法

时间:2024-11-12 22:15:14浏览次数:3  
标签:-- 模型 知识库 学习 host webui 本地 open 搭建

01、本地大模型越来越简单

经过了一年多时间的迭代,大模型种类繁多,使用也越来越简单了。

前排提示,文末有大模型AGI-CSDN独家资料包哦!

在本地跑大模型,个人认为目前最好的软件肯定是Ollama无疑了,

不管你是在PC上跑大模型,在Mac上跑大模型,还有在树莓派上跑大模型,

我们都可以用Ollama去跑各种大大小小的模型,而且它的扩展性非常强。

02、Ollama本地运行大模型

现在安装Ollama超级简单的,只需要进入Ollama官网下载安装包,然后安装即可。

以下是我个人安装为例(macOS系统):

  • 1、下载

ai_5_1_ollama下载.webp

  • 2、安装

ai_5_2_安装.webp

直接点击Next:

ai_5_3_安装命令.webp

  • 3、命令查看

ai_5_4_版本和使用的命令.webp

  • 4、运行

ai_5_5_启动运行.webp

  • 其他说明

如果自己不确定模型名称可以去官网查看模型

ai_5_6_模型查询.webp

每款大模型都有不同版本,根据自己的机器来选择,根据官网的文档也说明了,一般7B的模型至少需要8G的内存,13B的模型至少需要16G内存,70B的模型至少需要64G内存。

ai_5_7_内存需求.webp

03、使用Web UI界面连接Ollama

ollama没有界面化的页面使用,它是在终端里交互的,所有我们要使用图形化的界面里去操作,这是我们可以使用Open WebUI。

Open WebUI是一个开源的Web UI界面,github地址:github.com/open-webui/…

  • 1、下载和运行

使用Docker方式运行Open WebUI,直接一条命令解决下载和运行:

ai_5_8_open-webui启动命令.webp

bash
复制代码
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main


命令解释:

  • -d:后台运行
  • -p 3000:8080:将容器的8080端口映射到主机的3000端口
  • --add-host=host.docker.internal:host-gateway:添加主机映射,用于访问主机的Docker容器
  • -v open-webui:/app/backend/data:将主机的open-webui目录映射到容器的/app/backend/data目录
  • --name open-webui:设置容器名称
  • --restart always:设置容器总是重启
  • ghcr.io/open-webui/open-webui:main:镜像地址

启动日志:

ai_5_8_open-webui启动日志.webp

注意:open-webui启动时有点慢,需要等待一会。可以通过docker logs open-webui查看日志。红框的可以不用理会。

  • 2、注册

第一次使用时需要进行注册,这个数据都是本地存储。

ai_5_10_open-webui注册.webp

  • 3、登录

ai_5_9_open-webui登录.webp

  • 4、open-webui使用界面

ai_5_11_open-webui界面.webp

  • 4、设置

ai_5_12_open-webui设置界面.webp

  • 5、模型选择

ai_5_13_open-webui模型选择.webp

04、本地化知识库

1、open-webui界面文档设置

ai_5_14_open-webui文档设置.webp

2、加载网页或者文档

在对话窗口通过#+链接加载网页,通过对话框的+上传文件,也可以在文档中导入。

ai_5_15_open-webui文档或者网页加载.webp

如果对知识库有更高的需求,可以使用AnythingLLM这个软件,github地址:github.com/Mintplex-La…

读者福利:如果大家对大模型感兴趣,这套大模型学习资料一定对你有用

对于0基础小白入门:

如果你是零基础小白,想快速入门大模型是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括:大模型学习线路汇总、学习阶段,大模型实战案例,大模型学习视频,人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型!

标签:--,模型,知识库,学习,host,webui,本地,open,搭建
From: https://blog.csdn.net/xzp740813/article/details/143725699

相关文章

  • 本地部署大模型的几种方式
    现在大模型可谓是满天飞,只要你稍微关注时下的AI资讯,几乎每天都有新的AI大模型出现.这之中当然有诸如GhatGPT,Gemini这样的私有化大模型,更吸引人关注的可能是开源的可私有化部署的一些大模型.比如Meta前两天开放的Lamma3,Google的Gemma开源模型,国内也有Qwen以及......
  • redis集群搭建 - cluster模式
    概述搭建一套rediscluster集群。架构192.168.0.21:6379主192.168.0.23:6380从192.168.0.22:6379主192.168.0.21:6380从192.168.0.23:6379主192.168.0.22:6380从修改这三台服务器的host文件(选做)vim/etc/hosts192.168.0.21node1192.168.0.22node2192.168.......
  • Linux搭建FTP服务器配置
    一、概念1.1介绍FTP:Filetransferprotocol文件传输协议端口TCP21:命令TCP20:数据1.2原理默认采用被动模式被动模式FTP为了解决服务器发起到客户的连接的问题,人们开发了一种不同的FTP连接方式。这就是所谓的被动方式,或者叫做PASV,当客户端通知服务器它处于被动模式时才启......
  • 2. Spring Cloud 微服务基础环境搭建
    2.SpringCloud微服务基础环境搭建文章目录2.SpringCloud微服务基础环境搭建前言1.微服务需求解析2.具体搭建微服务步骤:2.1创建父工程,用于聚合其它微服务模块2.1.1需求说明/图解2.1.2具体实现步骤2.1.3注意事项和具体细节2.2创建会员中心微服务模块-serv......
  • 将本地安装的Python库集成到Docker镜像
    1.确定本地库的位置和格式首先,你需要明确本地库的位置和格式。如果是Python库,它可能是以.whl(wheel格式)、.tar.gz(压缩包格式)或者是一个包含源代码的目录形式存在。2.使用COPY或ADD指令(对于简单的本地库文件)COPY指令:如果本地库是一个简单的文件(如.whl或.tar.gz),可......
  • 搭建 PostgreSQL 主从架构
    操作场景PostgreSQL是一个开源对象关系型数据库管理系统,并侧重于可扩展性和标准的符合性。PostgreSQL面向企业复杂SQL处理的OLTP在线事务处理场景,支持NoSQL数据类型(JSON/XML/hstore),支持GIS(GeographicInformationSystem或Geo-Informationsystem)地理信息处理,在可靠......
  • 搭建 Ubuntu 可视化界面
    操作场景VNC(VirtualNetworkConsole)是虚拟网络控制台的缩写。它是一款优秀的远程控制工具软件,由著名的AT&T的欧洲研究实验室开发。VNC是基于UNIX和Linux操作系统的开源软件,远程控制能力强大,高效实用,其性能可以和Windows、MAC中的任何远程控制软件媲美。本文档指导您......
  • 缓存之美——如何选择合适的本地缓存?
    作者:京东保险郭盼1、简介小编最近在使用系统的时候,发现尽管应用已经使用了redis缓存提高查询效率,但是仍然有进一步优化的空间,于是想到了比分布式缓存性能更好的本地缓存,因此对领域内常用的本地缓存进行了一番调研,有早期的Guava缓存、在Guava上进一步传承的Caffine以及自称在Ja......
  • 博客搭建之路:next主题数学公式问题
    next主题数学公式问题我写的都是一些编程相关的文章,有些文章里是存在数学公式的,我在Typora软件中写的时候显示的是对的,但是hexo将markdown转为html后在页面上就没有数学公式的格式了。查找next配置发现有一个渲染数学公式的配置math:#Default(true)willloadmathjax/k......
  • 本地html 加载js 和 两种定义模块的方式, IIFE and 对象字面量
    本地html加载js和两种定义模块的方式,IIFEand对象字面量需求希望写一个不启动服务的页面,也不用vitewebpack打包,就双击就能运行就行~开始以为requirejs比较老,结果发现本地也不能运行,chrome报跨域,没有权限。IIFE(立即执行函数表达式):varmyModule=(function(){v......