首页 > 其他分享 >LLAMA3.1 8B 本地部署并配合Obsidian建立本地AI知识管理系统

LLAMA3.1 8B 本地部署并配合Obsidian建立本地AI知识管理系统

时间:2024-07-30 22:07:58浏览次数:6  
标签:OLLAMA 8B LLAMA3.1 模型 本地 copilot ollama 下载

目前,LLAMA3.1模型分为8B、70B、405B三个版本,其中70B和405B对于显存的要求均已超过了一般家用电脑的配置(或者换个说法,用一张4090也是带不起来的),所以运行8B即可。LLAMA3.1 8B的性能约相当于ChatGPT3.5。

经过我的测试4080、2080、intel ultra 9 185H(无独立显卡,其能力约相当于1060)都是可以带得动8B模型的,当然显卡越好,响应的速度越快。

1、安装Ollama

Ollama是专门为本地化运行大模型设计的软件,可以简便运行很多开源大模型
去官网下载Ollama软件:

https://ollama.com/ 

2、设置环境变量

可以直接在CMD中通过set命令设置

set OLLAMA_HOST=127.0.0.1
set OLLAMA_MODELS=d:\ollama\models
set OLLAMA_ORIGINS=app://obsidian.md*

其中,OLLAMA_HOST可以设置为127.0.0.1(本机) 或者0.0.0.0(任意)
OLLAMA_MODELS用于设置模型位置,如果设置了这个环境变量的话,则下载回来的模型会保存在后面设定的位置,如果没设置这个环境变量的话,则会默认保存在

C:\Users\你的用户名\.ollama\models

OLLAMA_ORIGINS用于连接obsidian笔记

3、下载并运行模型

先下载一个用于上载笔记内容至Ollama的模型

ollama pull nomic-embed-text

直接在CMD中使用命令进行下载

ollama run llama3.1:8b

第一次运行的时候会自动下载训练好的模型文件,后续使用不会重复下载。
但是每次使用的时候都需要执行一次

ollama run llama3.1:8b

如果下载过程中出现提示网络错误,则可以尝试使用特殊的上网方式或者去可下载的电脑上下载回来模型文件并拷贝到环境变量中设置的models文件位置中使用

4、OBSIDIAN安装

去其官网下载安装即可,无特殊要求

https://obsidian.md/

5、安装copilot插件

在Obisdian的设置——第三方插件——关闭安全模式——社区插件市场——浏览——搜索输入copilot,选择作者是logan yang的那个,然后安装——启用,即可

随后还是在第三方插件中,点开copilot的设置。
主要有以下几处

  1. 在最顶端 Default Model——选择OLLAMA(LOCAL)
  2. 在QA settings里面 Embedding Models——选择ollama-nomic-embed-text
  3. 在接近最下面的地方 Ollama model——手工输入 llama3.1:8B

最后去最上方点 save and reload

6、使用

在obsidian左侧点击copilot小图标,右侧出现窗口,就可以使用copilot了。

可以在三种模式中切换,chat就是一般的对话模式,long note QA是针对单篇笔记的问答模式,vault QA是针对整个笔记库的问答模式。

使用QA模式时,应先点击一下右边的拼图形状的图标,载入当前笔记,后针对性提问,美中不足是它在针对笔记的问题回答时只能使用英文回答。

标签:OLLAMA,8B,LLAMA3.1,模型,本地,copilot,ollama,下载
From: https://www.cnblogs.com/AsarumMaxim/p/18333428

相关文章

  • 简单零配置的本地 HTTPS 签名证书生成工具
    大家好,又见面了,我是GitHub精选君! 背景介绍开发人员在本地测试网站时,常常需要确保与线上环境一致的安全连接(HTTPS)。然而,使用真正的证书颁发机构(CA)颁发的证书来进行本地开发不仅存在安全隐患,而且对于一些特殊域名(比如example.test、localhost或127.0.0.1)来说,甚至是不可能的......
  • 笔记:从Aurora 8b/10b 到Aurora 64b/66b (一):Aurora 8b/10b
    参考:https://www.xilinx.com/products/intellectual-property/aurora8b10b.html#documentationhttps://docs.amd.com/r/en-US/pg046-aurora-8b10bhttps://docs.amd.com/v/u/en-US/aurora_8b10b_ds797https://mp.weixin.qq.com/s/gT4QUgvoFF6UI0PAhfEPvQ补丁:Aurora系IP内部......
  • Solution - Atcoder AGC028B Removing Blocks
    因为贡献的方法是相加,一种想法就是拆开,对每一项单独贡献。不难发现这题目中的贡献其实只涉及到两点之间。即删除\(x\)时\(y\)也产生了贡献。考虑这个贡献会在多少种排列中出现。令\(d=|x-y|+1\),即\(x,y\)中的点数。能发现排列需要满足除\(x\)外的\(d-1\)......
  • 像导入本地类一样导入第三方类
    我正在审查代码,我看到了第三方类#tables.pyfromsqlalchemyimportEnum被导入的情况,因为它是本地的#db_update.pyfrom.tablesimportEnum它有什么缺点吗?似乎是一种允许将来替换Enum定义的方法,例如什么时候sqlalchemy有一天或另一天被另一个库取......
  • 关于VMware workstation添加本地物理磁盘时候提示“未能为设备XX加载分区,权限不足,无法
    前言:玩虚拟机这么久了,原先一直是直接初始化虚拟机的时候按照流程新建虚拟机硬盘,但是正常情况下虚拟机硬盘与物理机硬盘是隔离开的,无法直接相互访问正常情况下是安装vmtools来进行相互间文件传输,或者将物理磁盘上的文件拷贝到U盘,当插上U盘的时候选择连接到对应的虚拟机即可实现......
  • Ollama+GGUF离线加载本地模型
    一般在使用Ollama下载模型时,都是从Ollama官方仓库下载(使用ollamarun命令),但一些环境下,受限于网速等原因使用这种方式可能会非常慢甚至无法下载,所以我们可以选择使用Huggingface上的GGUF文件,在Ollama仓库里的模型都可以在Huggingface上找到,因此我们可以使用Ollama+GGUF文件离线......
  • Bug 解决 | 本地项目上线后出现错误
    目录一、前言二、原因分析1、本地代码误发线上2、环境差异3、配置差异4、资源路径差异5、API接口差异6、用量差异一、前言大家好,我是小洪爱分享。在开发上线项目的过程中,我们经常会遇到一种让人头疼的情况。那就是开发好的项目功能明明在本地运行和测试都没问题,但......
  • 如何在本地设置深度学习中心
    我真的需要在我的电脑上设置一个深度学习中心。我运行的是13900k、4080S和32GB6400MTRam,我知道我想要训练/建模什么,但是看在上帝的份上,我无法在我的个人计算机上设置它。我运行的是Win10,仅供参考。预先感谢尝试了通常的Anaconda安装、Python安装、nVidiacuDNN和T......
  • 无法在 Llama Index 中加载 HuggingFace Embeddings llama3.1
    我有一个非常简单的代码,如下所示:fromllama_index.embeddings.huggingfaceimportHuggingFaceEmbeddingembed_model=HuggingFaceEmbedding(model_name="meta-llama/Meta-Llama-3-8B")我看到这个模型,meta-llama/Meta-Llama-3-8B,只有4.5GB,而我有16GBRAM,最多只使用20......
  • 【ollama】手把手教你布置本地大语言模型 以及各种常见用途#如何加载guff模型到ollama
    ollama介绍Ollama是一个开源框架,专为在本地机器上便捷部署和运行大型语言模型(LLM)而设计。以下是其主要特点和功能概述:简化部署:Ollama目标在于简化在Docker容器中部署大型语言模型的过程,使得非专业用户也能方便地管理和运行这些复杂的模型。轻量级与可扩展:作为轻量级......