前言
在本地电脑上跑大语言模型（LLM），已经不是什么高科技操作了。随着技术的迭代，现在利用Ollam和AnythingLLM就可以轻松构建自己的本地知识库，人人皆可上手，有手就行。过往要达成这一目标，可是需要有编程经验的。
首先得了解一下背后的原理。大概就是三步走：一是LLM，大语言模型，懂得怎么处理自然语言。二是嵌入模型，它的工作就是把复杂的数据简化，转化成易于处理的格式。最后是向量数据库，专门存储和管理那些转化后的数据。
说实话，虽然文章有点长，但里面多是附加的资源和细节，实际上手操作真的挺简单的。感兴趣的朋友，动手试试吧，说不定用AI构建自己知识库这种事挺酷的。
现在，咱们来看看如何实操：
第一步：安装ollam
-
- ollam，这玩意儿现在可以说是跑大模型的神器。不管你用的是PC、Mac还是树莓派，只要内存够，跑起来都不是问题。记得，7B模型至少要8G内存，13B的要16G，想玩70B的大家伙，那得有64G。首先，去ollama.com下载适合你操作系统的版本，我用的是Windows，下载安装完之后，在命令行敲一下
ollama -V，能看到版本号就说明安装好了。
- ollam，这玩意儿现在可以说是跑大模型的神器。不管你用的是PC、Mac还是树莓派，只要内存够，跑起来都不是问题。记得，7B模型至少要8G内存，13B的要16G，想玩70B的大家伙，那得有64G。首先，去ollama.com下载适合你操作系统的版本，我用的是Windows，下载安装完之后，在命令行敲一下
-
- 下载适合本地电脑的大模型，ollama网站上有个“Models”链接，点进去找到“gemma”模型。在“Tags”里面找到你想运行的模型版本，比如“7b”，旁边有个复制按钮，点击后把命令复制下来。然后就是在命令行里跑这个命令，第一次运行会自动下载模型。下载完毕，就能开始和它聊天或者让它帮你写代码了。
-
终端输入：
ollama run llama2:7b
下载完成后，就进入交互模式，这就可以开始聊天了。
至此，Gemma 模型的_本地部署运行已经完成了_，非常简单。
- 使用像 ChatGPT 那样的现代的聊天窗口
虽然部署完成了，但是上面那种_古老的终端_可能影响我们的交互体验，下面提供两个现代聊天窗口工具（如果你不想使用这些GUI，这一步可以跳过，不影响本地知识库搭建，**直接去看下面的第二步：**AnythingLLM安装）：chatbox 和 openai web ui。
第一个：chatbox
打开设置，模型提供方选 ollama，API 地址是本地的 11434 端口，模型选 gemma:7b。
地址：https://chatboxai.app/zh
第二个：openai web ui
如何安装
标签：open,AI,AnythingLLM,教你用,文档,Ollama,模型 From： https://blog.csdn.net/weixin_49895216/article/details/144674572