提示:确保您已先按照自定义安装步骤操作。
这是一个著名的“五行代码”起步示例,使用本地 LLM(大语言模型)和嵌入模型。我们将使用 BAAI/bge-small-en-v1.5 作为嵌入模型,通过 Ollama 服务的 Mistral-7B 作为 LLM。
下载数据
本示例使用 Paul Graham 的文章《What I Worked On》文本。您可以在我们仓库的 examples
文件夹中找到这篇及其他多个示例。
最简便的方式是通过此链接下载该文件,并将其保存到名为 data
的文件夹中。
安装与设置
Ollama 是一个帮助您在本地配置 LLM(目前支持 macOS 和 Linux,您可以通过 WSL 2 在 Windows 上安装 Ollama)的工具。
请遵循 README 了解如何安装 Ollama。
要加载 Mistral-7B 模型,只需执行 ollama pull mistral
注意:您需要至少具有 32GB 内存的机器。
加载数据并构建索引
在您创建 data
文件夹的同一目录下,创建一个名为 starter.py
的文件,内容如下:
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings from llama_index.core.embeddings import resolve_embed_model from llama_index.llms.ollama import Ollama documents = SimpleDirectoryReader("data").load_data() # 使用 BAAI/bge-small-en-v1.5 嵌入模型 Settings.embed_model = resolve_embed_model("local:BAAI/bge-small-en-v1.5") # 使用 Ollama 包装的 Mistral LLM Settings.llm = Ollama(model="mistral", request_timeout=30.0) index = VectorStoreIndex.from_documents(documents)
这段代码将在 data
文件夹中的文档(本例中仅包含文章文本,但可以包含多个文档)上构建索引。
此时,您的目录结构应如下所示:
├── starter.py
└── data
└── paul_graham_essay.txt
我们通过 resolve_embed_model
使用 BAAI/bge-small-en-v1.5 模型,它解析为我们库中的 HuggingFaceEmbedding
类。同时,我们使用 Ollama LLM 封装来加载 mistral 模型。
查询数据
向 starter.py
添加以下代码:
query_engine = index.as_query_engine() response = query_engine.query("What did the author do growing up?") print(response)
这将创建一个针对索引的查询引擎,并提出一个简单问题。您应该得到类似以下的响应:
The author wrote short stories and tried to program on an IBM 1401.
您可以像起步示例那样查看日志、持久化/加载索引。
提示:
- 了解高级概念:想了解更多关于高层次概念,请查阅相关文档。
- 如何定制:若想知道如何定制各项内容,请参阅相关说明。
- 特定模块:对某个特定模块感兴趣?请查看组件指南。
Ref:https://docs.llamaindex.ai/en/stable/getting_started/starter_example_local/
Link:https://www.cnblogs.com/farwish/p/18133696
标签:index,教程,en,Ollama,模型,起步,LlamaIndex,LLM,data From: https://www.cnblogs.com/farwish/p/18133696