探索Databricks Vector Search：构建高效的相似性搜索引擎

引言

在当今的数据驱动世界中，处理和检索大量信息变得至关重要。Databricks Vector Search 是一个无服务器的相似性搜索引擎，允许您将数据的矢量表示存储在矢量数据库中，并通过简单的API查询以返回最相似的向量。在本文中，我们将介绍如何使用Databricks Vector Search进行自查询检索器（SelfQueryRetriever）的设置和应用。

主要内容

创建Databricks矢量存储索引

首先，需要创建一个Databricks矢量存储索引，并用一些数据进行初始化。我们将使用一组包含电影摘要的小型演示文档数据集。

安装所需的包：

%pip install --upgrade --quiet langchain-core databricks-vectorsearch langchain-openai tiktoken

重启内核以更新包后，获取OpenAI API Key，Databricks主机及令牌：

import getpass
import os

os.environ["OPENAI_API_KEY"] = getpass.getpass("OpenAI API Key:")
databricks_host = getpass.getpass("Databricks host:")
databricks_token = getpass.getpass("Databricks token:")

设置向量搜索客户端和索引

from databricks.vector_search.client import VectorSearchClient
from langchain_openai import OpenAIEmbeddings

embeddings = OpenAIEmbeddings()
emb_dim = len(embeddings.embed_query("hello"))

vector_search_endpoint_name = "vector_search_demo_endpoint"

vsc = VectorSearchClient(
    workspace_url=databricks_host, personal_access_token=databricks_token
)
vsc.create_endpoint(name=vector_search_endpoint_name, endpoint_type="STANDARD")

创建直接访问索引：

index_name = "udhay_demo.10x.demo_index"

index = vsc.create_direct_access_index(
    endpoint_name=vector_search_endpoint_name,
    index_name=index_name,
    primary_key="id",
    embedding_dimension=emb_dim,
    embedding_vector_column="text_vector",
    schema={
        "id": "string",
        "page_content": "string",
        "year": "int",
        "rating": "float",
        "genre": "string",
        "text_vector": "array<float>",
    },
)

添加文档

from langchain_core.documents import Document

docs = [
    Document(
        page_content="A bunch of scientists bring back dinosaurs and mayhem breaks loose",
        metadata={"id": 1, "year": 1993, "rating": 7.7, "genre": "action"},
    ),
    # 其他文档省略...
]

from langchain_community.vectorstores import DatabricksVectorSearch

vector_store = DatabricksVectorSearch(
    index,
    text_column="page_content",
    embedding=embeddings,
    columns=["year", "rating", "genre"],
)
vector_store.add_documents(docs)

创建自查询检索器

from langchain.chains.query_constructor.base import AttributeInfo
from langchain.retrievers.self_query.base import SelfQueryRetriever
from langchain_openai import OpenAI

metadata_field_info = [
    AttributeInfo(
        name="genre",
        description="The genre of the movie",
        type="string",
    ),
    AttributeInfo(
        name="year",
        description="The year the movie was released",
        type="integer",
    ),
    AttributeInfo(
        name="rating", description="A 1-10 rating for the movie", type="float"
    ),
]
document_content_description = "Brief summary of a movie"
llm = OpenAI(temperature=0)
retriever = SelfQueryRetriever.from_llm(
    llm, vector_store, document_content_description, metadata_field_info, verbose=True
)

代码示例

这是如何查询某些特定条件的电影的例子：

retriever.invoke("What are some movies about dinosaurs")

常见问题和解决方案

网络限制问题

在某些地区，开发者可能面临访问API的网络限制问题。建议使用API代理服务{AI_URL}来提高访问的稳定性。

认证问题

在开发阶段可能会使用个人访问令牌(PAT)，但为了更好的性能，建议在生产环境中使用服务主体身份验证。

总结与进一步学习资源

Databricks Vector Search为开发者提供了一种强大的方式来存储和检索数据的向量表示。通过本文的介绍，我们了解了如何设置和使用自查询检索器。想要更深入地学习，可以参考以下资源：

• Databricks 官方文档
• Langchain GitHub
• OpenAI API 参考

参考资料

• Databricks Vector Search 官方文档
• Langchain 使用文档
• OpenAI API 文档

如果这篇文章对你有帮助，欢迎点赞并关注我的博客。您的支持是我持续创作的动力！

—END—