InvalidDimensionException：嵌入维度 384 与集合维度 3 不匹配

我尝试在 ChromaDB 上使用语义搜索方法，然后出现错误“InvalidDimensionException：嵌入维度 384 与集合维度 3 不匹配” 我的文件没有任何问题，供您参考，该文件是 .CSV 并且它已经有嵌入。

我尝试使用以下代码执行语义搜索方法：

from chromadb.config import Settings
from chromadb import Client
from sentence_transformers import SentenceTransformer

collection = client.get_collection("my_collection")

query = "What division this student?"
model = SentenceTransformer('all-MiniLM-L6-v2')
query_embedding = model.encode(\[query\])

results = collection.query(query_embeddings=query_embedding, n_results=5)

for i, result in enumerate(results\['ids'\]):
print(f"Document {i+1}: {result}")
print(f"Distance: {results\['distances'\]\[i\]}")
print(f"Title: {results\['metadatas'\]\[i\]\['title'\]}")

我期望语义搜索成功运行，但是有一个错误说： “InvalidDimensionException：嵌入维度 384 与集合维度 3 不匹配”

这个错误信息 "InvalidDimensionException: Embedding dimension 384 does not match collection dimension 3" 意味着你试图将维度为 384 的 embedding 向量插入到一个预期维度为 3 的 ChromaDB 集合中。

以下是可能的原因和解决方法：

1. 集合创建时的维度设置错误:

• 你可能在创建 my_collection 集合时指定了错误的维度。
• 检查创建集合的代码，确保 embedding_function 参数设置正确，并且与你使用的 SentenceTransformer 模型 ( all-MiniLM-L6-v2 ) 的输出维度 (384) 一致。

2. 错误的 embedding 向量:

• 确保你提供的 embedding 向量确实是 query_embedding ，而不是其他维度为 3 的向量。
• 打印 query_embedding.shape 确认其维度是否为 (384,) 。

3. 集合中已有数据:

• 如果 my_collection 集合中已经存在数据，这些数据可能使用了不同的 embedding 模型或设置，导致维度不匹配。
  • 解决方法:
    • 清空集合: 删除现有集合并使用正确的维度重新创建。
    • 创建新集合: 使用正确的维度创建一个新的集合，并将数据导入到新集合中。

代码示例 (修正):

from chromadb.config import Settings
from chromadb import Client
from sentence_transformers import SentenceTransformer

# 配置 ChromaDB (如果需要)
client = Client(Settings(chroma_db_impl="duckdb+parquet", persist_directory="./.chromadb"))

# 创建/获取集合, 确保维度设置正确
collection = client.get_or_create_collection(
    name="my_collection",
    embedding_function=SentenceTransformer('all-MiniLM-L6-v2').encode  # 设置正确的 embedding 函数
)

# 查询
query = "What division this student?"
model = SentenceTransformer('all-MiniLM-L6-v2')
query_embedding = model.encode([query]) 

# 打印 embedding 维度进行确认
print(f"Query Embedding Dimension: {query_embedding.shape}")  

results = collection.query(query_embeddings=query_embedding, n_results=5)

for i, result in enumerate(results['ids']):
    print(f"Document {i+1}: {result}")
    print(f"Distance: {results['distances'][i]}")
    print(f"Title: {results['metadatas'][i]['title']}")

其他建议:

• 在创建和使用 ChromaDB 集合时，仔细检查 embedding 维度设置。
• 使用相同的 embedding 模型和设置来生成所有要存储在同一集合中的 embedding 向量。

希望这些信息能帮到你!