一.部署到服务器上
1.将搭建好的知识问答AI助手(知心智医)搭建到服务器，并且配置了一个域名http://cardiorag.top:8502/
2.在这过程中有远程登陆，服务器映射问题，好在都解决了，就是gpu算力时时刻刻在烧钱
二.使用ragas框架进行测评
1.遇到的主要问题是，测试数据集，评分数据集的产生，测评顺利进行，但是我们发现Chroma生成的向量数据库虽然响应数据快，回答的比较简洁，但是遇到某些希望详细展开的问题，显得不够专业，之前制作了一个Faiss数据库，会很详细，但就是速度太慢，通过以下向量数据库的比较，重新选择向量数据库
Chroma, Faiss, Weaviate, 和 Qdrant 都是用于构建向量数据库的技术，它们被广泛应用于检索增强生成模型（RAGs）和其他基于内容的推荐系统中。下面我会针对这些技术在模型大小、与医学知识的适配度以及加载速度方面做一个比较。
(一)模型大小
Faiss:
模型大小: Faiss 是 Facebook AI Research 实现的一个高效的相似度搜索库，主要用于大规模的向量集合。它对模型大小的支持很好，可以处理非常大的向量数据集。
医学知识适配度: Faiss 本身并不特别针对医学领域，但它可以很好地适应任何类型的向量数据，包括医学领域的文本嵌入。
加载速度: Faiss 在加载大量数据时可能会较慢，尤其是在初次加载时，但是一旦加载完毕，查询速度非常快。
Chroma:
模型大小: Chroma 是一个开源的向量数据库，它支持中小规模的数据集。对于非常大的模型，Chroma 可能不是最佳选择。
医学知识适配度: Chroma 也可以用于医学知识，但由于其规模限制，更适合较小的医学数据集。
加载速度: Chroma 的加载速度较快，因为它通常处理的数据量相对较小。
Weaviate:
模型大小: Weaviate 是一个企业级的向量数据库，它可以处理从小到大规模的数据集。它支持扩展，因此可以用于较大的模型。
医学知识适配度: Weaviate 提供了丰富的元数据支持，可以很好地与医学知识结合，特别是当需要复杂的查询逻辑时。
加载速度: Weaviate 的加载速度取决于数据集的大小，但通常来说它的加载和查询性能都很不错。
Qdrant:
模型大小: Qdrant 是一个高性能的向量数据库，它可以高效地处理大型数据集。
医学知识适配度: Qdrant 适用于医学知识，尤其是当数据量较大时。
加载速度: Qdrant 的加载速度很快，特别是在处理大规模数据集时，它表现出色。
(二)加载速度
加载速度:
Chroma: 较快，因为数据集通常较小。
Faiss: 可能较慢，尤其是在首次加载大量数据时。
Weaviate: 中等，取决于数据集的大小和复杂性。
Qdrant: 快速，即使是在大规模数据集上。
(三)医学知识适配度
医学知识适配度:
Chroma: 可以适应，但更适合小型数据集。
Faiss: 可以适应任何类型的数据，包括医学数据。
Weaviate: 很好地支持复杂的查询逻辑和元数据，非常适合医学数据。
Qdrant: 支持医学数据，特别是当数据量较大时。
总结
如果您需要处理大规模的数据集，并且对查询速度有较高要求，那么 Faiss 或 Qdrant 可能是更好的选择。
如果您的数据集较小，并且希望快速部署，Chroma 可能更加合适。
对于需要复杂查询逻辑和元数据支持的情况，Weaviate 是一个很好的选项。
三.目前可以公布的情报
目前还在进行向量数据库的性能和速度比较，希望大家可以持续关注，我们将选择最适合模型的向量数据库
标签：医学知识,AI,Chroma,Datawhale,Faiss,数据,夏令营,向量,加载 From： https://www.cnblogs.com/CuckooAI/p/18371257