网站首页
编程语言
数据库
系统相关
其他分享
编程问答
BGE
2024-11-17
RAG 系统高效检索提升秘籍:如何精准选择 BGE 智源、GTE 阿里与 Jina 等的嵌入与精排模型的完美搭配
RAG系统高效检索提升秘籍:如何精准选择BGE智源、GTE阿里与Jina等的嵌入与精排模型的完美搭配TextEmbedding榜单:MTEB、C-MTEB《MTEB:MassiveTextEmbeddingBenchmark(海量文本嵌入基准)》判断哪些文本嵌入模型效果较好,通常需要一个评估指标来进行比较,《MTEB:Massive
2024-11-12
自然语言处理:第六十章 text2vec 如何选择 chunksize 和 splitter?
本人项目地址大全:Victor94-king/NLP__ManVictor:CSDNofManVictor项目地址:HuixiangDou/README_zh.mdatmain·InternLM/HuixiangDou写在前面:笔者更新不易,希望走过路过点个关注和赞,笔芯!!!写在前面:笔者更新不易,希望走过路过点个关注和赞,笔芯!!!写在前面:笔者
2024-09-03
专业级语义搜索优化:利用 Cohere AI、BGE Re-Ranker 及 Jina Reranker 实现精准结果重排
专业级语义搜索优化:利用CohereAI、BGERe-Ranker及JinaReranker实现精准结果重排1.简介1.1RAG在说重排工具之前,我们要先了解一下RAG。检索增强生成(RAG)是一种新兴的AI技术栈,通过为大型语言模型(LLM)提供额外的“最新知识”来增强其能力。基本的RAG应用包括四个关
2024-09-03
专业级语义搜索优化:利用 Cohere AI、BGE Re-Ranker 及 Jina Reranker 实现精准结果重排
专业级语义搜索优化:利用CohereAI、BGERe-Ranker及JinaReranker实现精准结果重排1.简介1.1RAG在说重排工具之前,我们要先了解一下RAG。检索增强生成(RAG)是一种新兴的AI技术栈,通过为大型语言模型(LLM)提供额外的“最新知识”来增强其能力。基本的RAG应用包括四个关
2024-08-06
使用Infinity部署Embedding和Reranking模型
使用Infinity部署Embedding和Reranking模型说明:首次发表日期:2024-08-06InfinityGithub仓库:https://github.com/michaelfeil/infinityInfinity官方文档:https://michaelfeil.github.io/infinity/下载权重pipinstall-U"huggingface_hub[cli]"exportHF_ENDPOINT=ht
2024-07-16
三大知名向量化模型比较分析——m3e,bge,bce
先聊聊出处。M3E是MokaMassiveMixedEmbedding的缩写,Moka,此模型由MokaAI训练,开源和评测,训练脚本使用uniem,评测BenchMark使用MTEB-zhMassive,此模型通过千万级(2200w+)的中文句对数据集进行训练Mixed,此模型支持中英双语的同质文本相似度计算,异质文本检索等功
2024-07-10
从零学习大模型——使用GLM-4-9B-Chat + BGE-M3 + langchain + chroma建立的本地RAG应用(三)——将BGE-M3接入langchain
BGE-M3是第一个具有多功能、多语言和多粒度特性的文本检索模型。多功能:可以同时执行三种检索功能:单向量检索、多向量检索和稀疏检索。多语言:支持100多种工作语言。多粒度:它能够处理不同粒度的输入,从短句子到长达8192个词汇的长文档。为了构建RAG应用,我们需要用到向量数
2024-07-10
从零学习大模型——使用GLM-4-9B + BGE-M3 + langchain + chroma建立的本地RAG应用(一)——环境准备
本项目基于DataWhaleChina的self-llm教程与llm-universe及Langchain官方文档等资料开发,旨在实现全部本地化的RAG应用。本项目使用AutoDL的云服务器进行开发。在 AutoDL 平台中租一个3090等24G显存的显卡机器,如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04)-->12.
2024-07-05
embedding模型——BGE-M3的搭建(以算力云平台为例)
本文对在算力云平台为基础搭建本地的embedding大模型bge-m3中遇到的问题做的一个汇总https://github.com/datawhalechina/self-llm/blob/master/GLM-4/01-GLM-4-9B-chat%20FastApi%20%E9%83%A8%E7%BD%B2%E8%B0%83%E7%94%A8.md上面是在算力云平台从零开始搭建清华GLM-4-9B-chat大
2024-07-05
关于BGE-M3接入LangChain时遇到的问题与解决方法
本文基于https://github.com/datawhalechina/self-llm/blob/master/GLM-4/02-GLM-4-9B-chat%20langchain%20%E6%8E%A5%E5%85%A5.md提供的教程。由于使用本地部署的大模型,在继承LangChain中的LLM类时需要重写几个函数。但是在具体测试的时候出现了以下的错误/root/miniconda3/lib