文章目录引言什么是bge-large-zh-v1.5？在昇腾920B2上运行bge-large-zh-v1.5编写fastapi服务，将TEI转化成兼容OpenAI的方式将模型注册到dify结论引言在上一篇中，我们抱着侥幸的，试一试的心态，竟然真的用昇腾显卡跑通了用于embedding的bge-large-zh-v1.5

概述这几天为了写技术博客，各种组件可谓是装了卸，卸了装，只想复现一些东西，确保你们看到的东西都是可以复现的。（看在我这么认真的份上，求个关注啊，拜托各位观众老爷了。）这不，为了实验在windows上docker里运行pytorch，把docker重装了。dify也得重装：Dify基础：Dify平台的本地化部署

SystemPrompt（系统提示词）与UserPrompt（用户提示词）在定义、作用和特点上存在显著区别。‌定义‌SystemPrompt‌：系统提示词是指向AI提供的一组初始指令或背景信息，用于指导AI的行为方式和响应模式。它帮助设定AI的角色、语气、知识范围等，确保AI能够按照预期的方式与用户互动

排查JavaScript内存泄漏是一个常见的前端性能优化任务。以下是一些常用的方法和工具：1.使用浏览器开发者工具:Memory标签页:这是ChromeDevTools中最常用的工具。HeapSnapshots:可以捕获JavaScript堆的快照，比较不同时间点的快照，找出哪些对象没有被垃圾回收，从而

专业级语义搜索优化：利用CohereAI、BGERe-Ranker及JinaReranker实现精准结果重排1.简介1.1RAG在说重排工具之前，我们要先了解一下RAG。检索增强生成（RAG）是一种新兴的AI技术栈，通过为大型语言模型（LLM）提供额外的“最新知识”来增强其能力。基本的RAG应用包括四个关

专业级语义搜索优化：利用CohereAI、BGERe-Ranker及JinaReranker实现精准结果重排1.简介1.1RAG在说重排工具之前，我们要先了解一下RAG。检索增强生成（RAG）是一种新兴的AI技术栈，通过为大型语言模型（LLM）提供额外的“最新知识”来增强其能力。基本的RAG应用包括四个关

使用Infinity部署Embedding和Reranking模型说明：首次发表日期：2024-08-06InfinityGithub仓库：https://github.com/michaelfeil/infinityInfinity官方文档：https://michaelfeil.github.io/infinity/下载权重pipinstall-U"huggingface_hub[cli]"exportHF_ENDPOINT=ht

先聊聊出处。M3E是MokaMassiveMixedEmbedding的缩写，Moka，此模型由MokaAI训练，开源和评测，训练脚本使用uniem，评测BenchMark使用MTEB-zhMassive，此模型通过千万级(2200w+)的中文句对数据集进行训练Mixed，此模型支持中英双语的同质文本相似度计算，异质文本检索等功

BGE-M3是第一个具有多功能、多语言和多粒度特性的文本检索模型。多功能:可以同时执行三种检索功能：单向量检索、多向量检索和稀疏检索。多语言:支持100多种工作语言。多粒度:它能够处理不同粒度的输入，从短句子到长达8192个词汇的长文档。为了构建RAG应用，我们需要用到向量数

本项目基于DataWhaleChina的self-llm教程与llm-universe及Langchain官方文档等资料开发，旨在实现全部本地化的RAG应用。本项目使用AutoDL的云服务器进行开发。在 AutoDL 平台中租一个3090等24G显存的显卡机器，如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04)-->12.

本文对在算力云平台为基础搭建本地的embedding大模型bge-m3中遇到的问题做的一个汇总https://github.com/datawhalechina/self-llm/blob/master/GLM-4/01-GLM-4-9B-chat%20FastApi%20%E9%83%A8%E7%BD%B2%E8%B0%83%E7%94%A8.md上面是在算力云平台从零开始搭建清华GLM-4-9B-chat大

本文基于https://github.com/datawhalechina/self-llm/blob/master/GLM-4/02-GLM-4-9B-chat%20langchain%20%E6%8E%A5%E5%85%A5.md提供的教程。由于使用本地部署的大模型，在继承LangChain中的LLM类时需要重写几个函数。但是在具体测试的时候出现了以下的错误/root/miniconda3/lib