文章目录
引言
在上一篇中，我们抱着侥幸的，试一试的心态，竟然真的用昇腾显卡跑通了用于embedding的bge-large-zh-v1.5模型。
挑战华为昇腾920B2运行bge-large-zh-v1.5（二）
然而，我们都知道，咱们的博客都是电视连续剧，都得有前因后果。
那这个bge-large-zh-v1.5的后果是啥？
当然是把它给注册到dify平台上，用它来构建知识库啊！
再说会这个large-zh-v1.5模型，我们如果在英伟达nvidia显卡GPU的机器上，有多种方式进行运行。
我们之前介绍了一个特别方便的，也就是基于ollama的方式：
ollama部署bge-m3，并实现与dify平台对接
好吧，模型稍稍不一样，但方法大同小异哈。
但是，在昇腾上，真的资料很少，咱有把握的，也就是上一篇介绍的这个text embeddings inference的方式，也被称为TEI的方式。
说来奇怪哈，这个名字听起来应该知名度挺高的，但是dify平台就是不支持。
那怎么搞呢？咱们先解释一些基本概念，再来说解决方案。
什么是bge-large-zh-v1.5？
bge-large-zh-v1.5是一个专门针对中文优化的大型预训练语言模型。它基于BERT架构进行了改进，可以生成高质量的文本嵌入向量，这些向量能够捕捉文本的语义信息，广泛应用于各种NLP任务。
在昇腾920B2上运行bge-large-zh-v1.5
参考：
编写fastapi服务，将TEI转化成兼容 OpenAI 的方式
TEI的调用方式为：
curl -X POST http://127.0.0.1:8080/embed \
-H 'Content-Type: application/json' \
-d '{"inputs":"What is Deep Learning?"}'
翻遍了整个dify，发现这玩意儿，确实没办法直接注册成供应商。
因此，我们想办法把它转成兼容 OpenAI 的方式。
也就是：
curl