首页 > 其他分享 >langchain Chatchat 学习实践(二)——实现对Ollama的支持

langchain Chatchat 学习实践(二)——实现对Ollama的支持

时间:2024-03-24 09:46:37浏览次数:17  
标签:get Ollama py langchain Chatchat chat ollama

1、采用Langchain的Ollama库,新建get_BaseChatModel方法,按照名称返回ChatOllama或ChatOpenAI实例;
2、在model_config.py.example中添加了ollama相关配置,用于设置ollama模型名称和ollama部署发布地址;
3、在chat.py,knowledge_base_chat.py,file_chat.py,search_engine_chat.py,agent_chat.py中将原有的get_BaseChatOpenAI改为get_BaseChatModel,按照模型名称返回ChatOpenAI或ChatOllama实例;
4、ollama的Prompt不支持类似"{{ input }}"这样的变量格式,只能是单括号且没有空格的定义方式,类似"{input}",因而在部分对话模块添加了字符串替换处理:prompt_template=prompt_template.replace("{ ", "").replace(" }", "");
5、langchain的ollama没有model_name属性,因此在agent_chat.py添加了判断是否有该属性的代码;
6、对话历史转换部分,由于ollama不支持通过to_msg_template转换后的格式,但是支持tuple格式,因此根据模型名称判断,如果是ollama模型,改为调用to_msg_tuple方法;
详情可查看PR:
实现了Langchain Chatchat对Ollama的支持 by srszzw · Pull Request #3492 · chatchat-space/Langchain-Chatchat (github.com)

标签:get,Ollama,py,langchain,Chatchat,chat,ollama
From: https://www.cnblogs.com/srszzw/p/18092098

相关文章

  • 【踩坑随笔】Kaggle安装langchain相关依赖报错
    kaggle执行语句%pipinstalldatasetslangchainsentence_transformerstqdmchromadblangchain_wenxin安装langchain相关依赖报错的时候出现了以下报错主要是版本不匹配,报错什么就再加载什么就可以了,执行下面的语句%pipinstallkeras-core执行结果%pipinstallw......
  • Macbook air M2 16G 用cpu跑同大模型知识库文档系统(Langchain-chatchat+llama2-7B量化
    MacbookairM216G用cpu跑同大模型知识库文档系统(Langchain-chatchat+llama2-7B量化模型)经过了5个夜晚的煎熬,终于从一个完全不知大模型为何物的小白身份把知识库问答大模型搞起来,一路尝试几斤辛酸,特别记录下来踩过的各种坑,供大家借鉴!本人的目标:在我自己的Macbookair......
  • 搞AI不必非得转学python了,SpringAi(spring版的langchain)来了
    搞AI不必非得转学python了,spring版的langchain来了!!!作为一个java程序员研究大模型真的是天然的心理门槛。换个语言(python)就感觉换了个媳妇一样,总是迈不出那一步。最近为了项目,下定决心、刚费了九牛二虎之力搭建了一套本地问答大模型应用,见我前一篇文章:MacbookairM216G......
  • 使用 langchain 连接 通义千问 并用 fastApi 开放接口
    安装langchain方法https://www.cnblogs.com/hailexuexi/p/18087602安装fastapifastapi 是一个用于构建高性能Web应用的Python框架,它提供了简洁、高效的API开发体验。pipinstallfastapi 安装uvicornuvicorn 是一个用于运行 FastAPI 应用的服务器,它可以将......
  • 【ai技术】(3):树莓派4,成功安装ollama软件,内存4G,推荐使用命令行界面安装,使用raspi-config
    1,关于raspberrypi4项目https://www.bilibili.com/video/BV1K2421P71h/【ai技术】(3):树莓派4,成功安装ollama软件,内存4G,安装命令行版本,使用raspi-config配置wifi,速度9t/s2,下载raspberrypi镜像项目地址:https://www.raspberrypi.com/software/operating-systems/#r......
  • Ollama、Langchain相关学习资源(动态更新)
    大型预训练模型如GPT系列、BERT系列等,在消费级产品和垂直行业应用中加快了部署步伐,包括但不限于智能客服、内容创作、代码生成、决策支持等领域。随着大模型开源,相关的部署工具和框架也得到发展和完善。例如,出现了一些专门针对大模型本地部署的解决方案,像Ollama(虽然该名......
  • 安装 langchain 方法
    为了在windows系统中可以使用多个不同版本的python。推荐使用Anaconda Anaconda提供了多个版本的Python环境管理功能。可以创建和切换不同的Python环境。官网下载地址 https://www.anaconda.com/download/清华开源镜像下载地址  https://mirrors.tuna.tsinghua.edu.c......
  • LangChain表达式LCEL(四)
    使用LangChain进行流式处理流式处理对于基于LLM的应用程序对最终用户的响应至关重要,重要的LangChain原语,如LLMs、解析器、提示、检索器和代理实现了LangChainRunnable接口。该接口提供了两种常见的流式内容的方法:syncstream和asyncastream:流式处理的默认实现......
  • langchain chatchat运行机制源码解析
    langchainchatchat的简介就不多说了,大家可以去看github官网介绍,虽然当前版本停止了更新,下个版本还没有出来,但作为学习还是很好的。一、关键启动过程:1、start_main_server入口2、run_controller启动fastchatcontroller端口200013、run_openai_api启动fastchat对外提供的类......
  • GPT实战系列-LangChain的Prompt提示模版构建
    GPT实战系列-LangChain的Prompt提示模版构建LangChainGPT实战系列-LangChain如何构建基通义千问的多工具链GPT实战系列-构建多参数的自定义LangChain工具GPT实战系列-通过Basetool构建自定义LangChain工具方法GPT实战系列-一种构建LangChain自定义Tool工具的简单方法G......