首页 > 其他分享 >模型代码理解本地知识库

模型代码理解本地知识库

时间:2024-04-08 10:34:09浏览次数:22  
标签:docsearch 代码 知识库 langchain community 本地 var import os

import os

from langchain.chains import RetrievalQA
from langchain_community.document_loaders import TextLoader
from langchain_community.embeddings import OllamaEmbeddings
from langchain_community.llms.ollama import Ollama
from langchain_community.vectorstores.faiss import FAISS

llm = Ollama(model="qwen:7b")

embedding = OllamaEmbeddings()

if not os.path.exists("var"):
    root_dir = "/home/cmcc/server/file/pyfiletest/"
    docs = []

    for dirpath, dirnames, filenames in os.walk(root_dir):
        for file in filenames:
            try:
                loader = TextLoader(os.path.join(dirpath, file), encoding="utf-8")
                docs.extend(loader.load_and_split())
            except Exception as e:
                print(e)
                pass
    docsearch = FAISS.from_documents(docs, embedding)
    docsearch.save_local("var", "index")
else:
    docsearch = FAISS.load_local("var", embedding)

qa = RetrievalQA.from_chain_type(llm, chain_type="stuff", retriever=docsearch.as_retriever())

response = qa.run("如何通过历史消息聊天,只给出代码实现")
print(response)

 

标签:docsearch,代码,知识库,langchain,community,本地,var,import,os
From: https://www.cnblogs.com/redhat0019/p/18120586

相关文章

  • 自适应鱼群算法改进随机森林的变压器故障诊断(IFSA-RF模型)(Matlab代码实现)
    ......
  • 自适应鱼群算法改进随机森林的变压器故障诊断(IFSA-RF模型)(Matlab代码实现)
    ......
  • 震撼!这个Python模块竟然能自动修复代码!
    说到Python的强大的地方,那真的是太多了,优雅、简洁、丰富且强大的第三方库、开发速度快,社区活跃度高等,所以才使得Python才会如此的受欢迎。今天给大家介绍一个特别暴力的Python库:FuckIt,1、FuckIt介绍FuckIt是一个Python实用工具,用于解决由于Python代码出错而导致的运行异常或......
  • 本地运行大模型,需要什么样的配置?
    本地运行大模型有多爽?只有用过了才知道。那是一种顺畅、自由的感觉。比如使用那些主流大模型,最常见的就是网络问题,如IP受限,或者服务器压力过大导致的延迟等等。使用本地大模型,真的是像和人自然交谈那么顺畅。而且,再也不用心疼token的费用了。使用API调用大模型时,......
  • 哪些代码设计看似是面向对象,实际是面向过程的?
    1.滥用getter、setter方法在设计实现类的时候,除非真的需要,否则尽量不要给属性定义setter方法。除此之外,尽管getter方法相对setter方法要安全些,但是如果返回的是集合容器,那也要防范集合内部数据被修改的风险。2.Constants类、Utils类的设计问题对于这两种类的设计,我......
  • 实现基于内容的电影推荐系统—代码实现
    引言昨日在读论文的过程中讲到,要实现一种基于内容的推荐算法,那么今天他来了。今天的算法实现基于Python的pandas数据处理第三方包和机器学习第三方包sklearn,关于sklearn的详细信息可以点击这里查看,关于pandas的详细信息可以点击这里查看代码实现importpandasaspd#导入数......
  • 恶意代码之静态分析【第四辑】
    防病毒系列22年很想学习的恶意代码分析,今天又翻到了这本书,还是被书中的第一个故事所吸引…一个公司反复被黑客攻击后,作为安全工程师的你只能告诉老板说要聘请外部安全专家来解决这个问题,这很难保住饭碗,如果有足够的智慧可以马上学习《恶意代码分析实战》,让你可以轻松应对......
  • 观察下面的代码,假设a的值为01000,则b的结果为()。
    inputsigned[4:0]a;outputsigned[4:0]b;assignb=a>>>1;选项:A、00100B、01100C、00010D、01010答案:A解析:对于有符号数来说:若符号位为1,使用>>>,高位补1;若符号位为0,使用>>>,高位补0;对于无符号数来说,无论最高位是什么,使用>>>,高位都补0。易错点:有符号(signed)、无符......
  • 基于YOLOv8v7v6v5和LPRNet的中文车牌识别系统(深度学习代码+UI界面实现+训练数据集)
    摘要:之前的中文车牌识别系统升级到v2.0版本,本文详细介绍使用深度学习实现的高效中文车牌识别系统完整代码,包括训练过程、原理介绍、模型对比、系统设计等部分。采用了最新的YOLOv8、YOLOv7、YOLOv6、YOLOv5目标检测算法进行车牌检测定位,并应用LPRNet识别车牌字符,另外支持车牌颜......
  • PHP代码审计——Day6-Frost Pattern
    漏洞解析classTokenStorage{publicfunctionperformAction($action,$data){switch($action){case'create':$this->createToken($data);break;case'delete':......