loader加载器的主要作用是加载各种格式的知识库给大模型进行学习,从而提升大模型在专业领域的能力,也是创建大模型agent开发的第一步。
TextLoader
在langchain中TaxtLoader加载器可以加载.md,.test等格式的文档,需要注意的是中文文档需要指明解析字符集格式。
#使用loader加载markdown文档 def testLoader(self,file): loader = TextLoader(file,encoding='utf-8') data = loader.load() return data
csvLoader
在langchain中csvloader加载器可以加载csv文件,需要指定特定加载的列。
#使用loader加载csv文件 def csvLoader(self,file): loader = CSVLoader(file_path=file,source_column="name") data = loader.load() return data
directoryLoader
directoryLoader加载器可以加载excel文件,需要将目录下所有xlxs文件加载进来。
def directoryLoader(self,file,suffix): loader = DirectoryLoader(path=file,glob=suffix) data = loader.load() return data
jsonLoader
jsonloader加载器可以加载json文件
def jsonLoader(self,file): loader = JSONLoader(file_path=file,jq_schema=".template",text_content=True) data = loader.load() return data
pdfLoader
加载pdf类型文件
def pdfLoader(self,file): loader = PyPDFLoader(file) data = loader.load_and_split() return data
标签:load,模型,agent,loader,file,data,self,加载 From: https://www.cnblogs.com/Ethereal-hzc/p/18390698