首页 > 其他分享 >LLM学习(6)—— LLM 应用

LLM学习(6)—— LLM 应用

时间:2024-04-28 19:00:43浏览次数:25  
标签:file chat LLM 学习 key path message 应用 history

以下项目参考自Datawhale不过只有其中一点点功能@Datawhale

个人知识库助手项目

相对于LLM学习(4),首先更改了embedding的方式,由Gemini换成了zhipu,Gemini的人工zz嵌入模型实在太离谱了,把none选项改成了包含历史对话而不仅仅是一问一答,增加了对于pdf和md文件的的导入然后转换为检索词向量库(chroma)。新增加了一个prompt的文本框,我感觉默认的值其实已经不错了。

存在的问题

  1. 因为我的prompt并没有区分三种不同的问答情况(qa,none,qa_chain)我只是把none内个部分的context置为[None]区分history也是这样我只是单纯的把history置为[None]但是已经在给定prompt中“you have a conversation with a human”和“And your answer should refer to the context provided”的情况下给None是否会造成某些奇奇怪怪的错误或者使得结果变得没有那么好,这里我没有经过实验。
  2. 大量使用回调函数然后global而不是传参,使用gradio库中的传参问题在前面的LLM学习中已经说过了LLM学习(4),不知道为什么gradio里面参数我不使用global的时候是值传递???,直接复制了一份,但是我希望他不停的监控文本框、选择栏的输入,这样显然是不行的,所以被逼无奈才出此下策(减慢了速度),不知道到底是库的问题还是一开始我的代码逻辑就有问题。
  3. 只是在开头实现了删除chroma向量库,而不是在GUI中实现,但是我希望有个显示栏去显示已经存在的向量库,和按钮确定是否清除。以后有机会我会补充一个LLM(6)续集(虽然大概率是

    标签:file,chat,LLM,学习,key,path,message,应用,history
    From: https://www.cnblogs.com/zzddkkhome/p/18163604

相关文章

  • c#学习笔记
    程序程序集是代码进行编译是的一个逻辑单元,把相关的代码和类型进行组合,然后生成PE文件。程序集只是逻辑上的划分 【公共语言运行库CLR】加载器管理应用程序域,这种管理包括将每个程序集加载到相应的应用程序域以及控制每个程序集中类型层次结构的内存布局 一个程序运行......
  • OPENAI API应用文档
    相关链接:https://platform.openai.com/docs/introduction1、简介OpenAIAPI几乎可以应用于任何任务。我们提供一系列具有不同功能和价位的模型,并且能够微调定制模型。api-reference:https://platform.openai.com/docs/api-reference/introduction1.1、关键概念1.1.1、Textg......
  • Github管理代码学习
    版本冲突github代码管理学习。关于版本控制,假如有两个人合作,合作者a修改了合作者b的代码,并在服务器中更新。而合作者b感觉更新的内容是错的,想基于未更新版本进行修改。这种情况该怎么解决在使用GitHub进行代码管理时,如果出现你描述的情况,合作者B可以采取以下几个步骤来解决问题:......
  • LLM优化:开源星火13B显卡及内存占用优化
    1.背景本qiang~这两天接了一个任务,部署几个开源的模型,并且将本地经过全量微调的模型与开源模型做一个效果对比。部署的开源模型包括:星火13B,Baichuan2-13B,ChatGLM6B等其他两个模型基于transformers架构封装,因此推理服务启动还是十分丝滑,但星火13B是基于Megatron-DeepSpeed框......
  • 学习笔记-平衡树
    学习笔记-平衡树treap#include<bits/stdc++.h>#defineintlonglongusingnamespacestd;#definelst[x].ch[0]#definerst[x].ch[1]constintN=114514;constintinf=2147483647;intcnt=0,root;mt19937rnd(0x7f);structtreap{ intch[2],cnt,size,val,......
  • DSP学习笔记
    DSP学习笔记之EPWMEPWM模块介绍F28335最多有18路PWM输出,其中有6个ePWM模块由两路ePWM输出组成,分为ePWMxA和ePWMxB,这一对PWM输出,可以配置成两路独立的单边沿PWM输出,或者两路独立的但互相相对称的双边沿PWM输出,或者一对双边沿非对称的PWM输出,因为每对PWM模块中的两个PWM......
  • 算法学习笔记(14):区间最值操作和历史最值问题
    区间最值操作,历史最值问题来源吉老师2016集训队论文,oiwiki,网络上各种博客。概述区间最值操作指的是:将所有的$i\in$\((l,r)\),\(a_i=min或max(a_i,k)\)。历史最值问题指的是:新定义一个数组\(b[]\),\(b[i]=max或min(b[i],a[i])\)。还有一种是历史版本和,即\(......
  • 无需重新学习,使用 Kibana 查询/可视化 SLS 数据
    作者:荆磊场景现在通过SLS的ES兼容能力,可以很方便地实现用Kibana来查询和可视化SLS的数据。对于从ES迁移到SLS的用户可以继续保留原来的Kibana使用习惯。下面来演示如何通过Kibana来访问SLS。使用方法部署架构这里蓝色部分是需要客户端部署的组件。Kibana......
  • 开源相机管理库Aravis学习——PixelFormat编码规则
    目录前言前置知识PixelFormatBpp编码规则源码分析分类标准补充ARV_PIXEL_FORMAT_BIT_PER_PIXEL参考文章前言在学习Aravis官方例程的时候,有这么一个函数:arv_camera_get_pixel_format,它的返回类型是ArvPixelFormat(本质是个32位无符号整数)。这意味着对于每个图像数据格式,都有自己......
  • CRM软件功能大揭秘:商业利器的多面功效与应用
    一、什么是CRM软件?CRM软件是指一款可以让企业利用相应的信息技术和互联网技术,协调企业与客户在销售、营销和服务方面的互动,提高其管理模式,为客户提供创新的个性化客户互动和服务的软件。使用CRM软件最终目标是吸引新客户,保留老客户,将现有客户转化为忠实客户,增加市场。它包括客......