首页 > 其他分享 >通过历史记录运行本地模型

通过历史记录运行本地模型

时间:2024-04-07 09:55:41浏览次数:26  
标签:历史记录 code tokenizer 模型 modelPath 本地 model response history

from transformers import AutoTokenizer, AutoModel

modelPath = "/home/cmcc/server/model/chatglm3-6b"
tokenizer = AutoTokenizer.from_pretrained(modelPath, trust_remote_code=True)
model = AutoModel.from_pretrained(modelPath, trust_remote_code=True).half().cuda()
model.eval()
history = [
        {"role": "user", "content": "你好"},
        {"role": "assistant", "content": "我是人工智能助手,我叫小明"}
    ]
response, history = model.chat(tokenizer, "你好", history=history)
print(response)
response, history = model.chat(tokenizer, "你叫什么名字", history=history)
print(response)

 

标签:历史记录,code,tokenizer,模型,modelPath,本地,model,response,history
From: https://www.cnblogs.com/redhat0019/p/18118451

相关文章

  • 苹果的 ReALM 大语言模型比 ChatGPT 更强大
    近日,有消息称苹果公司正式进入人工智能竞争,开发了一种名为ReALM(ReferenCE ResolutionAsLanguageModeling)的大型语言模型,这对OpenAI及其广受欢迎的ChatGPT构成了直接挑战。据悉,ReALM旨在增强Siri的功能,特别是在理解对话上下文方面的能力,此举标志着苹果在人工智能技术上的......
  • 苹果AI放大招?新设备端模型超过GPT-4,有望拯救Siri
        ChatGPT狂飙160天,世界已经不是之前的样子。新建了免费的人工智能中文站https://ai.weoknow.com新建了收费的人工智能中文站https://ai.hzytsoft.cn/更多资源欢迎关注或许不久之后,Siri就能看懂手机屏幕并帮你点外卖了。在最近的一篇论文中,苹果的研究人员宣......
  • Cortex-M7 内存模型
    1前言        如图1所示, Cortex-M7最大支持4GB的内存寻址,并对内存映射(memorymap)做了初步的规定,将整个内存空间划分为了多个内存区域(region)。每个内存区域有着既定的内存类型(memorytype)和内存属性(memoryattribute),这两者决定了访存的具体行为。图1  Co......
  • 敏捷转型ADKAR变革管理模型介绍
    敏捷转型ADKAR是一个目标导向的变革管理模型,旨在引导个人和组织实现敏捷转型。该模型由Prosci的创始人JeffHiatt创建,其五个核心成果——认知(Awareness)、渴望(Desire)、知识(Knowledge)、能力(Ability)和巩固(Reinforcement)——构成了敏捷转型的关键步骤。认知(Awareness):在这一阶段,团队......
  • E-R模型图-->关系模型-->数据库模型图
    一、问候语欢迎你来到我的博客!二、题目三、如何分析问题并绘制E-R模型图1、认识E-R模型三要素  在分析问题前,我们首先要知道E-R模型的三要素分别是实体(用矩形表示)、属性(用椭圆形表示)、联系(用菱形表示)。  客观存在并可相互区分的事物叫实体,例如学生、教师。  实......
  • yolov8系列[四]-yolov8模型部署
    https://blog.csdn.net/qq122716072/article/details/130930158?spm=1001.2101.3001.6650.6&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-6-130930158-blog-130902253.235%5Ev43%5Epc_blog_bottom_relevance_base7&......
  • 开源模型应用落地-qwen1.5-7b-chat-LoRA微调代码拆解
    一、前言  本篇文章将解析QWen1.5系列模型的微调代码,帮助您理解其中的关键技术要点。通过阅读本文,您将能够更好地掌握这些关键技术,并应用于自己的项目中。   开源模型应用落地-qwen1.5-7b-chat-LoRA微调(二)二、术语介绍2.1.LoRA微调  LoRA(Low-RankAdap......
  • 大语言模型LLM《提示词工程指南》学习笔记02
    文章目录大语言模型LLM《提示词工程指南》学习笔记02设计提示时需要记住的一些技巧零样本提示少样本提示链式思考(CoT)提示自我一致性生成知识提示大语言模型LLM《提示词工程指南》学习笔记02设计提示时需要记住的一些技巧指令您可以使用命令来指示模型执行各种简单......
  • 利用客户端的计算资源,为现代大型模型开发提供新的动力
    引言随着技术的发展,大型模型在处理复杂任务时表现出越来越强的能力,无论是在自然语言处理、图像识别还是其他领域。然而,这些模型往往需要巨大的计算资源,这对于许多企业和个人来说,是一笔不小的开销。当前,绝大多数的大型模型运算都在服务器端完成,客户端仅作为发送请求和接收结......
  • Stable Diffusion的本地部署教程
    以下是在Windows10电脑上的操作步骤:一、下载安装包从以下夸克网盘下载地址下载安装包到本地,地址如下:链接:https://pan.quark.cn/s/7c51556d27eb提取码:cFdx输入提取码之后,界面如下图:选中SD目录之后,点击“下载”按钮,将这个目录文件全部下载到本地硬盘二、安装StableDiff......