• 2024-09-25丹摩智算:ChatGLM-6B模型的部署与使用指南
    文章目录
  • 2024-09-24ChatGLM-6B部署到本地电脑
    引言ChatGLM-6B是由清华大学开源的双语对话大模型,该模型有62亿参数,但在经过量化后模型体积大幅下降,因此不同于其他需要部署到服务器上的大模型,该模型可以部署到本地电脑,那么接下来我们来看看如何部署该模型。首先是下载源码:双语对话大模型随后下载对应的权重文件,这里我们使用的是Hu
  • 2024-09-17基于 ChatGLM 智谱大模型的 AI 健身教练
    引言健康和健身已经成为现代人生活的重要组成部分。基于ChatGLM智谱大模型的AI健身教练是一款利用人工智能技术,特别是自然语言处理(NLP)和机器学习技术,来辅助用户进行健身训练和健康管理的工具。本文将详细介绍基于ChatGLM智谱大模型的AI健身教练的设计理念、技术实现,以及在
  • 2024-08-28清华大学ChatGLM大模型
    ChatGLM大模型ChatGLM-6B是一个开源的、支持中英双语的对话语言模型,基于GeneralLanguageModel(GLM)架构,具有62亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4量化级别下最低只需6GB显存)。ChatGLM-6B使用了和ChatGPT相似的技术,针对中文问答和
  • 2024-08-16GLM4与ChatGLM-6B
    GLM4与ChatGLM-6B在多个方面存在区别,以下是对两者差异的详细分析:一、模型规模与参数GLM4:GLM4系列模型,如GLM-4-9B,具有更大的模型规模。以GLM-4-9B为例,其参数量达到90亿,这相比一些较小的模型提供了更强的处理能力和更高的性能。ChatGLM-6B:ChatGLM-6B的参数量相对较少,为62亿。
  • 2024-08-15【微调大模型参数详解】以chatGLM为例
    微调chatGLM3-6b-base时涉及的一些重要参数的详细解释batch_size:批量大小,默认为4,每个GPU的训练批量大小。增加该值可以提高训练速度,但可能需要更多的显存。lora_r:LoraR维度,默认为64,指定Lora训练中用于调节的R维度大小。该参数影响Lora模块的复杂度和模型的表现。
  • 2024-07-22llm大语言模型用于电影问答
    项目:https://github.com/jiangnanboy/movie_llm_agent本项目利用chatglm6b实现一个中文版的简单电影问答功能,目的是探索llmagent与图数据库neo4j进行交互的能力,主要根据用户的意图与neo4j进行交互。Toolsagent使用几个tools与neo4j进行交互:Person_Tool:根据人物(演员)
  • 2024-07-19白嫖一个属于你的私有大模型
    最近国内的大模型可谓是遍地开花,你瞧瞧:这么火,我也想搞一个试试,于是就有了这篇文章!对,你没看错,就是白嫖。毕竟人家清华都开源了,哈哈哈hoho~~先把开源地址贴一下,老铁们可以自行去瞧一瞧:https://github.com/THUDM/ChatGLM-6Bhttps://huggingface.co/THUDM/chatglm-6bCha
  • 2024-07-17ChatGLM
    ChatGLM:AFamilyofLargeLanguageModelsfromGLM-130BtoGLM-4AllTools(2024.7.16)Code:https://github.com/THUDMandhttps://huggingface.co/THUDM以下是模型架构的主要改进点:无偏置(NoBiasExceptQKV):为了提高训练速度,除了Query、Key、Value(QKV)的偏置外,模型中去
  • 2024-07-12在ubantu系统中部署ChatGLM-6B
    ChatGLM-6B介绍ChatGLM-6B是一个开源的、支持中英双语的对话语言模型,基于GeneralLanguageModel(GLM)架构,具有62亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4量化级别下最低只需6GB显存)。ChatGLM-6B使用了和ChatGPT相似的技术,针对中文问答
  • 2024-06-24[本科项目实训] P-Tuning v2 训练记录
    训练脚本PRE_SEQ_LEN=64LR=2e-2CUDA_VISIBLE_DEVICES=0python3main.py\--do_train\--train_filetrainVX.json\--validation_filedevVX.json\--prompt_columncontent\--response_columnsummary\--overwrite_cache\--mo
  • 2024-06-23构建本地智能知识问答系统:基于Langchain和ChatGLM的简单实践
    在数字化时代,智能知识问答系统成为了提升企业效率和数据安全性的关键工具。本文将介绍如何基于Langchain和ChatGLM构建一个本地化、支持中文的智能知识问答系统。该系统不仅能够实现完全本地化推理,而且对开源模型友好,可满足企业对数据隐私和私域化部署的需求。项目概览本项目利
  • 2024-06-17开源复刻apple 数学笔记;纯C++实现了ChatGLM系列模型;腾讯混元文生图模型发布新版本并开源训练代码
    ✨1:AIMathNotesAIMathNotes是一个交互式绘图应用,可绘制并计算数学方程。AIMathNotes受到Apple在WWDC2024上的“MathNotes”演启发,开发的一个互动式绘图应用程序,用户可以在画布上绘制数学方程。一旦方程被绘制完成,应用程序将使用多模态LLM(LargeLanguageM
  • 2024-06-15在windows笔记本电脑部署GLM4大模型
    (笔记本电脑:intel处理器i9-13900HX、64G内存、NVIDIARTX4080(12G)、操作系统windows11家庭版)一、下载anaconda31.清华镜像源下载anaconda3。下载地址:Indexof/anaconda/archive/|清华大学开源软件镜像站|TsinghuaOpenSourceMirror在网页上找到Anaconda3-2024.02-1-
  • 2024-06-14一文读懂多模态大模型的LLM主干(1):ChatGLM系列
    〔探索AI的无限可能,微信关注“AIGCmagic”公众号,让AIGC科技点亮生活〕本文作者:AIGCmagic社区  刘一手前言AI多模态大模型发展至今,每年都有非常优秀的工作产出,按照当前模型设计思路,多模态大模型的架构主要包括以下几个部分:模态编码器(ModalityEncoder,ME):负责将不同
  • 2024-06-10AttributeError: ‘ChatGLMModel‘ object has no attribute ‘prefix_encoder‘
    AttributeError:‘ChatGLMModel‘objecthasnoattribute‘prefix_encoder‘:全面解析问题概述当您使用ChatGLM模型或相关库时遇到AttributeError:‘ChatGLMModel‘objecthasnoattribute‘prefix_encoder‘错误时,这意味着ChatGLMModel类中不存在prefix_encod
  • 2024-05-25ChatGLM 智能体 搭建属于自己的AI知识库
    前言最近在看一本书《在线》,将所有数据都需要在线,才有生命力,那么我们的知识库也是。我们现在就可以用先进的大预言模型搭建属于自己的在线AI知识库,他就是ChatGLM智谱清言智能体。它可以将自己的知识库与ChatGLM结合,成为某一方面的专业知识问答系统。当然,市面上有很多类似
  • 2024-05-10ERROR: CUDA out of memory. Tried to allocate 254.00 MiB.
    正在将samples/llm/大模型技术栈-算法与原理.md添加到向量库,共包含30条文档Batches:0%||0/1[00:00<?,?it/s]2024-05-1010:21:36,963-embeddings_api.py[li
  • 2024-05-07ChatGLM-6B本地部署和P-Tuning微调尝试
    to2024/04/22部署环境OS:Windows10,WSL2(Ubuntu20.04)CPU:Intel(R)Core(TM)i5-12490FGPU:GeForceRTX4070Ti部署过程部署主要参考$[2]$,其中也遇到了一定的问题,记录如下:模型下载模型需要使用GitLFS工具进行下载,由于之前在Windows环境下已经下载过模型文件
  • 2024-04-07最近在研究无线遥控器相关的东西
    1、关于433MHZ、315MHZ的相关的模块发送与接收是单独的调制芯片。这块某宝上有很多,芯片也有很多,一般是8脚的芯片。发射芯片的话,有一个脚是天线接口,一个脚是编码芯片的序列输出的高低电平。发送芯片把这些高低电平调制后,发射出去。接收芯片把信号接收到之后,它把结果(高低电平)输
  • 2024-03-28AppFlow上新——智谱ChatGLM轻松接入聊天
        智谱AI开放平台提供一系列具有不同功能和定价的大模型,包括通用大模型、超拟人大模型、图像大模型、向量大模型等,并且支持使用您的私有数据对模型进行微调。其中ChatGLM系列模型在国内也享有盛名,现在AppFlow支持了ChatGLM系列模型的接入,可以轻松实现GLM接入钉钉聊天中。
  • 2024-03-17本地部署 Langchain-Chatchat & ChatGLM
     一、模型&环境介绍#1.ChatGLM#github地址:https://github.com/THUDM模型地址:https://huggingface.co/THUDM2.m3e#模型地址:https://huggingface.co/moka-ai/m3e-base/3.text2vec#模型地址:https://huggingface.co/GanymedeNil/text2vec-large-chinese/4.Lang
  • 2024-03-16聊聊ChatGLM-6B医疗数据微调
    转载请注明出处:https://www.cnblogs.com/zhiyong-ITNote/参考了多个医疗大模型,如扁鹊、灵心等,重新思考了下微调的方案以及数据集的格式;基于ChatGLM/其它LLM整合多种微调方法的非官方实现的框架,审视其数据集格式,以及调试效果,进行微调。最终基于liucongg/ChatGLM-Finetuning开
  • 2024-03-14Langchain-ChatGLM源码解读(一)-文档数据上传
    一、简介Langchain-ChatGLM 相信大家都不陌生,近几周计划出一个源码解读,先解锁langchain的一些基础用法。文档问答过程大概分为以下5部分,在Langchain中都有体现。上传解析文档文档向量化、存储文档召回query向量化文档问答今天主要讲langchain在上传解析文档时是怎么实
  • 2024-03-13线上跑chatGLM实践
    预先准备本笔记为参加DataWhale的线上学习——进行GLM、SD部署在完成驱动云平台注册后,免费获得168算力金,使用免费算力金进行ai平台部署在平台内进行部署https://platform.virtaicloud.com/项目服务器配置创建项目后,选择添加镜像在此选择PyTorch2.0.1Conda3.9的镜像通过