背景：目前，大模型的技术应用已经遍地开花。最快的应用方式无非是利用自有垂直领域的数据进行模型微调。chatglm2-6b在国内开源的大模型上，效果比较突出。本文章分享的内容是用chatglm2-6b模型在集团EA的P40机器上进行垂直领域的LORA微调。一、chatglm2-6b介绍github：https://git

https://huggingface.co/THUDM/chatglm3-6b-32khttps://github.com/THUDM/ChatGLM31、前言1.1、简介清华开源LLMChatGLM2-6B是一款对汉语支持不错的大语言模型。由于完全开源，可对其进行微调，对研究LLM本身，以及基于预训练LLM进行领域知识微调验证都有帮助，在国内受到普遍欢迎。

一、环境配置ChatGLM2-6B至少需要13G GPU（虽然官网说12G即可），int8需要8G，int4需要4G。Win10系统，GTX1060显卡6GB（只能用int4模型，亲测开启GLM2时占了5GB以上）1、git2、conda 3、python3.94、pip5、CUDA11.1（GPU相关）6、torch1.10.1 (跟

clone项目下载模型https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/?p=%2Fchatglm2-6b&mode=list切换conda里面的py39环境cd/home/chq/ChatGLM2-6Bcondaactivatepy39执行pipinstall(py39)root@chq:/home/chq/ChatGLM2-6B#pipinstall-rrequirements.txtC

硬件环境cpui5-13600k内存64G显卡rtx3090软件环境window11专业版22H2n卡驱动：526.47wsl2ubuntu22.04安装nvidia-cuda-toolkit打开wsl2的ubuntu，安装nvidia驱动程序sudoaptupdatesudoaptupgradesudoubuntu-driversdevicessudoaptinstallnvidia-driver-

记录一下踩过的坑…0.环境配置:全程国内网Ubuntu20.04withPython3.8andCUDA12.2RTX3060Laptop(6G)1.ChatGLM的下载:#clone仓库gitclonehttps://gitclone.com/github.com/THUDM/ChatGLM2-6BcdChatGLM2-6Bpip3install-rrequirements.txt#pip加速自行百

概述GLM、ChatGLM的相关基础知识说明：GLM模型底层还是基于Transformer，因此其设计、优化都是围绕Transformer的各个组件的。从注意力层的掩码、位置编码等方面优化与设计。ChatGLM3/ChatGLM2的源码中，比如finetune、trainer等代码，其实是copy自HuggingFace，而且其使用流程与调用机

前言之前我做AIHub的时候通过gRPC的方式接入了ChatGLM等开源大模型，对于大模型这块我搞了个StarAI框架，相当于简化版的langchain，可以比较方便的把各种大模型和相关配套组合在一起使用。主要思路还是用的OpenAI接口的那套，降低学习成本，但之前为了快速开发，就只搞了个简单

实验室地址：https://developer.aliyun.com/adc/scenario/f3dc63dc55a543c3884b8dbd292adcd5一、先买机器并开通对应安全组8501端口规格族：GPU计算型gn6i实例规格：ecs.gn6i-c4g1.xlarge安全组新增规则入方向端口范围：8501/8501授权对象：0.0.0.0/0二、最好是安装系统的时候把安装nvidi

微调类型简介1.SFT监督微调：适用于在源任务中具有较高性能的模型进行微调，学习率较小。常见任务包括中文实体识别、语言模型训练、UIE模型微调。优点是可以快速适应目标任务，但缺点是可能需要较长的训练时间和大量数据。2.LoRA微调：通过高阶矩阵秩的分解减少微调参数量，不改变预训

介绍随着ChatGPT的横空出世，国内互联网大厂、创业公司纷纷加了AIGC赛道，不断推出各种大模型，而这些大模型由于规模庞大、结构复杂，往往包含了数十亿至数千亿的参数。这些模型在训练阶段，一般需要使用高效能的GPU集群训练数十天时间，在推理阶段，一般也需要高效能的GPU集群才能支撑一定量

  ChatGLM2-6B是开源中英双语对话模型ChatGLM-6B的第2代版本，引入新的特性包括更长的上下文(基于FlashAttention技术，将基座模型的上下文长度由ChatGLM-6B的2K扩展到了32K，并在对话阶段使用8K的上下文长度训练)；更高效的推理(基于Multi-QueryAttention技术，ChatGLM2-6B有更高效的推理

下载chatglm2-6bprint('开始加载分词器tokenizer...')tokenizer=AutoTokenizer.from_pretrained("THUDM/chatglm2-6b",trust_remote_code=True)print('开始加载语言模型model...')model=AutoModel.from_pretrained("THUDM/chatglm

目录开发环境ChatGLM2-6B源码下载模型安装依赖下载ADGEN数据集微调前修改训练步数微调后开发环境矩池云https://www.matpool.com/host-market/gpuChatGLM2-6B源码https://github.com/THUDM/ChatGLM2-6Bgitclonehttps://github.com/THUDM/ChatGLM2-6B.git下载模型

新建项目：然后上传代码压缩包。点击进入开发环境pipinstall-rChatGLM2-6B/requirements.txt-ihttps://pypi.virtaicloud.com/repository/pypi/simple加载模型pythonChatGLM2-6B/cli_demo.py

概述本文使用chatglm.cpp对中文大语言模型（LLM）进行量化与推理，支持ChatGLM2-6B、Baichuan2-13B-Chat等模型在CPU环境16G内存的个人电脑上部署，实现类似ChatGPT的聊天功能。支持的操作系统包括Windows、MacOS、Linux等。其中，量化过程需要临时使用一台内存较大的服务器。4bit量化后

#完整的GLM模型，包括嵌入层、编码器、输出层classChatGLMModel(ChatGLMPreTrainedModel):def__init__(self,config:ChatGLMConfig,device=None,empty_init=True):super().__init__(config)#如果设置了`empty_init`，创建任何PyTorch模块时，不初

classChatGLMForConditionalGeneration(ChatGLMPreTrainedModel):def__init__(self,config:ChatGLMConfig,empty_init=True,device=None):super().__init__(config)self.max_sequence_length=config.max_lengthself.transformer=C

#编码器模块，包含所有GLM块classGLMTransformer(torch.nn.Module):"""Transformerclass."""def__init__(self,config:ChatGLMConfig,device=None):super(GLMTransformer,self).__init__()self.fp32_residual_co

classMLP(torch.nn.Module):"""MLP.MLPwilltaketheinputwithhhiddenstate,projectitto4*hhiddendimension,performnonlineartransformation,andprojectthestatebackintohhiddendimension.""&quo

      按照说明文档，先按照了最新版本的Python，官网下载了最新的版本3.11后，一顿操作感觉分分钟就安装完了。但是继续安装chatglm2-6b所需的依赖包时，就遇到了N多坑点，为了解决这些坑点，耗时真的很长（按周计算的那种）。如果是CPU服务器，则至少需要30G内存。      

一、前言上篇说到ChatGLM2-6B及百川大模型的本地部署实战，实际商业项目中可能还需要在此基础上对模型进行相关微调再进行应用。本篇文章带大家微调入门教学。注意：当前为AI技术高速发展期，技术更新迭代快，本文章仅代表作者2023年8月的观点。  上篇文章：ChatGLM2-6B清华

目前绝大多数LLM模型都是python实现的，运行速度有限（包括ChatGLM2-6b)，幸好有大神将其用C++重写了一遍，让运行速度大大提高。项目地址：li-plus/chatglm.cpp:C++implementationofChatGLM-6B&ChatGLM2-6B(github.com)部署过程如下（环境：WSL2ubuntu22.04，显卡:N卡RTX4060)-注

完整的代码可以参考：https://files.cnblogs.com/files/lijiale/chatglm2-6b.zip?t=1691571940&download=true#%%[markdown]##微调前#%%model_path="/mnt/workspace/ChatGLM2-6B/chatglm2-6b"fromtransformersimportAutoTokenizer,AutoModel#载入Tokenizer

ChatGLM-6B和ChatGLM2-6B都是基于GeneralLanguageModel(GLM)架构的对话语言模型，是清华大学KEG实验室和智谱AI公司于2023年共同发布的语言模型。模型有62亿参数，一经发布便受到了开源社区的欢迎，在中文语义理解和对话生成上有着不凡的表现。ChatGLM-6B可以在消费级