首页 > 其他分享 >在笔记本电脑上跑清华chatglm大语言模型

在笔记本电脑上跑清华chatglm大语言模型

时间:2024-01-14 15:12:34浏览次数:32  
标签:git 清华 clone 笔记本电脑 https chatglm fastllm ztxz16 com

环境:windows10以上系统,安装Linux子系统

下载这个文件,双击,安装:https://wslstorestorage.blob.core.windows.net/wslblob/wsl_update_x64.msi

sudo sed -i 's/deb.debian.org/mirrors.ustc.edu.cn/g' /etc/apt/sources.list
sudo dpkg-reconfigure locales
sudo apt update
sudo apt install cmake gcc g++ git
这里有几条命令,效果一样,哪个速度快用哪个:
git clone https://ghproxy.com/https://github.com/ztxz16/fastllm.git
git clone https://github.moeyy.xyz/https://github.com/ztxz16/fastllm.git
git clone https://kgithub.com/ztxz16/fastllm.git
git clone https://hub.fgit.gq/ztxz16/fastllm.git
git clone https://gitclone.com/github.com/ztxz16/fastllm.git

继续:
cd fastllm
mkdir build
cd build
有N卡,那么:cmake .. -DUSE_CUDA=ON
无N卡,那么:cmake .. -DUSE_CUDA=OFF
然后:
make -j
最后,从这个链接下载模型文件:https://huggingface.co/huangyuyang/chatglm2-6b-int4.flm/tree/main

按照视频中的操作拷贝
最后: ./webui -p chatglm2-6b-int4.flm --port 1234 输出一个ip地址,访问它

 

标签:git,清华,clone,笔记本电脑,https,chatglm,fastllm,ztxz16,com
From: https://www.cnblogs.com/brithToSpring/p/17963738

相关文章

  • 击败 8 名人类规划师:清华团队提出强化学习的城市空间规划模型
    作者:彬彬编辑:李宝珠,三羊清华大学研究团队提出了强化学习的城市社区空间规划模型与方法,并实现了人类规划师与人工智能算法协作的城市规划流程,为智能城市的自动化规划提供了全新思路。城市,不仅承载着人们对于安居乐业的热切期望,同时也是支撑各类经济活动的重要底座。从农耕时代到......
  • 聊聊ChatGLM中P-tuning v2的应用
    论文PDF地址:https://arxiv.org/pdf/2110.07602.pdf转载请备注出处:https://www.cnblogs.com/zhiyong-ITNote/P-Tuningv2摘录自第三部分桔色块指代可训练的promptembedding;蓝色块是由固定(冻结)的预训练语言模型存储或计算的embedding。DeepPromptTuningcontinuou......
  • ​Github揽获3k+星!清华开源CogAgent:基于多模态大模型的GUI Agent
    前言 本文提出了视觉GUIAgent,使用视觉模态(而非文本)对GUI界面进行更全面直接的感知,从而做出规划和决策。对此,我们研发了多模态大模型CogAgent,可接受1120×1120的高分辨率图像输入,不仅提升了通用视觉理解能力,还具备强大的GUIAgent能力。本文转载自PaperWeekly仅用于学......
  • ChatGLM-6B应用
    ChatGLM-6B是一个开源的、支持中英双语的对话语言模型,基于GeneralLanguageModel(GLM)架构,具有62亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4量化级别下最低只需6GB显存)。ChatGLM-6B使用了和ChatGPT相似的技术,针对中文问答和对话进行了优化。......
  • 【技术探讨】无线通信模块拉距测试,是否一定要带笔记本电脑?
     用户购买无线模块后,一般第一步就是进行拉距测试,通常是准备2个笔记本电脑,一部电脑是放在在办公室有人值守,另外一部电脑在外场,双方使用手机或微信进行实时沟通测试结果,对于Sub-G的无线模块通常通信距离较远可以达到公里级甚至数公里之远,而笔记本的续航时间通常是2-3个小时,很多用户......
  • [EFI]联想Lenovo Air 13 IWL笔记本电脑 Hackintosh 黑苹果efi引导文件
    硬件型号驱动情况主板联想LenovoAir13IWL笔记本处理器Intel(R)Core(TM)[email protected]已驱动内存16GB1867MHzMicron(BIOS可超频至2133MHzLPDDR3)已驱动硬盘海力士HFS512GD9TNG-62A0A(512GNVME固态)已驱动显卡IntelUHDGraphics620(8086:3EA0WhiskeyLake)(......
  • SPSS modeler用关联规则Apriori模型对笔记本电脑购买事务销量数据研究
    全文链接:https://tecdat.cn/?p=34709原文出处:拓端数据部落公众号自2011年全球PC出货量达到历史最高的3.64亿台后,全球PC市场出货量已经连续四年下滑。市场调研公司Gartner最新数据显示,2015年Q3全球PC销量同比降低7.7%,至7370万台。IDC数据更加不乐观,2015年Q3全球PC出货量共计7100......
  • 清华提出全新代理注意力范式:Softmax注意力与线性注意力的优雅融合
    前言 来自清华大学的研究者提出了一种新的注意力范式——代理注意力(AgentAttention)。本文转载自机器之心仅用于学术分享,若侵权请联系删除欢迎关注公众号CV技术指南,专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。CV各大方向专栏与各个部署框架最......
  • MSI VECTOR GP78 HX 13V笔记本电脑安装win11的坑
    MSIVECTORGP78HX13V笔记本电脑在启动系统安装导引程序后,没办法查看磁盘驱动器,其原因是开启了BIOS系统中的VolumeManagementDevice(VMD)。VMD是针对INTEL10代处理器之后PC的,简单来讲是新一代存储部署方案,支持从PCIe总线对NVMe固态盘进行热升级和更换。为了在安装win11系统时正......
  • 使用vLLM和ChatGLM3-6b批量推理
    当数据量大的时候,比如百万级别,使用ChatGLM3-6b推理的速度是很慢的。发现使用vLLM和ChatGLM3-6b批量推理极大的提高了推理效率。本文主要通过一个简单的例子进行实践。1.安装vLLM和PyTorch[2]除了Python(本文使用3.11)、CUDA(本文使用11.8)外,还要安装vllm、pytorch、xfo......