首页 > 其他分享 >LM Studio 本地离线部署大模型

LM Studio 本地离线部署大模型

时间:2024-05-12 15:19:12浏览次数:23  
标签:Q4 8B 模型 LM 离线 Meta Studio

安装 LM Studio

官网: https://lmstudio.ai/

下载模型:Meta-Llaa-3-8B-Instruet.Q4_KM.gguf

下载地址: https://cdn-lfs-us-1.huggingface.co/repos/79/f2/79f21025e377180e4ec0e3968bca4612bb9c99fa84e70cb7815186c42a858124/647a2b64cbcdbe670432d0502ebb2592b36dd364d51a9ef7a1387b7a4365781f?response-content-disposition=attachment%3B+filename*%3DUTF-8''Meta-Llama-3-8B-Instruct.Q4_K_M.gguf%3B+filename%3D"Meta-Llama-3-8B-Instruct.Q4_K_M.gguf"%3B&Expires=1715523914&Policy=eyJTdGF0ZW1lbnQiOlt7IkNvbmRpdGlvbiI6eyJEYXRlTGVzc1RoYW4iOnsiQVdTOkVwb2NoVGltZSI6MTcxNTUyMzkxNH19LCJSZXNvdXJjZSI6Imh0dHBzOi8vY2RuLWxmcy11cy0xLmh1Z2dpbmdmYWNlLmNvL3JlcG9zLzc5L2YyLzc5ZjIxMDI1ZTM3NzE4MGU0ZWMwZTM5NjhiY2E0NjEyYmI5Yzk5ZmE4NGU3MGNiNzgxNTE4NmM0MmE4NTgxMjQvNjQ3YTJiNjRjYmNkYmU2NzA0MzJkMDUwMmViYjI1OTJiMzZkZDM2NGQ1MWE5ZWY3YTEzODdiN2E0MzY1NzgxZj9yZXNwb25zZS1jb250ZW50LWRpc3Bvc2l0aW9uPSoifV19&Signature=cboCWba~6WWYBO6sTsNzUgNa5PksqpYGqlWcbdM7uqyb-OossFTOllwSrGwtz0yGpO4X03NvTD5MZwsXUqREhVl03ozknt1iSPCJGgo~Hx6NQ4nIF8SD9rW-Le~0Un1F8BKPA4LG9BAxBLKe0gZCzOYFz1kkKhyyTNfzwGntood~z~Ipqw38e8aIOxKMTeWo41iBqwIePgg5VTLwF5LFvl32vGsvk7WGagqhZlDI1au0-Mfa6fCsTHr0k7oFB9mk5ou~02S1Skz~upeSvfaLLkFAVV-SGeF-8R7PXCPkSHMmGKXQCduvfxOAb3W-PfdqMvtYcZ-AQCOBr2adYTF4kQ__&Key-Pair-Id=KCD77M1F0VK2B

配置

  1. 模型默认位置在C:\Users\用户\.cache\lm-studio\models下,需要在该目录下创建Publisher文件夹且在该文件夹中创建Repository,将该模型放入该目录下
    image-20240511232845566

  2. 在AI Chat菜单上面选择Meta-Llaa-3-8B-Instruet.Q4_KM.gguf模型

    image-20240511232658394

  3. 输入文本获取返回值即可

  4. 如果文本渲染速度太慢,可以使用GPU处理(此处需要根据自己电脑的实际情况调整)

    image-20240511233104103

标签:Q4,8B,模型,LM,离线,Meta,Studio
From: https://www.cnblogs.com/jruing/p/18187844

相关文章

  • KAN: Kolmogorov–Arnold Networks 学术论文全译
    KAN:Kolmogorov–ArnoldNetworks学术论文全译来源 https://zhuanlan.zhihu.com/p/696001648 KAN:Kolmogorov–ArnoldNetworks https://arxiv.org/pdf/2404.19756讨论Applicationaspects:WehavepresentedsomepreliminaryevidencesthatKANsaremoreeffective......
  • Berkeley vLLM:算力减半、吞吐增十倍
    BerkeleyvLLM:算力减半、吞吐增十倍来源 https://zhuanlan.zhihu.com/p/697142422 随着大语言模型(LLM)的不断发展,这些模型在很大程度上改变了人类使用AI的方式。然而,实际上为这些模型提供服务仍然存在挑战,即使在昂贵的硬件上也可能慢得惊人。现在这种限制正在被打破。最近,......
  • 日本联合研究团队发布 Fugaku-LLM——证明大型纯 CPU 超算也可用于大模型训练
    相关:https://mbd.baidu.com/newspage/data/landingsuper?context={"nid"%3A"news_10139665591063236146"}研究团队表示其充分挖掘了富岳超算的性能,将矩阵乘法的计算速度提高了6倍,通信速度也提升了3倍,证明大型纯CPU超算也可用于大模型训练。Fugaku-LLM模型参数规模......
  • linux离线安装mysql5.7
    准备工作下载安装包:mysql-5.7.38-linux-glibc2.12-x86_64.tar.gz选定目录安装目录:/usr/local,将安装包上传至/usr/local目录下,通过ftp方式传输具体步骤cd/usr/local解压tar-zxvfmysql-5.7.38-linux-glibc2.12-x86_64.tar.gz重命名mvmysql-5.7.38-linux-glibc2.12-x86_......
  • Agile PLM数据库表结构(Oracle)
    刚进公司,任务是接管PLM系统,但是还在给外包团队开发,没有代码。无妨先看业务和数据库,ok,业务看不懂,只能先看数据库,数据库没有数据字典,这个系统没有任何文档产出......练手时发现数据库类型是Oracle,面对百度不成问题,数据字典只能看前端然后去数据库里面一个个找着对应自己整理了,纯折磨......
  • 如何在AlmaLinux服务器中安装 VirtualBox 7.0
    https://www.a5idc.net/helpview_1331.html目前由Oracle拥有和维护的OracleVMVirtualBox是世界上最受欢迎的开源虚拟化平台,它使用户能够从底层计算机硬件创建虚拟机。VirtualBox是第2类管理程序,这意味着它安装在现有操作系统(如Windows或Linux)之上,以创建模拟CPU、RAM......
  • Android Studio简单入门教程
    1.建立项目首先点击new——newproject新建项目选择想要创建的Android的模板,建议选择emptyactivity(空模板),然后nextName:给你的项目起一个名字APIlevel:选择Android虚拟机的版本,版本越低运行起来越快剩下的就按默认的就行,点击finish(由于版本不一样,步骤2和步骤3的顺序......
  • 记录一次sqlMap的sql注入测试
    1、首先下载sqlMap测试工具 2、此前需要安装python环境执行pythonsqlmap.py-h ,则可以验证sqlmap命令是否生效3、get请求sql注入测试命令pythonsqlmap.py-uhttp://127.0.0.1:2000/data/serverConfigure/getDataByProject?projectId=1630016701175169121--risk=3--le......
  • linux中离线安装docker
    一、linux中离线安装docker1、从官方下载Docker安装包并上传至虚拟机https://download.docker.com/linux/static/stable/x86_64/2.解压安装包tar-xvfdocker-19.03.9.tgz3.将解压出来的docker文件内容移动到/usr/bin/目录下#移动命令复制命令请用cpmvdocker/*/usr......
  • apisix~helm方式的部署到k8s
    什么是apisixApacheAPISIX是一个高性能、轻量级的开源API网关,基于Nginx和OpenResty构建。APISIX提供了丰富的功能和灵活的配置,适用于构建现代的微服务架构和云原生应用。以下是ApacheAPISIX的一些主要特点和功能:动态路由:APISIX支持基于请求路径、方法、头部等条......