首页 > 其他分享 >搭建本地大模型

搭建本地大模型

时间:2025-01-19 19:35:29浏览次数:1  
标签:env 安装 模型 虚拟环境 conda 本地 Miniconda3 ollama 搭建

构建本地大模型-ollama-conda的安装和配置

安装conda

环境

Win10LTSC

下载安装包

有两个版本,Anaconda3Miniconda3

两者的区别:
1、Anaconda3包含了很多库,Miniconda3只包含了基础库;
2、Anaconda3的安装包有Jupyter Notebook,Miniconda3没有。

建议:
刚入门的童鞋安装Anaconda3,保证开箱即用,等后期熟练了再安装Miniconda3。

我已经打包好程序,直接下载即可。
Anconda3:Anaconda3-2024.10-1-Windows-x86_64
Miniconda3:Miniconda3-py312_24.11.1-0-Windows-x86_64

链接: 百度云盘下载

链接:阿里云盘 提取码: 2ri0

安装

直接双击安装即可。

建议
1、安装位置不要放到C盘,因为Anconda会占用大量空间。图片介绍的是放D盘,你可以把D改成磁盘空间比较大的盘。

img

2、在 Advanced Installation Options: 页面一定要勾选 Add Anaconda to my PATH environment variable

验证

win+R,输入cmd,回车。

输入以下代码,查看conda的版本

conda --version

如果出现以下代码,说明conda已经安装成功。如果没有出现的话,需要在安装anaconda的时候勾选添加到环境变量。

conda 24.11.2

PS:如果确定已经勾选环境变量,但是还是没有出现的话,需要重启电脑。

配置激活虚拟环境

配置虚拟环境

为什么要配置虚拟环境?
虚拟环境是一个独立的Python环境。

在这个环境中可以安装特定版本的Python及其对应的依赖包,而不会影响到系统中的其他Python环境:例如全局Python环境或其他虚拟环境中的库。

对于避免依赖冲突和项目的可移植性至关重要。

创建虚拟环境

以下代码的含义是:创建一个名为env_name的环境,python版本为3.10。

conda create -n env_name python=3.10

注意:
env_name:环境名称,可以根据自己的需求修改
python==3.10:python版本,可以根据自己的需求修改

激活虚拟环境:

conda activate env_name

退出虚拟环境:

conda deactivate

查看创建的虚拟环境

conda env list

删除虚拟环境

conda env remove -n env_name

安装ollama

下载安装包:
我已经打包好程序,直接下载即可。

链接: 百度云盘下载

链接:阿里云盘下载 提取码: r6j5

安装

直接双击安装即可。

设定环境变量

在系统变量中添加变量:

变量名 OLLAMA_HOST 变量值 127.0.0.1 或者 你的本机ip地址
变量名 OLLAMA_HOST 变量值 0.0.0.0
以上两个变量任选一个即可。127.0.0.1或者本机IP地址是本地访问,0.0.0.0是远程访问。

变量名 OLLAMA_MODELS 变量值 e:\models
此变量决定ollama下载的大模型存放的位置,提前建立好文件夹。最好不要放C盘,因为ollama的下载的大模型会占用大量空间。

变量名 OLLMA_PORT 变量值 11434
此变量决定ollama的端口。

启动ollama并测试

双击ollama.exe,启动ollama。

在cmd中输入以下代码:

ollama run qwen2.5

可以在cmd中看到ollama拉取模型的过程。拉取完毕以后,就可以在cmd中与大模型对话了。

查看ollama的模型列表:

ollama list

停止ollama

ollama stop

总结

就此,我们就完成了conda的安装和ollama的安装。能够进行基本的使用了。

标签:env,安装,模型,虚拟环境,conda,本地,Miniconda3,ollama,搭建
From: https://www.cnblogs.com/oldfoolcainiao/p/18679813

相关文章

  • 【AI大模型】BERT GPT ELMo模型的对比
    目录......
  • Mysql 5.7解决windows本地无法开启服务-1067
    出现原因:我切换mysql8服务后,切换回去mysq5.7,然后报下面的问题。删除后应该可以 但是可能因为我有两个服务,一个5.7,一个8.0然后我继续报错:D:\Monkey\mysql-5.7.33-winx64\bin>netstartMySQL57mysql57服务正在启动.mysql57服务无法启动。服务没有报告任何错误。......
  • Phi小模型开发教程:用C#开发本地部署AI聊天工具,只需CPU,不需要GPU,3G内存就可以运行,不输G
    大家好,我是编程乐趣。行业诸多大佬一直在说:“‌2025年将是AI应用元年‌”,虽然说大佬的说法不一定对,但AI趋势肯定没错的。对于我们程序员来说,储备AI应用开发技能,不管对找工作、接项目、创业肯定是不错的选择。从今天开始,我将会学习和研究Phi小模型,并基于此模型开发一些小D......
  • 初见ESP32并搭建Platformio环境
    碎碎念(寒假参加了硬禾学堂的活动,拿到了基于esp32的CrowPanel开发板。TFTLCD触摸屏能玩出不少花样,lvgl,ai识别,如果可以的话想试试把屏接到f407学习一下FSMC和FATFS。第一步先从开发平台搭建开始。总体流程为在VSCode上下载platformio的插件在插件上打开新建项目并编译下载到......
  • 多模型融合的软件需求-感觉这篇是一本正经的胡说八道
    多模型融合的软件需求技术是一种通过结合多个模型的优势,以提升软件系统性能和满足复杂需求的技术。以下是关于这一技术的详细介绍:一、定义与背景多模型融合技术是指将多个不同的模型(如机器学习模型、深度学习模型等)进行组合,以提高整体系统的性能和鲁棒性。这种技术在软件需求......
  • 大模型agent开发之toolkits使用
    Toolkits用途toolkit提供了预定义工具集合,专注于某些特定服务,比如数据库查询、文件处理、Python代码执行、网络爬虫等任务。这些工具集为Agent提供了更高层次的抽象,简化了工具的使用过程。常见的ToolkitSQLDatabaseToolkit:使用场景主要是要通过自然语言对数据库执行查询,可......
  • Swift Parameter-free Attention Network模型详解及代码复现
    研究动机在深度学习领域,超分辨率技术的发展面临着模型复杂度与推理速度之间的权衡。传统的基于注意力的超分辨率网络虽然能提高性能,但往往需要较大的感受野和参数化的注意力图,这可能导致推理速度下降。为了解决这一问题,研究人员提出了SwiftParameter-freeAttentionNetwo......
  • 远铂DIY官网系统AI助手新增支持DeepSeek-V3 AI模型接口
            近日,量化巨头幻方量化的子公司深度求索(DeepSeek)发布了全新系列模型DeepSeek-V3,并同步开源。这一事件迅速引爆AI圈,DeepSeek-V3不仅霸榜开源模型,更在性能上与全球顶尖闭源模型GPT-4o和Claude-3.5-Sonnet不相上下。    更令人瞩目的是,该模型的训练成本仅......
  • 【有啥问啥】大模型赋能智能座舱:重塑未来出行体验
    大模型赋能智能座舱:重塑未来出行体验在科技日新月异的今天,人工智能(AI)正以前所未有的速度改变着各行各业,而智能座舱作为现代汽车产业的重要组成部分,也在经历一场由大模型技术引领的重大变革。这些变化不仅赋予了智能座舱更强的学习与推理能力,还为用户带来了前所未有的个性......
  • 算法模型资源占用基础知识
    一、算法模型资源占用情况CPU占用CPU就像是电脑的“大脑”,负责处理各种指令。一些复杂的算法模型,比如深度学习中的卷积神经网络(CNN),在进行大规模数据的特征提取和计算时,会大量占用CPU资源。这是因为这些模型的计算过程涉及到大量的矩阵运算和逻辑判断,都需要CPU......