AI大模型部署精讲：从硬件到软件（ollama+dify）

前言：2023年用GPU云主机在优班图上搭建过xinference+dify后对AI有初步概念，2024年1月后，和另外一个同事聊天时候了解某东3060卡1800左右，就入手一张，在windows环境上对AI的底层到软件部署到开发一步步的实操，通过“格物致知”对大模型有更新的认识，本文记录如下：

第一篇 硬件篇

主机硬件：cpu AMD 8核 内存 16G、升级AI显卡：[英伟达 NVIDIA GeForce RTX 3060 参数 CUDA 核心：3584 个  显存容量：12GB  最大功耗：170W] ，升级了 主机电源：600W

操作系统是win10的，右击任务栏--任务管理器--可以看到显卡以及GPU利用率情况

第二篇 环境部署

2.1 安装 cuda

查看当前你的电脑显卡支持的最高CUDA版本，后面下载的驱动不能超过它，我选12.4版本

CUDA下载官网：CUDA Toolkit Archive | NVIDIA Developer

下载 cuda_12.4.0_551.61_windows

点击安装，选择自定义安装，然后默认即可

2.2下载 解压cuDNN

cuDNN下载地址：cuDNN Archive | NVIDIA Developer

下载cuDNN,要注册一个英伟达的账号，才能下载照提示流程注册、登录即可。  

 cudnn-windows-x86_64-8.9.7.29_cuda12-archive.exe 解压

复制到cuda目录：C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.4

第三篇  python环境（开发环境！！）

非常强大的python环境管理软件，与PyCharm等编程环境搭配可以实现多个AI场景的安装环境的切换，比单独电脑安装python环境好用多了！！！！

进入Anaconda的官网进行下载：https://www.anaconda.com/download

修改默认安装路径为D:\soft\anaconda3\

配置环境变量

右键点击【我的电脑】(此电脑)--【属性】--点击【高级系统设置】--【高级】--【环境变量】-找到系统变量下的【Path】--右侧点击【新建】，按照我标红框的进行添加即可。（注意anaconda3的安装路径

3.1 创建大模型安装环境

dos命令行进入

1、conda create -n damoxing python=3.9

2、查看环境名称 conda info --envs

3、激活默认环境 activate damoxing   !!!这步很重要，今后的python环境都在这里

4、在ananada中安装pytorch 环境依赖

https://pytorch.org/get-started/previous-versions/

conda install pytorch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 pytorch-cuda=12.4 -c pytorch -c nvidia

 5、验证是否安装成功，在自己创建的虚拟环境中，依次执行以下代码进行验证：python

import torch

torch.cuda.is_available() 

 第四篇  ollama安装 

1. 本文安装环境为：Windows10专业版

下载： Ollama下载地址：https://ollama.com/download

现在Ollama已经安装完了，我们需要在终端中输入下方命令运行一个大语言模型进行测试，这里以对在中文方面表现相对好些的千问为例，大家也可以使用其他的模型。

ollama run qwen 

第五篇  Docker Desktop 安装

打开控制面板，在程序与功能页面选择启用或Windows功能

访问Docker官网进行下载 Windows | Docker Docs

备注：wsl 2 出错无法升级的，可以关掉wsl引擎  

第五篇  安装Dify

官网下载源码https://github.com/langgenius/dify，例如下载到D:\dify-main

注意！！！ windown要修改 docker-compose.yaml里面postgress数据库的读写权限，否则无法9个进程只有8个运行，一个postgres的一直重启中

    volumes: 

-./volumes/db/data:/var/lib/postgresql/data

增加 && sudo chmod 0750 /var/lib/postgresql/data

DOS命令行下启动

docker compose up -d

Docker中查看是否部署成功，启动即可

.....持续更新！！！！！！