首页 > 其他分享 >记录一下 Win11 下自编译 Ollama 本地运行 llama3.1

记录一下 Win11 下自编译 Ollama 本地运行 llama3.1

时间：2024-11-08 22:30:23浏览次数：1  
标签：github Ollama llama3.1 server com Win11 debug GIN ollama

运行环境

  • Windows 11（显卡 AMD Radeon RX 6650 XT）

  • VS Code（用于查找特定代码，在 gfx1030 附近添加 gfx1032）

  • Git

  • Go 版本

    $ go version
go version go1.23.3 windows/amd64

  • MinGW (编译需要 make 命令)

    $ make -v
GNU Make 4.4.1
Built for x86_64-w64-mingw32
Copyright (C) 1988-2023 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <https://gnu.org/licenses/gpl.html>
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

    注：将 MinGW 放在环境变量中后如果使用 make -v 报错，到 mingw64\bin 路径下复制一份 mingw32-make.exe 改名为 make.exe 即可（安装 Purl 同理）。

安装 AMD HIP SDK for Windows

  • 下载地址：HIP SDK 6.1.2

  • 安装成功后，将 HIP SDK 添加到环境变量中（如：%HIP_PATH_61%\bin）

  • 运行 hipinfo，可以看到 AMD Radeon RX 6650 XT 对应的 gcnArchName 为：gfx1032

    $ hipinfo

--------------------------------------------------------------------------------
device#                           0
Name:                             AMD Radeon RX 6650 XT
pciBusID:                         3
pciDeviceID:                      0
pciDomainID:                      0
multiProcessorCount:              16
maxThreadsPerMultiProcessor:      2048
isMultiGpuBoard:                  0
clockRate:                        2410 Mhz
memoryClockRate:                  1095 Mhz
memoryBusWidth:                   0
totalGlobalMem:                   7.98 GB
totalConstMem:                    2147483647
sharedMemPerBlock:                64.00 KB
canMapHostMemory:                 1
regsPerBlock:                     0
warpSize:                         32
l2CacheSize:                      4194304
computeMode:                      0
maxThreadsPerBlock:               1024
maxThreadsDim.x:                  1024
maxThreadsDim.y:                  1024
maxThreadsDim.z:                  1024
maxGridSize.x:                    2147483647
maxGridSize.y:                    65536
maxGridSize.z:                    65536
major:                            10
minor:                            3
concurrentKernels:                1
cooperativeLaunch:                0
cooperativeMultiDeviceLaunch:     0
isIntegrated:                     0
maxTexture1D:                     16384
maxTexture2D.width:               16384
maxTexture2D.height:              16384
maxTexture3D.width:               2048
maxTexture3D.height:              2048
maxTexture3D.depth:               2048
hostNativeAtomicSupported:        1
isLargeBar:                       0
asicRevision:                     0
maxSharedMemoryPerMultiProcessor: 64.00 KB
clockInstructionRate:             1000.00 Mhz
arch.hasGlobalInt32Atomics:       1
arch.hasGlobalFloatAtomicExch:    1
arch.hasSharedInt32Atomics:       1
arch.hasSharedFloatAtomicExch:    1
arch.hasFloatAtomicAdd:           1
arch.hasGlobalInt64Atomics:       1
arch.hasSharedInt64Atomics:       1
arch.hasDoubles:                  1
arch.hasWarpVote:                 1
arch.hasWarpBallot:               1
arch.hasWarpShuffle:              1
arch.hasFunnelShift:              0
arch.hasThreadFenceSystem:        1
arch.hasSyncThreadsExt:           0
arch.hasSurfaceFuncs:             0
arch.has3dGrid:                   1
arch.hasDynamicParallelism:       0
gcnArchName:                      gfx1032
peers:
non-peers:                        device#0

memInfo.total:                    7.98 GB
memInfo.free:                     7.85 GB (98%)

  • 可以看到官方 AMD ROCm 支持的 GPU并不包含 AMD Radeon RX 6650 XT，但是我们可以使用一些预构建的 rocblas 库
    image

  • 在 ROCmLibs for HIP SDK 6.1.2 中找到 rocm.gfx1032.for.hip.sdk.6.1.2.optimized.Fremont.Dango.Version.7z 并下载（这个版本较新，所以使用的这一个）

  • 解压上述压缩包后（以下文件做好备份，出现问题后还可以回滚 ovo）

    1. 将 rocblas.dll 文件复制到 C:\Program Files\AMD\ROCm\6.1\bin 下
    2. 将 library 目录复制到 C:\Program Files\AMD\ROCm\6.1\bin\rocblas（选择替换所有文件）

编译 Ollama

  1. 克隆 Ollama 项目

    # 注：当前实验版本为 ollama 0.4.0
git clone https://github.com/ollama/ollama.git

  2. 使用 VSCode 打开 ollama 代码，在 ollama/llama/make/Makefile.rocm 文件中添加 gfx1032 （直接在代码中全局查找 gfx1030 也可以找到对应文件）

    # 原代码
HIP_ARCHS_COMMON := gfx900 gfx940 gfx941 gfx942 gfx1010 gfx1012 gfx1030 gfx1100 gfx1101 gfx1102

# 添加 gfx1032 使编译后的 ollama_llama_server.exe 支持 AMD Radeon RX 6650 XT
HIP_ARCHS_COMMON := gfx900 gfx940 gfx941 gfx942 gfx1010 gfx1012 gfx1030 gfx1032 gfx1100 gfx1101 gfx1102

  3. 依次运行以下命令

    $ CGO_ENABLED="1"

    $ go generate ./...

    $ go build .

    注：在克隆的 ollama 根路径下运行命令（使用 git bash 命令行，所以命令前有一个 $，复制命令时注意删除 $）

  4. 编译完成后，在 ollama 根路径下会生成一个 ollama.exe 文件，此时运行服务测试一下

    $ ./ollama.exe serve
2024/11/08 21:38:18 routes.go:1189: INFO server config env="map[CUDA_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: HTTPS_PROXY: HTTP_PROXY: NO_PROXY: OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_GPU_OVERHEAD:0 OLLAMA_HOST:http://127.0.0.1:11434 OLLAMA_INTEL_GPU:false OLLAMA_KEEP_ALIVE:5m0s OLLAMA_LLM_LIBRARY: OLLAMA_LOAD_TIMEOUT:5m0s OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:C:\\Users\\cphovo\\.ollama\\models OLLAMA_MULTIUSER_CACHE:false OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:0 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://* vscode-webview://*] OLLAMA_SCHED_SPREAD:false OLLAMA_TMPDIR: ROCR_VISIBLE_DEVICES:]"
time=2024-11-08T21:38:18.488+08:00 level=INFO source=images.go:755 msg="total blobs: 5"
time=2024-11-08T21:38:18.488+08:00 level=INFO source=images.go:762 msg="total unused blobs removed: 0"
[GIN-debug] [WARNING] Creating an Engine instance with the Logger and Recovery middleware already attached.

[GIN-debug] [WARNING] Running in "debug" mode. Switch to "release" mode in production.
 - using env:   export GIN_MODE=release
 - using code:  gin.SetMode(gin.ReleaseMode)

[GIN-debug] POST   /api/pull                 --> github.com/ollama/ollama/server.(*Server).PullHandler-fm (5 handlers)
[GIN-debug] POST   /api/generate             --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (5 handlers)
[GIN-debug] POST   /api/chat                 --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (5 handlers)
[GIN-debug] POST   /api/embed                --> github.com/ollama/ollama/server.(*Server).EmbedHandler-fm (5 handlers)
[GIN-debug] POST   /api/embeddings           --> github.com/ollama/ollama/server.(*Server).EmbeddingsHandler-fm (5 handlers)
[GIN-debug] POST   /api/create               --> github.com/ollama/ollama/server.(*Server).CreateHandler-fm (5 handlers)
[GIN-debug] POST   /api/push                 --> github.com/ollama/ollama/server.(*Server).PushHandler-fm (5 handlers)
[GIN-debug] POST   /api/copy                 --> github.com/ollama/ollama/server.(*Server).CopyHandler-fm (5 handlers)
[GIN-debug] DELETE /api/delete               --> github.com/ollama/ollama/server.(*Server).DeleteHandler-fm (5 handlers)
[GIN-debug] POST   /api/show                 --> github.com/ollama/ollama/server.(*Server).ShowHandler-fm (5 handlers)
[GIN-debug] POST   /api/blobs/:digest        --> github.com/ollama/ollama/server.(*Server).CreateBlobHandler-fm (5 handlers)
[GIN-debug] HEAD   /api/blobs/:digest        --> github.com/ollama/ollama/server.(*Server).HeadBlobHandler-fm (5 handlers)
[GIN-debug] GET    /api/ps                   --> github.com/ollama/ollama/server.(*Server).PsHandler-fm (5 handlers)
[GIN-debug] POST   /v1/chat/completions      --> github.com/ollama/ollama/server.(*Server).ChatHandler-fm (6 handlers)
[GIN-debug] POST   /v1/completions           --> github.com/ollama/ollama/server.(*Server).GenerateHandler-fm (6 handlers)
[GIN-debug] POST   /v1/embeddings            --> github.com/ollama/ollama/server.(*Server).EmbedHandler-fm (6 handlers)
[GIN-debug] GET    /v1/models                --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (6 handlers)
[GIN-debug] GET    /v1/models/:model         --> github.com/ollama/ollama/server.(*Server).ShowHandler-fm (6 handlers)
[GIN-debug] GET    /                         --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func1 (5 handlers)
[GIN-debug] GET    /api/tags                 --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (5 handlers)
[GIN-debug] GET    /api/version              --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func2 (5 handlers)
[GIN-debug] HEAD   /                         --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func1 (5 handlers)
[GIN-debug] HEAD   /api/tags                 --> github.com/ollama/ollama/server.(*Server).ListHandler-fm (5 handlers)
[GIN-debug] HEAD   /api/version              --> github.com/ollama/ollama/server.(*Server).GenerateRoutes.func2 (5 handlers)
time=2024-11-08T21:38:18.490+08:00 level=INFO source=routes.go:1240 msg="Listening on 127.0.0.1:11434 (version 0.0.0)"
time=2024-11-08T21:38:18.491+08:00 level=INFO source=common.go:49 msg="Dynamic LLM libraries" runners="[cpu cpu_avx cpu_avx2 rocm]"
time=2024-11-08T21:38:18.491+08:00 level=INFO source=gpu.go:221 msg="looking for compatible GPUs"
time=2024-11-08T21:38:18.492+08:00 level=INFO source=gpu_windows.go:167 msg=packages count=1
time=2024-11-08T21:38:18.492+08:00 level=INFO source=gpu_windows.go:183 msg="efficiency cores detected" maxEfficiencyClass=1
time=2024-11-08T21:38:18.492+08:00 level=INFO source=gpu_windows.go:214 msg="" package=0 cores=12 efficiency=4 threads=20
time=2024-11-08T21:38:18.937+08:00 level=INFO source=types.go:123 msg="inference compute" id=0 library=rocm variant="" compute=gfx1032 driver=6.1 name="AMD Radeon RX 6650 XT" total="8.0 GiB" available="7.8 GiB"

    注：运行日志中出现类似 time=2024-11-08T21:38:18.937+08:00 level=INFO source=types.go:123 msg="inference compute" id=0 library=rocm variant="" compute=gfx1032 driver=6.1 name="AMD Radeon RX 6650 XT" total="8.0 GiB" available="7.8 GiB" 的日志，说明编译的 ollama 已经支持使用 AMD Radeon RX 6650 XT 显卡加速。

  5. 下载模型并运行

    $ ./ollama.exe run llama3.1

    此时，可能会出现以下报错：由于找不到 ggml_rocm.dll，无法继续执行代码。重新安装程序可能会解决此问题。

    但是我们在 dist\windows-amd64\lib\ollama 路径下可以看到是有 ggml_rocm.dll 文件的。

    解决方法：将 dist\windows-amd64\lib\ollama\ggml_rocm.dll 文件复制一份，放到 dist\windows-amd64\lib\ollama\runners\rocm 下

    $ cd dist/windows-amd64/lib/ollama/runners/rocm/

$ ls -al
total 349176
drwxr-xr-x 1 cphovo 197121         0 11月  8 21:45 .
drwxr-xr-x 1 cphovo 197121         0 11月  8 20:36 ..
-rwxr-xr-x 1 cphovo 197121 348145152 11月  8 20:34 ggml_rocm.dll
-rwxr-xr-x 1 cphovo 197121   9406976 11月  8 20:36 ollama_llama_server.exe

    再次运行 ./ollama.exe run llama3.1 命令，看到以下内容（第一次运行会下载相关模型）：

    $ ./ollama.exe run llama3.1
>>> Send a message (/? for help)

  6. 测试

    $ ./ollama.exe run llama3.1
>>> 请使用 python 实现二分查找，仅给出代码即可
```python
def binary_search(arr, low, high, x):
    if high >= low:
        mid = (high + low) // 2
        if arr[mid] == x:
            return mid
        elif arr[mid] > x:
            return binary_search(arr, low, mid - 1, x)
        else:
            return binary_search(arr, mid + 1, high, x)
    else:
        return -1

arr = [2, 3, 4, 10, 40]
x = 10
result = binary_search(arr, 0, len(arr)-1, x)

if result != -1:
    print("Element is present at index", str(result))
else:
    print("Element is not present in array")
```

    此时可以从任务管理器中看到 GPU 被正确使用，而不是通过 CPU 来跑的 llama3.1 模型，速度相比于使用 CPU 来说，快了很多倍。

    image

问题记录

  1. 本来电脑上安装的 HIP SDK 版本是 5.7，但是使用相同步骤以后启动 ollama 服务，发现依旧使用的是 CPU 进行处理，后卸载 5.7 版本并安装 6.1 版本的 HIP SDK 后，实验成功
  2. 至于为什么会出现这个问题："由于找不到 ggml_rocm.dll，无法继续执行代码。重新安装程序可能会解决此问题。" ，我在原项目的 issue 中没有找到相关说明，但是在 B 站一些视频中下载的 ollama_orcm 文件中发现 ollama_llama_server.exe 所在目录中存在一个 llama.dll 文件，所以我就尝试将编译后的 ggml_rocm.dll 复制了一份放到了 ollama_llama_server.exe 所在目录下，很玄学，发现问题解决了（避免了我去提 issue，开心 ovo）
  3. 参考的 wiki 中说明编译的时候需要安装 Strawberry Perl，但是实际上我的电脑上只在运行 go generate ./... 命令时出现缺少 make 命令，我将 mingw64 中的 mingw32-make.exe 改名为 make.exe 后编译成功，所以不确定 Perl 是否确实需要
  4. 选用的大模型最好不要超过 GPU 显存

参考&感谢

标签：github,Ollama,llama3.1,server,com,Win11,debug,GIN,ollama
From： https://www.cnblogs.com/cphovo/p/18536054

相关文章

  • Win11计算器 科学模式
    不再盲目按！带你了解Win11计算器各个按键的功用_缩写_三角函数_显示(22条消息)计算器上DEGRADGRAD是什么意思有什么区别？-知乎【MC】memoryclear的缩写，作用是删除记忆按键刚才保存的内容【MR】memoryrecall的缩写，作用是读取记忆按键存储的内容，用来显示按下记忆按键时的......
  • win11中使用docker-nacos连接容器中的mysql实例记录
     二.方式11.拉取nacosdockerpullnacos/nacos-server2.在dockerdesktop中进行配置如下图相比较’方式2‘这种方式更简单，mysqlip地址需要使用ipv4地址，具体的自己查看ipconfig的ipv4地址（注意：localhsot/127.0.0.1/容器名称都是不行的）下面这几个参数在application.proper......
  • 初识AI大模型，ollama使用，llama factory大模型微调，lama.cpp模型转换guff
    最近了解了下生成式AI对话，下面是自己的一些尝试记录。ollama安装及使用1、安装我是在windows环境下安装的，很简单，访问：https://ollama.com/，下载windows安装包，打开安装就行了。cmd输入ollama-v检验是否安装成功。    2、配置在环境变量的......
  • Ollama AI 框架缺陷可能导致 DoS、模型盗窃和中毒
    近日，东方联盟网络安全研究人员披露了Ollama人工智能(AI)框架中的六个安全漏洞，恶意行为者可能会利用这些漏洞执行各种操作，包括拒绝服务、模型中毒和模型盗窃。知名网络安全专家、东方联盟创始人郭盛华表示：“总的来说，这些漏洞可能允许攻击者通过单个HTTP请求执行各种恶意操......
  • 【2024潇湘夜雨】WIN11_Pro-Workstation_24H2.26120.2213软件选装纯净特别版11.5
    【系统简介】=============================================================1.本次更新母盘来自WIN11_Pro-Workstation_24H2.26120.2213.进桌面后稍等片刻，等待后续部分优化完成。2.全程离线精简、无人值守调用优化处理制作。部分优化适配系统可能要重启几次，即使显示适配失败也不......
  • Ollama简介，以及中文使用指南和AMD图形显卡驱动下载
    Ollama是一个开源的大型语言模型（LLM）服务工具，它旨在简化在本地运行大语言模型的过程，降低使用大语言模型的门槛。Ollama使得开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新的大语言模型，包括但不限于如Qwen2、Llama3、Phi3、Gemma2等开源的大型语言模型。Oll......
  • Win11系统提示找不到System.Web.Mobile.dll文件的解决办法
    其实很多用户玩单机游戏或者安装软件的时候就出现过这种问题，如果是新手第一时间会认为是软件或游戏出错了，其实并不是这样，其主要原因就是你电脑系统的该dll文件丢失了或没有安装一些系统软件平台所需要的动态链接库，这时你可以下载这个System.Web.Mobile.dll文件(挑选合适的版本......
  • Win11系统提示找不到System.Web.Services.dll文件的解决办法
    其实很多用户玩单机游戏或者安装软件的时候就出现过这种问题，如果是新手第一时间会认为是软件或游戏出错了，其实并不是这样，其主要原因就是你电脑系统的该dll文件丢失了或没有安装一些系统软件平台所需要的动态链接库，这时你可以下载这个System.Web.Services.dll文件(挑选合适的版......
  • OracleJDK与OpenJDK的区别（附带win11下多版本jdk安装）
    OracleJDK与OpenJDK的区别（附带win11下多版本jdk安装）在Java开发领域，OracleJDK与OpenJDK是两个常被提及的名词，它们都是Java开发工具包（JDK）的实现，但各自具有不同的特点和优势。在早期的java开发中（java8以前）默认使用的jdk都是Oracle公司的jdk，由于当时免费，被应用在大多数企业项目......
  • 树莓派5安装ollama+open-webui
    新购置了个PI5，就想着折腾些什么。除了给它装codesys之外，想到（尤其是看到官配的冷却风扇）是不是能跑个AI什么的。捜了一下，除了TensorFlowLite、PyTorchMobile还有做视觉的OPENCV和YOLO。除此之外，一个熟悉的词汇又冒了出来。ollama。记得有段时间看到很多短视频推送，想着就找下资料看......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99