Ollama部署大模型，本地调用

Ollama简单介绍

Ollama是一个强大的大型语言模型平台，它允许用户轻松地下载、安装和运行各种大型语言模型。在本文中，我将指导你如何在你的本地机器上部署Ollama，并展示如何使用Python进行简单的API调用以访问这些模型

最近很多人在学习大模型的时候，也遇到这个问题了，Ollama下载的模型，如果不想在命令行里面直接使用，而是想用Python去调用大模型该如何去使用？

这是Ollama的官网，大家如果想要下载可以到官网中进行下载：https://ollama.com/

下载完成之后，可以在命令行中敲 ollama，如果能看到下面的界面说明安装成功了

可以拉一个大模型下来，我以llama3为例，ollama pull llama3，这样就可以下载llama3这个大模型到本地了

ollama会在本地开启一个11434的端口

Python去调用

import requests
import json

# API的URL
url = 'http://127.0.0.1:11434/api/chat'
input_text = "我今年18岁，我的舅舅今年38岁，我的爷爷今年72岁，我和舅舅一共多少岁了？"

# 要发送的数据
data = {
    "model": "llama3",
    "messages": [
        {"role": "system", "content": "你是一个数学家，你可以计算任何算式。"},
        {"role": "user", "content": " "}
    ],
    "stream": False
}

# 找到role为user的message
for message in data["messages"]:
    if message["role"] == "user":
        # 将输入文本添加到content的开头
        message["content"] = input_text

# 将字典转换为JSON格式的字符串
json_data = json.dumps(data)

# 发送POST请求
response = requests.post(url, data=json_data, headers={'Content-Type': 'application/json'})

# 打印响应内容
print(response.text)

运行结果