python调用ollama库详解

0 准备

1）准备Ollama软件（注意：两个不是同一个东西）

详见上次的文章 Ollama通过gguf文件加载AI模型（补充：关于Ollama加载AI模型的补充）

2）准备ollama库

如果您还未安装ollama库，请使用pip安装：

pip install ollama

#1 ollama库的基本使用

import ollama

# 普通输出（请先按照准备工作中的要求安装模型）
back = ollama.chat(model="你的模型名称",messages=[{"role": "user","content": "生成一句简短的话"}],
                   stream = False, # 是否流式输出)
print(back)

#流式输出
back = ollama.chat(model="你的模型名称",messages=[{"role": "user","content": "生成一句简短的话"}],
                   stream = True, # 是否流式输出)
for i in back:
    print(back,end = "")

#2 ollama库的进阶使用

1）options参数设置

import ollama
back = ollama.chat(model="你的模型名称",messages=[{"role": "user","content": "生成一句简短的话"}],
                   options = {"temperature":1145141919810, # 模型温度
                              "num_ctx":4096               # 返回的最大token数
                             } # ...
                   stream = True, # 是否流式输出)
for i in back:
    print(back,end = "")

2）返回的json对象处理

返回的json对象在没有问题的情况下应该是类似这种结构的：

1.无流式输出：

{
  "model": "qwen_q2",
  "created_at": "2024-08-26T04:36:19.6943135Z",
  "response": "请问你有什么需要帮助的吗？",
  "done": true,
  "context": [1, 2, 3],
  "total_duration": 5043500667,
  "load_duration": 5025959,
  "prompt_eval_count": 26,
  "prompt_eval_duration": 325953000,
  "eval_count": 290,
  "eval_duration": 4709213000
}

2.流式输出（过程中）

{
 'model': 'qwen_q2', 
 'created_at': '2024-08-26T04:40:30.6774372Z', 
 'message':
         {
          'role': 'assistant',
          'content': '我的'
         }, 
 'done': False
}

3.流式输出（输出完毕的最后一个）

{
  'model': 'qwen_q2',
  'created_at': '2024-08-26T04:44:04.4184675Z', 
  'message': 
            {
             'role': 'assistant', 
             'content': ''
            }, 
  'done_reason': 'stop', 
  'done': True, 
  'total_duration': 13224925100, 
  'load_duration': 298635100, 
  'prompt_eval_count': 16, 
  'prompt_eval_duration': 4843681000, 
  'eval_count': 11, 
  'eval_duration': 8048190000
}

可以根据"done"的内容判断输出是否完成。

流式输出时可以在每次获得输出时记录时间，以计算实时响应速度。

不使用流式输出和使用流式输出时都可以在输出完毕后通过  'eval_count' 和 'eval_duration' 参数来计算这次对话中的平均响应速度（token/s）

制作不易，感谢大家的支持！