为何要本地化部署大模型？
因为私有化部署可以解决以下问题：
1.数据安全和隐私保护，你不必担心自己的信息会被拿去训练，不用担心泄漏
2.降低成本，本地化部署后减少了对外部的依赖，降低运营成本。特别是在处理大规模数据和高频次请求时，本地化部署可以避免昂贵的云服务费用。
3.更稳定可靠，本地化部署可以减少对互联网连接的依赖，提高系统的稳定性和可靠性。在断网或云服务不可用的情况下，本地系统仍能正常工作。
4.更高的响应速度性能更好，本地化部署可以减少因网络延迟带来的影响，特别是在处理大量数据或需要实时响应的应用场景中，本地部署可以提供更快的处理速度和更好的用户体验。
5.合规性审查，这是最重要的。对于需要符合特定行业规范和政府审查要求的企业，本地化部署可以更方便地接受监管机构的审查，确保业务合规
Ollama
在开始教程之前先看看今天会用的的工具 Ollama------一个简单易用的本地大模型运行框架。
有了 ta, 私有化部署就几分钟的事情。
一般跑大模型我们很少有本地电脑，因为对配置要求有点高，还要有显卡，我的电脑是渣渣连olo都跑不了的，所以就直接用阿里云来跑模型了。小伙伴想玩也可以尝试买个一周的云服务器玩玩。
官网有介绍其他的安装方式，本文就以 Linux 的安装往下走。
安装
Liunx用户直接运行以下命令安装。
curl https://ollama.ai/install.sh | sh安装会花费点时间，耐心等待就好
下载模型文件
模型列表：library (ollama.com) 可以根据自己的需求下载相应的模型文件
ollama pull llama2-chinese
模型文件比较大，耐心等待
运行
ollama run llama2-chinese "菊花为什么是红色的？"run 命令运行模型，直接将消息附在命令后。
对外暴露端口 11434
修改阿里云服务安全组，将端口 11434 进行暴露
然后访问你的阿里云服务器ip http://yourip:11434 返回 Ollama is running 就ok了
如何调用
from openai import OpenAI
client = OpenAI(
base_url='http://localhost:11434/v1/',
# required but ignored
api_key='ollama',
)
chat_completion = client.chat.completions.create(
messages=[
{
'role': 'user',
'content': '天空为什么是蓝色的？',
}
],
model='llama3',
)
print(response.choices[0].message.content)