“ Ollama 是一个致力于推动本地人工智能模型开发和应用的工具和平台,允许用户在本地运行、管理和调用各种 AI 模型。它的核心理念是提供一种无需依赖云计算环境的方式,让开发者和企业能够高效地使用 AI 模型,同时确保数据隐私和安全。”
本次使用Ollama运行LLM,VSCode上安装continue插件,同时配置本地运行的LLM,达成AI编码小助手的体验,当然是丐版哦!
01怎么搭建?
本次以windows为例,当然使用了WSL(Ubuntu)了
安装ollama
curl -fsSL https://ollama.com/install.sh | sh
ollama常用命令
# 查看已有模型
ollama list
# 下载模型
ollama pull qwen2:7b
# 运行模型
ollama run qwen2:7b
ollama run codeqwen
ollama run nomic-embed-text
运行Codeqwen 7b+Qwen2 7B + nomic-embed-text
借助 Ollama与LanceDB向量化技术,可以去更高效的进行代码检索和聊天.
VScode 安装continue + 配置模型
"models": [
{
"title": "Codeqwen 7B",
"provider": "ollama",
"model": "codeqwen",
"apiBase": "http://127.0.0.1:11434"
}
],
"embeddingsProvider": {
"provider": "ollama",
"model": "nomic-embed-text",
"apiBase": "http://127.0.0.1:11434"
},
"tabAutocompleteModel": {
"title": "Qwen2 7B",
"provider": "ollama",
"model": "qwen2:7b",
"apiBase": "http://127.0.0.1:11434"
},
到此,配置已经完成,可以开始体验一下了!
02干活
我想来个冒泡算法,那么只需要标注想写的地方,就会自动将冒泡算法给你在文件中标注的地方写出来
chat对话功能也是能够达到基本预期的。
PS:有个比较严重的问题,因为是本地运行,所以智算能力太差,响应速率还是远远比不上当前流行的工具,只能体验体验,当然,大老板们请忽略
想知道更多的开源github工具,请关注公众号
标签:apiBase,7b,AI,text,模型,开源,ollama,Nice From: https://blog.csdn.net/youyou263/article/details/144872342