首页 > 其他分享 >Ollama+Chatbox,搭建本地AI聊天系统

Ollama+Chatbox,搭建本地AI聊天系统

时间:2024-05-28 21:59:00浏览次数:26  
标签:Chatbox AI Ollama 模型 API ollama 下载

     Ollama是一个开源的大型语言模型服务,提供了类似OpenAI的API接口和聊天界面,可以非常方便地部署最新版本的GPT模型并通过接口使用。支持热加载模型文件,无需重新启动即可切换不同的模型。

Ollama的优势

     提供类似OpenAI的简单内容生成接口,极易上手使用类似ChatGPT的的聊天界面,无需开发直接与模型聊天支持热切换模型,灵活多变

搭建步骤

     1.打开https://ollama.com/官网,点击“Download”按钮打开下载页面,选择适合自己系统的版本下载。


     2.找到下载的Ollama安装包,一键安装。


     如果你想把Ollama下载的模型放到其它磁盘(默认是在C盘),打开系统环境变量设置,

     添加变量名:OLLAMA_MODELS,变量值:“你存放Ollama模型的路径”。


     设置保持后需要重启电脑,下载的模型就会存放到你设置的目录里了。


     Linux可以使用提供的安装脚本一键安装Ollama,

curl -fsSL https://ollama.com/install.sh | sh

     3.下载模型
     打开cmd窗口,输入指令

ollama run llama2-cinese:latest


     下载一个支持中文的模型,模型下载完成后,就可以在CMD窗口进行聊天了。

     4.若是觉得命令行的形式不够易用,Ollama 有一系列的周边工具可供使用,包含了网页、桌面、终端等交互界面及诸多插件和拓展。
     之所以 Ollama 能快速形成如此丰富的生态,是因为它自立项之初就有清晰的定位:让更多人以最简单快速的方式在本地把大模型跑起来。同时将繁多的参数与对应的模型打包放入;Ollama 因此约等于一个简洁的命令行工具和一个稳定的服务端 API。这为下游应用和拓展提供了极大便利。
我选择一个最简单的方式:Chatbox

     Chatbox是开源的 ChatGPT API (OpenAI API) 桌面客户端,Prompt 的调试与管理工具,支持 Windows、Mac 和 Linux。

     github地址:https://github.com/Bin-Huang/chatbox

     官网地址:Chatbox官网 - 办公学习的AI好助手,官方免费下载

     下载Chatbox,一路下一步安装完成。

     先启动Ollama服务器模式,

ollama sreve

     如果启动失败,关闭ollama,退出ollama进程,重新启动即可。


     然后打开Chatbox,点击左侧的设置,在模型选项卡,选择AI模型提供方:Ollama,API域名:http://localhost:11434,模型:选择你喜欢的模型,其它默认,确定保存即可开始使用

     4.如果Ollama提供的模型没有你需要的,你可以从huggingface.co或modelscope.cn下载GGUF格式的模型,导入到Ollama。
 

     导入方法:在你下载好的GGUF模型目录,新建一个Modelfile文件,写入:FROM ./vicuna-33b.Q4_0.gguf(FROM后面为GGUF模型的路径)

     在当前目录进入cmd窗口,输入:ollama create example -f Modelfile(example为你重新命名的模型名称)


     导入完成后,就可以使用了,
     ollama run 你刚才导入的模型名称

标签:Chatbox,AI,Ollama,模型,API,ollama,下载
From: https://blog.csdn.net/sheji888/article/details/139263756

相关文章

  • 智影AI故事转视频创作神器!快速开启AI绘画小说推文之旅
    1.前言1.1生成内容形式    生成内容形式主要包含三种,PGC(ProfessionallyGeneratedContent)、UGC(UserGeneratedContent)、AIGC(ArtificiallyIntelligentGeneratedContent)。也可以简单理解为生成内容形式的三个发展阶段。PGC专业生成内容    专业生成内容是由专......
  • 飞凌OKMX8MP-C开发板AI项目分享-搭建YOLO环境
    本文基于在飞凌OKMX8MP-C开发板已经移植好ubuntu进行,编译环境搭建和移植过程可参考前两片文章飞凌OKMX8MP-C开发板AI项目分享-开箱及WSL2编译环境搭建飞凌OKMX8MP-C开发板AI项目分享-移植Ubuntu20.04文件系统体验需要在开发板上安装依赖包,需要保证开发板已经连接到网络,本实......
  • sleep() 和 wait() 有什么区别?
    sleep是线程类(Thread)的方法,导致此线程暂停执行指定时间,给执行机会给其他线程,但是监控状态依然保持,到时后会自动恢复。调用sleep不会释放对象锁。wait是Object类的方法,对此对象调用wait方法导致本线程放弃对象锁,进入等待此对象的等待锁定池,只有针对此对象发出notify方法(或noti......
  • 普通程序员深度学习教程(fastai及PyTorch)1深度学习快速入门-1简介
    1深度学习快速入门本章介绍深度学习背后的关键概念,并在不同的任务中训练我们的第一个模型。如果你不是技术或数学专业出身,也没有关系,我们从工程应用的角度入手,而不是数学科学。1.1深度学习没那么难多数深度学习不需要:高深的数据基础,实际高中数学已经够用大量数据:实际最低小......
  • 二次元ai绘画图片软件哪个好?试试这些图片创作利器
    画画一直是许多人的爱好。可对于没有学过的人来说,将想象中的画面呈现出来并不容易。长时间的绘画练习让很多人望而却步,直到ai绘画功能的出现,让人们有了新的途径。即使是没有基础的人,也可以轻松地将自己的想象转化为美丽的画作,这激发了更多人对于绘画的热情。想知道这种ai绘画......
  • 揭秘丨文字游侠AI工具:一键生成高质量爆文赚米,提升20倍写作效率,附上渠道和实操教程!
    在这个信息泛滥的时代,内容创作者们不断寻求更高效、更创新的方法,以便在众多竞争者中脱颖而出。虽然平台如今日头条为他们提供了展示才华和获取收益的舞台,但如何在激烈的竞争中站稳脚跟,仍是他们需要面对的挑战。然而,现在一款全新的AI工具正在引领一场革命,为创作者们带来了前所......
  • ALL IN AI | 第六届金蝶云·苍穹追光者开发大赛正式启动报名!
    2024年5月,第六届金蝶云·苍穹追光者开发大赛x第十三届“中国软件杯”金蝶赛道正式启动报名!当下,人工智能正以其空前的速度、广度和深度,引领着新一轮科技革命和产业变革,重塑着经济社会的发展模式,为各行各业注入新动能。2024年政府工作报告中提到,深化大数据、人工智能等研发应用,开......
  • OpenAI用26分钟改变世界!免费版GPT-4震撼登场,视频语音交互迈向科幻片级别
    一场长达26分钟的发布会,再次掀起了AI行业的风浪,将深刻改变我们未来的生活,也将让无数AI初创公司感到焦虑不安。这并非标题党,因为这次发布会由OpenAI主办。就在刚刚,OpenAI正式发布了GPT-4o。这个“o”代表“omni”,即全面、全能的意思。这一模型不仅拥有文本处理能力,还能处理图......
  • 踩坑记录: nohup: failed to run command ‘java‘: No such file or directory
    执行一个shell脚本直接在终端可以执行但是在云效流水线上就会出现这个问题 先查看一下java-version 已经安装好了的话还是出现这个问题解决方案1:在执行Java包的前面加上这个 source/etc/profile还是不可以的话 解决方案2:先查看自己的jdk安装路径 which......
  • 在 GPT-4o 释放完整能力前,听听实时多模态 AI 创业者的一手经验 | 编码人声
      「编码人声」是由「RTE开发者社区」策划的一档播客节目,关注行业发展变革、开发者职涯发展、技术突破以及创业创新,由开发者来分享开发者眼中的工作与生活。 5月中旬GPT-4o的发布,让人与AI的交互,从对话框的文本交流加速推进到了音视频多模态的实时互动。 本期节目,......