首页 > 其他分享 >如何在本地使用Ollama运行开源LLMs

如何在本地使用Ollama运行开源LLMs

时间:2024-04-03 16:00:04浏览次数:17  
标签:... LLMs 模型 开源 pulling Ollama 100%

本文将指导您下载并使用Ollama,在您的本地设备上与开源大型语言模型(LLMs)进行交互的强大工具。

与像ChatGPT这样的闭源模型不同,Ollama提供透明度和定制性,使其成为开发人员和爱好者的宝贵资源。

我们将探索如何下载Ollama并与两个令人兴奋的开源LLM模型进行交互:Meta的基于文本的模型LLaMA 2和LLaVA,一个可以处理文本和图像的多模态模型。

(本文内容参考:java567.com)

如何下载Ollama

要下载Ollama,请访问Ollama的官方网站并点击下载按钮。

image

Ollama支持3种不同的操作系统,Windows版本处于预览模式。

image

您可以根据您的操作系统选择可执行文件,在成功下载可执行文件后,运行可执行文件进行安装。

对于Linux用户,您需要执行屏幕上显示的命令,而不是下载可执行文件。

如何运行Ollama

为了向您展示在本地使用开源LLMs的强大功能,我将用不同的开源模型和不同的用例展示多个示例。这将帮助您轻松使用未来的任何开源LLM模型。

那么,让我们从第一个示例开始吧!

如何运行Meta的LLama2模型

Llama 2模型是Meta的开源LLM模型,我们将像使用ChatGPT(免费版本)一样与之交互,只是基于文本的交互。

首先,让我们使用以下命令下载模型:

ollama run llama2

在下载模型后,您应该看到类似于以下输出:

pulling manifest
pulling 8934d96d3f08... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 3.8 GB
pulling 8c17c2ebb0ea... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 7.0 KB
pulling 7c23fb36d801... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 4.8 KB
pulling 2e0493f67d0c... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏   59 B
pulling fa304d675061... 100% ▕████████████████████████████████████████████████████████████████

您应该在下载模型后看到类似于上述内容的输出。

现在,它应该会要求您发送一条消息或提示。让我们问一下llama2:“你能为我做什么?”(您可以问任何您想问的问题)。

如果您问的是上面的同样问题,则应该得到类似于以下回复:

>>> 你能为我做什么?

作为负责任的AI语言模型,我在这里帮助您解答任何您可能遇到的问题或任务。以下是我可以帮助您的一些示例:

1. 回答问题:我可以提供有关各种主题的信息,从科学技术到历史文化。
2. 生成想法:我可以帮助您为创意项目出谋划策,或提供解决问题的建议。
3. 写作辅助:我可以帮助您进行写作任务,例如校对、编辑和建议替代词或短语。
4. 翻译:我可以将文本从一种语言翻译成另一种语言。
5. 摘要内容:我可以将长篇的文本,如文章或文档,总结为更简短、更易消化的版本。
6. 创造力:我可以帮助您生成故事、诗歌或其他形式的创作的创意。
7. 语言学习:我可以通过提供语法解释、词汇表和练习题来帮助您学习一门新语言。
8. 聊天:我在这里与您聊天,并对您想讨论的任何问题或主题提供回复。

如果有任何特定的事情需要我帮助您,请告诉我。

>>> 发送消息(/? 获取帮助)

这就是我从llama2得到的回应。

要退出程序,您可以键入/exit。

现在让我们运行一个多模态模型,您可以发送一张图片并基于此提问。

如何运行LLaVA模型

LLaVA是一个开源多模态LLM模型。多模态模型可以接受多种类型的输入,并相应地生成响应。

使用此模型,我们现在将传递一张图片并根据此提问。

所以,首先要做的是,让我们下载模型:

ollama run llava

成功下载模型后,您应该在终端看到类似于以下内容:

pulling manifest
pulling 170370233dd5... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 4.1 GB
pulling 72d6f08a42f6... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 624 MB
pulling 43070e2d4e53... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏  11 KB
pulling c43332387573... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏   67 B
pulling ed11eda7790d... 100% ▕████████████████████████████████████████████████████████████

我将使用来自pexels的这张图片。

这是我从LLaVA得到的输出:

>>> 这张图片里是什么? ./Downloads/test-image-for-llava.jpeg
已添加图像'./Downloads/test-image-for-llava.jpeg'
该图像显示一个人正在穿越一个十字路口。可以看到交通信号灯,街道上停着一辆公共汽车。道路上标有车道标线和行人过街信号。该地区似乎是城市的,周围没有可见的建筑或结构。

>>> 发送消息(/? 获取帮助)

您可以看到这是对图片的准确解释。

随意尝试其他内容,尽情享受吧。

结论

就是这样!使用Ollama,您可以在自己的设备上尝试强大的LLM模型,如LLaMA 2和LLaVA。

下载Ollama,探索开源大型语言模型的激动人心的世界吧!

(本文内容参考:java567.com)

标签:...,LLMs,模型,开源,pulling,Ollama,100%
From: https://www.cnblogs.com/web-666/p/18112842

相关文章

  • 2024最新同城上门家政按摩H5小程序源码 | 全开源无需授权 | 上门预约系统
    简介:2024最新同城上门家政按摩H5小程序源码 |上门预约系统 后端thinkphp框架开发。前端采用uni-app开发,适配多端(小程序+公众号H5+APP)2024最新同城上门家政按摩H5小程序源码|全开源无需授权|上门预约系统-百创网-源码交易平台_网站源码_商城源码_小程序源码此套源码......
  • 开源软件技术社区方案
    开源软件技术社区是一个由开发者、贡献者、用户和维护者组成的共享平台,主要目的是打造技术、软件产品良性互动、开源技术安全可控的软件生态环境,实现可复用应用或服务的快速部署与使用、完成资源与能力的高度共享、促进社区成员的共建共赢,全面提升社区成员的技术能力,助力集团数......
  • C#手术麻醉信息系统源码 前端Vue,Ant-Design+后端百小僧开源框架开发的手麻系统源码
        手术麻醉临床信息系统遵循“以病人为中心、服务于临床”的宗旨,使医护人员从繁琐的病历书写中解放出来,集中精力关注病人的诊疗,将更多的时间用于分析、诊断。以服务围术期临床业务工作的开展为核心,为医护人员、业务管理人员、院级领导提供流程化、信息化、自动化、智......
  • 开源模型应用落地-chatglm3-6b模型小试-入门篇(一)
      一、前言   刚开始接触AI时,您可能会感到困惑,因为面对众多开源模型的选择,不知道应该选择哪个模型,也不知道如何调用最基本的模型。但是不用担心,我将陪伴您一起逐步入门,解决这些问题。   在信息时代,我们可以轻松地通过互联网获取大量的理论知识和概念。然而,仅仅掌......
  • 这个开源项目,支持中文版啦~
    Saasfly先上地址:https://github.com/saasfly/saasfly中文版readme:saasfly/README_zh.mdatmain·saasfly/saasfly·GitHub一个易于使用、企业级的Next.js样板。您不再需要购买模板;Saasfly提供了一个完整的开源解决方案,用于快速轻松地构建SaaS应用程序。⚡在线......
  • 【全开源】v7淘宝客APP源码-自营商城任务墙源码美团外卖CPS_博纳软云
    V7淘宝客APP源码-自营商城任务墙源码美团外卖CPS广告联,这一组合源码为商家提供了一个全方位的电商与外卖运营解决方案。V7淘宝客APP源码,作为电商领域的得力助手,为商家搭建了一个功能齐全、界面友好的在线购物平台。通过这一源码,商家可以轻松展示自己的商品,管理订单,与消费者进......
  • 【全开源】任务悬赏源码+接单系统+淘客(APP+H5+公众号)_博纳软云
    任务悬赏源码+接单系统+淘客(APP+H5+公众号):一站式解决方案,开启您的赚钱新纪元在当今这个数字化、信息化的时代,如何快速、高效地获取收益,成为众多用户关注的焦点。为此,我们隆重推出“任务悬赏源码+接单系统+淘客(APP+H5+公众号)”一站式解决方案,让您轻松开启赚钱新纪元。我们的任......
  • 【全开源】运营版JAVA商城小程序APP公众号源码-单商户PC源码多商户源码社交电商源码_
    运营版JAVA商城小程序APP公众号源码-单商户PC源码多商户源码社交电商源码:构建智慧商业新生态在数字化浪潮的推动下,智慧商业正成为新时代的发展趋势。为满足广大商家的需求,我们隆重推出运营版JAVA商城小程序APP公众号源码,涵盖单商户PC源码、多商户源码以及社交电商源码,助力您轻......
  • MP3文件ID3信息编辑器代码开源 - 开源研究系列文章 - 个人小作品
    上次把磁性窗体的源码开源了,这次就开源另一个程序源码:MP3文件ID3信息编辑器。这个源码也比较简单,关键在于获取和写入MP3文件的这个ID3的信息即可。 1、 项目目录; 2、 源码介绍;这个操作信息编辑的就封装在MP3ID3.bas文件中。          ......
  • 推荐一款强大的开源自动化测试神器
    搞过自动化测试的小伙伴,相信都知道,在Web自动化测试中,有一款自动化测试神器工具:selenium。结合标准的WebDriverAPI来编写Python自动化脚本,可以实现解放双手,让脚本代替人工在Web浏览器上完成指定的操作。虽然selenium有完备的文档,但也需要一定的学习成本,对于一个纯小白来讲还是......