首页 > 其他分享 >使用 Appilot 部署 Llama2,会聊天就行!

使用 Appilot 部署 Llama2,会聊天就行!

时间:2023-11-03 10:12:30浏览次数:66  
标签:部署 envfile Llama2 Appilot API 聊天 Walrus

Walrus 是一款基于平台工程理念的应用管理平台,致力于解决应用交付领域的深切痛点。借助 Walrus 将云原生的能力和最佳实践扩展到非容器化环境,并支持任意应用形态统一编排部署,降低使用基础设施的复杂度,为研发和运维团队提供易用、一致的应用管理和部署体验,进而构建无缝协作的软件交付流程。
 

在之前文章中,我们探讨了如何使用 Walrus 在 AWS 上部署 Llama2。在今天的文章中,我们将手把手教您使用 AI 工具 Appilot 来简化这个部署过程。Appilot 是一款面向 DevOps 场景的 AI 助手,它可以充分利用 AI 大语言模型的能力让用户直接输入自然语言即可实现应用管理、环境管理、故障诊断、混合基础设施编排等功能。
 

使用前提

  • 获取可访问 gpt-4 模型的 OpenAI API 密钥。

  • 安装 python3 和 make。

  • 安装 kubectl 和 helm。

  • 拥有一个正在运行的 Kubernetes 集群。
     

安装 Appilot

克隆版本库:

git clone https://github.com/seal-io/appilot && cd appilot

 

运行以下命令获取envfile envfile。

cp .env.example .env

 

编辑.env文件并填入OPENAI_API_KEY 。运行以下命令进行安装。它将创建一个填写venvb并且安装所需的依赖项。

make install

 

使用 Walrus 后台

Appilot 也可以使用 Kubernetes 等项目作为后端,本文以 Walrus 作为后端为例。要启用 Walrus 后台,首先需要安装 Walrus 并编辑envfile

  • 设置TOOLKITS=walrus

  • 填写OPENAI_API_KEYWALRUS_URLWALRUS_API_KEY
     

以下是有关配置的更多信息,Appilot 可通过环境变量或envfile进行配置:


 

然后,您就可以运行 Appilot 了:

make run

 

像聊天一样在 AWS 上部署 Llama2

在这篇文章中,我们使用了 Appilot 和 Walrus 来开启探索 Llama2 部署的旅程,并见证了这些强大的工具如何简化复杂的部署过程。您可以通过访问项目的 GitHub 地址下载和安装 Walrus 和 Appilot:

Walrus: https://github.com/seal-io/walrus

Appilot: https://github.com/seal-io/appilot
 

标签:部署,envfile,Llama2,Appilot,API,聊天,Walrus
From: https://www.cnblogs.com/sealio/p/17806992.html

相关文章

  • 微信聚合聊天系统的便捷功能:自动发圈,跟圈
    很多商家和自媒体、运营人都在发圈做私域运营,所以现在发圈的频率也会比以往的多一些,但事情一多就会担心今天的朋友圈忘记发、漏发或者错过发圈的时间导致错过私域里的好友、客户会错过活动时间。其实这些都是可以不用担心,在微信聚合聊天系统里可以提前设置朋友圈,定时发送,轻松一键多......
  • 得物自研客服IM中收发聊天消息背后的技术逻辑和思考实现
    本文由得物技术WWQ分享,原题“客服发送一条消息背后的技术和思”,本文有修订和改动。1、引言在企业IM客服场景中,客服发送一条消息的背后,需要考虑网络通信、前端展示、后端存储以及安全性等多个方面的技术支持。单从前端层面来说,就需要考虑到消息的显示、状态更新、稳定传输以及......
  • Golang语言快速上手到综合实战-高并发聊天室、豆瓣电影爬虫
    Golang语言快速上手到综合实战-高并发聊天室、豆瓣电影爬虫我们公司需要快速迭代一款产品,当时,我们团队的后端框架是springmvc,该框架结构清晰,上手快,但是由于我们的产品迭代速度快,底层数据库操作接口变动频繁,导致service层工作量巨大,不胜其烦。另外,随着项目的成长,代码......
  • 微信电脑版聊天图片DAT格式转为普通图片
    1-7不知道大家会不会有这样的苦恼,办公电脑用久了不知不觉间会提示某个盘内存将满的情况;这其实很大一部分是我们日常工作中微信聊天里收发的图片、视频、文件占的内存,这些是非常占用电脑空间的。如果要清理的话,视频和文件都可以直接查看,没用的直接删除就行。但是图片不行,图片是被加......
  • 如何导出比较有纪念意义的微信的聊天记录
    12-6微信聊天已经成为我们日常生活中最常用的联系方式之一,很多信息都是通过微信来沟通的。但随着时间的推移、手机的更新换代,很多信息在不知不觉中会流失,但其中又有些是我们觉得比较有纪念意义不想被删除的。 那么如何导出这些信息去另外保存呢,这里介绍一个小软件叫做《微信的聊天......
  • 大幅提升大模型的通用智能体能力!清华最新研究,让Llama2直逼GPT-4?
     作者|智商掉了一地、ZenMoore智能体(agent)是一种能够感知环境、做出决策并采取行动的实体。传统的智能体在专业领域表现出色,但在适应性和泛化方面通常表现欠缺。最近,随着ChatGPT的爆火出圈,最初设计用于语言任务的大型语言模型(LLMs)微调后在指令遵循、推理、规划甚至工具利......
  • 推特爆火!超越ChatGPT和Llama2,新一代检索增强方法Self-RAG来了原创
    作者|ZenMoore前言大型语言模型(LLMs)具有出色的能力,但由于完全依赖其内部的参数化知识,它们经常产生包含事实错误的回答,尤其在长尾知识中。为了解决这一问题,之前的研究人员提出了检索增强生成(RAG),它通过检索相关知识来增强LMs的效果,尤其在需要大量知识的任务,如问答中,表现出色。但RAG......
  • html制作一个聊天软件
    需要的物件:1.一个云服务器2.一双会cv的手3.出了问题会自己百度的脑子 首先,直接粘代码<!DOCTYPEhtmlPUBLIC"-//W3C//DTDXHTML1.0Transitional//EN""http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"><HEAD><TITLE>Vue学习</TITLE></HEA......
  • Python3, 33行代码搞了一个聊天机器人, 这下再也不怕没人说话了。
    Python制作聊天机器人1、引言2、实战2.1准备2.2介绍2.2.1NLTK2.2.2ChatterBot2.3安装2.4示例2.4.1创建聊天机器人2.4.2与用户交互3、总结1、引言小屌丝:鱼哥,看这段代码fromchatterbotimportChatBot#创建聊天机器人chatbot=ChatBot('MyBot')#加载语料库with......
  • Avalonia 实现视频聊天、远程桌面(源码,支持Windows、Linux、国产OS)
      现在最火的.NET跨平台UI框架莫过于Avalonia了。Avalonia基于.NETCore,因此它可以运行在任何支持.NETCore的平台上。之前基于CPF跨平台UI框架写过一个视频聊天的demo,而现在看来Avalonia是大势所趋,于是,我再写一个Avalonia版本的Demo来供大家参考,它可以在Windows和Linux(包括国......