丹摩征文活动｜Llama3.1-部署与使用

Llama3.1-部署与使用

• Llama3.1
• 创建实例
• 登录实例
• 部署LLama3.1
• 使用实践
• 实践心得

丹摩平台，作为一个集成了先进云计算、大数据处理及人工智能技术的综合服务平台，为Llama3.1的部署与使用提供了得天独厚的环境。它不仅简化了复杂的技术配置流程，降低了AI应用的门槛，还通过其强大的数据处理能力，为Llama3.1的训练、推理及优化提供了强有力的支持。

本文将会帮助大家在丹摩平台上顺利部署并使用Llama3.1。从环境准备、模型下载、配置调整，到实际应用的开发与部署

Llama3.1

Llama 3.1系列包括80亿（8B）、700亿（70B）、4050亿（405B）参数版本。其中，405B版本的Llama 3.1是一个具有4050亿个参数和高达128000个标记的上下文窗口的密集型Transformer，是近年来规模最大的LLM（大型语言模型）之一，也是首个“前沿级别开源AI模型”。

Meta在超过150个基准数据集上对Llama 3.1进行了性能评估，涵盖多种语言，并进行了广泛的人类评估。实验结果表明，Llama 3.1 405B在各项任务中完全可与最先进闭源模型竞争，包括GPT-4、GPT-4 Turbo和Claude 3.5 Sonnet。特别是在GSM8K数学、IFEval指令遵循、多语言处理、长上下文、ARC推理、Nexus工具调用等多项测试中表现优异，甚至在某些测试中超越了这些闭源模型。

由于资源限制，我们此次选择部署 Llama3.1 的 8B 版本，该版本至少需要GPU显存16G。

本次测试环境：

ubuntu 22.04 python 3.12 cuda 12.1 pytorch 2.4.0

创建实例

进入控制台-GPU云实例，点击创建实例：

选择配置：按量付费–GPU数量1–NVIDIA-GeForc-RTX-4090，该配置为124GB内存，24GB的显存（本次测试的LLaMA3.1 8B 版本至少需要GPU显存16G），建议扩容至150GB（多多益善）

为保证安全登录，创建密钥对，输入自定义的名称，然后选择自动创建并将创建好的私钥保存的自己电脑中并将后缀改为.pem，以便后续本地连接使用。

登录实例

平台提供了在线访问实例的 JupyterLab 入口，可以直接登录实例：

JupyterLab 界面：

• 登录后一般会在 /root/workspace 目录下，服务器各个路径具体意义如下：
• /：系统盘，替换镜像，重置系统时系统盘数据都会重置。
• /root/workspace：数据盘，支持扩容，保存镜像时此处数据不会重置。

部署LLama3.1

我们使用 conda 管理环境，DAMODEL示例已经默认安装了 conda 24.5.0 ，直接创建环境即可：

conda create -n llama3 python=3.12

环境创建好后，使用如下命令切换到新创建的环境：

conda activate llama3

安装依赖：

pip install langchain==0.1.15
pip install streamlit==1.36.0
pip install transformers==4.44.0
pip install accelerate==0.32.1

正在下载ing

下载 Llama-3.1-8B 模型：

wget http://file.s3/damodel-openfile/Llama3/Llama-3.1-8B-Instruct.tar

下载完成后解压缩/Llama-3.1-8B-Instruct.tar

tar -xf Llama-3.1-8B-Instruct.tar

使用实践

新建 llamaBot.py 文件并在其中输入以下内容：

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import streamlit as st

# 创建一个标题和一个副标题
st.title("

标签：丹摩,tokenizer,征文活动,ids,st,state,session,Llama3.1,model	

From： https://blog.csdn.net/tl2806697860/article/details/143721477