丹摩DAMODEL超算平台 | 搭建Llama3.1深入体验

丹摩DAMODEL超算平台 | 搭建Llama3.1深入体验

文章目录

• • 丹摩DAMODEL超算平台 | 搭建Llama3.1深入体验
  • • 丹摩超算平台Llama3.1-部署与使用
    • 本地连接使用DAMODEL方法
    • 使用体验与总结

DAMODEL丹摩超算平台专为AI打造的智算云平台，致力于提供丰富的算力资源与基础设施，以助力AI应用的开发、训练、部署

• 丰富的算力资源：提供CPU/GPU算力集群、CPU/GPU裸金属服务以及高性能存储等三大类产品，满足用户在不同场景下算力需求
• 高性能计算服务：平台在计算节点之间以及计算节点与存储节点之间均采用IB网络，提供高并发、高性能的存储服务，避免网络及存储性能瓶颈，使算力节点性能得到最充分的发挥
• 多样化的开发环境：DAMODEL平台支持TensorFlow、PyTorch、Caffe等主流工具和框架，帮助用户构建和训练各种类型的人工智能模型：图像识别、语音识别、自然语言处理等

丹摩超算平台Llama3.1-部署与使用

Llama 3.1开源大语言模型，广泛应用于从本地到云端的各类场景

1、创建实例

2、按量计费-包日-包月可以根据使用频率选择（LLaMA3.1 8B 版本至少需要GPU显存16G）

3、镜像框架选择PyTorch 2.4.0

4、为保证安全登录，创建密钥对，输入自定义的名称，然后选择自动创建并将创建好的私钥保存的自己电脑中并将后缀改为.pem，以便后续本地连接使用

5、立即创建即可成功创建

6、JupyterLab在线访问实例的 JupyterLab 入口

JupyterLab 界面

7、部署LLama3.1

conda 管理环境

conda create -n llama3 python=3.12

8、环境创建好后，使用如下命令切换到新创建的环境

conda activate llama3

9、安装部署LLama3.1需要的依赖

pip install langchain==0.1.15
pip install streamlit==1.36.0
pip install transformers==4.44.0
pip install accelerate==0.32.1

10、下载 Llama-3.1-8B 模型，内网高速下载

wget http://file.s3/damodel-openfile/Llama3/Llama-3.1-8B-Instruct.tar

11、下载完成后解压缩/Llama-3.1-8B-Instruct.tar

tar -xf Llama-3.1-8B-Instruct.tar

12、新建 llamaBot.py 文件并在其中输入以下内容

• vim llamaBot.py
• 进入文件夹按i编辑
• ：wq保持退出

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
import streamlit as st

# 创建一个标题和一个副标题
st.title("

标签：丹摩,tokenizer,Llama3.1,DAMODEL,ids,st,state,session	

From： https://blog.csdn.net/weixin_62765017/article/details/142330070