首页 > 其他分享 >Intern大模型训练营(四):使用Hugging Face下载模型

Intern大模型训练营(四):使用Hugging Face下载模型

时间:2024-11-08 19:16:41浏览次数:3  
标签:git 模型 Hugging Face repo intern install local dir

1. Huggingface下载模型

首先在Huggingface平台注册账号。

然后进入https://github.com/codespaces,选择使用jupyter_notebook配置,输入以下命令流安装香瓜依赖。

# 安装transformers
pip install transformers==4.38
pip install sentencepiece==0.1.99
pip install einops==0.8.0
pip install protobuf==5.27.2
pip install accelerate==0.33.0

然后新建一个hf_download_josn.py 文件,输入以下内容。

import os
from huggingface_hub import hf_hub_download

# 指定模型标识符
repo_id = "internlm/internlm2_5-7b"

# 指定要下载的文件列表
files_to_download = [
    {"filename": "config.json"},
    {"filename": "model.safetensors.index.json"}
]

# 创建一个目录来存放下载的文件
local_dir = f"{repo_id.split('/')[1]}"
os.makedirs(local_dir, exist_ok=True)

# 遍历文件列表并下载每个文件
for file_info in files_to_download:
    file_path = hf_hub_download(
        repo_id=repo_id,
        filename=file_info["filename"],
        local_dir=local_dir
    )
    print(f"{file_info['filename']} file downloaded to: {file_path}")

部分代码解释如下:

  1. local_dir = f"{repo_id.split('/')[1]}": 这行代码创建了一个新变量 local_dir,它通过分割 repo_id 字符串并取其第二部分来形成模型的本地目录名称。split('/') 会根据斜杠 / 分割字符串,返回一个列表,取列表的第二个元素(索引为1)作为目录名。

  2. os.makedirs(local_dir, exist_ok=True): 这行代码使用 os 模块的 makedirs 函数创建一个新目录。local_dir 是要创建的目录的名称。exist_ok=True 参数意味着如果目录已经存在,不会抛出错误,而是正常执行。

 

运行该文件,可以看到,已经从Hugging Face上下载了相应配置文件。

 2. Hugging Face Spaces的使用

进入https://huggingface.co/spaces,在右上角点击Create new Space进行创建,在创建页面中,输入项目名为intern_cobuild,并选择Static应用进行创建。

回到codespaces,在终端输入:

git clone https://huggingface.co/spaces/<your_username>/intern_cobuild

然后再对应的文件夹下找到index文件,输入以下代码:

<!doctype html>
<html>
<head>
  <meta charset="utf-8" />
  <meta name="viewport" content="width=device-width" />
  <title>My static Space</title>
  <style>
    html, body {
      margin: 0;
      padding: 0;
      height: 100%;
    }
    body {
      display: flex;
      justify-content: center;
      align-items: center;
    }
    iframe {
      width: 430px;
      height: 932px;
      border: none;
    }
  </style>
</head>
<body>
  <iframe src="https://colearn.intern-ai.org.cn/cobuild" title="description"></iframe>
</body>
</html>

然后远程push我们更新的代码,输入以下指令:

git add .
git commit -m "update: colearn page"
git push

其中git push 会报错。

这里需要在Huggingface上获取一个Access token,在Huggingface用户->settings->Access Tokens新建一个token。

然后输入以下

git remote set-url origin https://<user_name>:<token>@huggingface.co/<repo_path>

之后再次git push,是成功的。

回到Huggingface的spaces页面,可以看到页面已经被更新。

3. 上传模型

通过CLI上传 Hugging Face同样是跟Git相关联,通常大模型的模型文件都比较大,因此我们需要安装git lfs,对大文件系统支持。

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
git lfs install # 直接在git环境下配置git LFS
pip install huggingface_hub

创建项目,注意这里不要在之前的intern_build仓库里面创建,本人在这里踩了坑,没注意父文件夹。

cd /workspaces/codespaces-jupyter

#intern_study_L0_4就是model_name
huggingface-cli repo create intern_study_L0_4

# 克隆到本地 your_github_name 注意替换成你自己的
git clone https://huggingface.co/{your_github_name}/intern_study_L0_4

在 intern_study_L0_4 上传之前下载好的config.json,然后新建一个README.md,粘贴以下内容。

# 书生浦语大模型实战营camp4
- hugging face模型上传测试
- 更多内容请访问 https://github.com/InternLM/Tutorial/tree/camp4

现在可以用git提交到远程仓库

cd intern_study_L0_4
git add .
git commit -m "add:intern_study_L0_4"
git push

现在可以在Hugging Face的个人profile里面看到这个model。

标签:git,模型,Hugging,Face,repo,intern,install,local,dir
From: https://blog.csdn.net/kjnsdg/article/details/143591550

相关文章

  • Densenet模型花卉图像分类
    项目源码获取方式见文章末尾!600多个深度学习项目资料,快来加入社群一起学习吧。《------往期经典推荐------》项目名称1.【基于CNN-RNN的影像报告生成】2.【卫星图像道路检测DeepLabV3Plus模型】3.【GAN模型实现二次元头像生成】4.【CNN模型实现mnist手写数字识别】......
  • 大模型--训练 加速之 数据并行(DP, DDP与ZeRO)-上-12
    目录1.参考2.总结3.分布式数据并行(DDP)4.总结1.参考https://zhuanlan.zhihu.com/p/6171339712.总结以GoogleGPipe为代表的流水线并行范式,当模型太大,一块GPU放不下时,流水线并行,将模型的不同层放到不同的GPU上,通过切割mini-batch实现对训练数据的流水线处理,提升GPU计算......
  • 第十五期 05 LCM潜在一致性模型
    潜在扩散模型(LDM)输入图像x进入模型。x由编码器Ɛ编码,在“潜在空间”(一个维度小得多的空间)内创建一个维度较小的向量z。这个潜在空间向量z连续T步被添加高斯噪声——这就是“扩散”过程。这个向量z在被添加噪声T次后被称为z_T。在生成图像时,我们经常会添加一些......
  • 虚假新闻检测:CSV格式数据集的预处理与模型选择
    ✅作者简介:2022年博客新星第八。热爱国学的Java后端开发者,修心和技术同步精进。......
  • 数学建模_BP神经网络预测新数据模型(多输入单输出)回归预测模型+Matlab代码包教会使用
    基于BP神经网络新数据预测的多输入单输出回归预测模型简介这段代码实现了一个BP神经网络BackpropagationNeuralNetwork用于回归预测任务,并包含新数据的预测功能。该模型通过多层前馈神经网络学习输入特征与目标变量之间的非线性映射关系,并使用反向传播算法优化权重和偏置......
  • 数学建模_BP神经网络模型(多输入单输出)回归预测模型+Matlab代码包教会使用,直接替换
    基于BP神经网络的多输入单输出回归预测模型简介该模型使用了BP神经网络BackpropagationNeuralNetwork进行多输入单输出的回归预测。BP神经网络是一种常见的多层前馈神经网络,通过反向传播算法来优化权重和偏置,从而最小化预测误差。具体模型原理就不再细说了,需要可以翻看......
  • 基于YOLOV8模型和CCPD数据集的车牌目标检测系统(PyTorch+Pyside6+YOLOv8模型)
    摘要:基于YOLOV8模型和CCPD数据集的车牌目标检测系统可用于日常生活中检测与定位车牌目标,利用深度学习算法可实现图片、视频、摄像头等方式的目标检测,另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数据集,使用Pysdie6库来搭建前端......
  • 好未来:多云环境下基于 JuiceFS 建设低运维模型仓库
    好未来,前身学而思,于2010年在美国纽约证券交易所上市。公司积极将大模型研究应用于教学产品中,近期推出了数学领域的千亿级大模型。在大模型的背景下,存储系统需处理巨量数据和复杂文件操作,要求支持高并发和高吞吐量。此外,还需应对版本管理、模型训练性能优化和多云分发的挑战。......
  • 首个Mamba+Transformer多模态大模型
    扩展多模态大语言模型(MLLMs)的长上下文能力对于视频理解、高分辨率图像理解以及多模态智能体至关重要。这涉及一系列系统性的优化,包括模型架构、数据构建和训练策略,尤其要解决诸如随着图像增多性能下降以及高计算成本等挑战。该团队将模型架构调整为Mamba和Transformer......
  • 构建AI大模型应用技术栈有哪些?
    摘要:随着人工智能技术的飞速发展,AI大模型已经成为推动各行各业技术革新的关键力量。本文将深入探讨AI大模型的核心技术栈的构建,以及不同技术组件的关键作用。AI大模型应用的核心技术栈各组件的关键作用基于大模型的应用和普通应用的区别01—AI大模型应用的核心技术栈......