使用从HuggingFace上下载Llama模型

背景

这里记录一下从HuggingFace上下载Llama模型的流程，方便后续使用。

注册账号

目前Llama的模型是需要提交申请才可以使用，因此需要先注册HuggingFace的账号。这里有两点需要注意。

• 用户名会用来登录：用户名会用作后续下载模型使用，因此需要使用一个自己方便记忆的名称。
• 用户名修改次数：在注册完之后有且仅有一次修改用户名的机会。

Llama的申请

直接进入Llama模型的的界面，会有一个表单填写，填写完成之后就可以提交申请。需要注意一下两点：

• 中国区秒拒：需要换个ip选个ip对应的地区。
• 申请机会只有一次：一旦被拒绝只能换一个账号。

Llama的使用

生成ssh key的链接秘钥

使用git来clone项目的时候只能使用秘钥登录，这个在2023年11月之后开始施行。需要完成以下两个步骤

• 生成密钥：可以参考HuggingFace文档。
  具体的参考过程如下，先生成公私钥。使用下面的指令生成，有着覆盖，没有则重新生成。

  ssh-keygen -t ed25519 -C "your.email@example.co"
  #eg:
  ssh-keygen -t ed25519 -C "qq.com@example.co"
  

• 在HuggingFace中添加密钥：
  然后将公钥.pub文件中的内容添加到HuggingFace的profile下。
• 为了避免出现443的错误，需要git的配置代理:

  git config --global http.proxy "http://127.0.0.1:[port]"
  git config --global https.proxy "http://127.0.0.1:[port]"
  # eg：当port等于8080时
  git config --global http.proxy "http://127.0.0.1:8080"
  git config --global https.proxy "http://127.0.0.1:8080"
  

• 测试
  使用以下的指令测试是否配置成功。

  ssh -T git@hf.co
  
  # 出现以下的内容为成功
  Hi [username], welcome to Hugging Face.
  # 如果username部分出现的是anonymous则表示配置失败
  Hi anonymous, welcome to Hugging Face.
  

生成Access Tokens

要下载Llama的模型还需要用到Access Tokens，可以通过use指南看到下面的内容。

接着点击给出的提示生成一个可写权限的Access Tokens。
需要注意以下内容：

• Access Tokens没保存就需要重新生成。一旦生成Access Tokens是无法查看信息，需要在生成时保存下来。

下载模型

其他工作都准备好了，就可以开始下载模型了。与直接使用git clone指令不同，这里需要使用Access Token下载模型。具体细节或者问题可以参考官方给出一个其他使用access token的blog。
使用的指令如下

git clone https://[user-name]:[access-token]@huggingface.co/[repo-path]
# eg:
git clone https://llama:hf_xxxxxxxxxxxxxxxxx@huggingface.co/meta-llama/Llama-3.2-1B