在学校服务器借用本机的代理下载huggingface的模型

最近学到了transformer库，可是在服务器上无法科学上网，每次要先将模型下载到本地再上传模型的过程非常的繁琐，于是研究了借用本地代理，从而直接在服务器下载huggingface的模型。

本机配置

1.本机开启代理后，cmd用ipconfig查询本机的ip地址，记作my_host_ip

2.在代理软件上要开启局域网连接

3.查看代理软件上的端口

服务器配置

脚本编写

# add proxy via host
export hostip=my_host_ip
export socks_hostport=10810    #代理软件的端口clash默认为7890
export http_hostport=10811     #代理软件的端口clash默认为7890
alias proxyon='
    export https_proxy="http://${hostip}:${http_hostport}"
    export http_proxy="http://${hostip}:${http_hostport}"
    export ALL_PROXY="socks5://${hostip}:${socks_hostport}"
    export all_proxy="socks5://${hostip}:${socks_hostport}"
'
alias proxyoff='
    unset ALL_PROXY
    unset https_proxy
    unset http_proxy
    unset all_proxy
'
alias proxyecho='
    echo $ALL_PROXY
    echo $all_proxy
    echo $https_proxy
    echo $http_proxy
'
#end proxy

使用方式

1. 设置 IP 地址和端口

   1. 编辑脚本，将 my_host_ip 替换为代理服务器的实际 IP 地址。

   2. 根据你的代理工具（如 Clash）设置端口。

2. 加载脚本

   1. 将脚本保存到文件中（如 proxy.sh）将下述shell贴到~/.bashrc之类的地方，并使用以下命令加载：

      source proxy.sh

3. 打开代理

   输入 proxyon 激活代理。

4. 关闭代理

   输入 proxyoff 关闭代理。

5. 检查代理

   输入 proxyecho 查看当前代理环境变量的设置。

运行代码时的配置

1. 输入 proxyon 激活代理。
2. 在代码之前加入huggingface配置代理的代码

   import os
   
   # 设置代理 自己替换之前脚本的my_host_ip和http_hostport
   os.environ["HTTP_PROXY"] = "http://my_host_ip:http_hostport"
   os.environ["HTTPS_PROXY"] = "http://my_host_ip:http_hostport"

3. 照常运行模型加载的代码即可

借鉴了简单让远程服务器/WLS借用本地代理 - 知乎的借用本地代理。