1、huggingface1.1原始用法是模型clone到本地，直接运行下面记录了git克隆大文件报错的问题https://github.com/git-lfs/git-lfs/issues/5749打开gitbash，直接执行GIT_CLONE_PROTECTION_ACTIVE=false就行这种方式应该也可以GIT_CLONE_PROTECTION_ACTIVE=false

文章目录一、下载imagenet2012数据集二、转换imagenet数据集格式ImageNet数据集可以直接从ImageNet官方网站获取数据，但通常需要注册并遵守使用协议。另外，由于数据集较大，往往下载需要花费大量的时间空间，而通过huggingface下载数据集的方法不仅速度相对较快，而且能够直

HuggingFace[1]HuggingFace是一个人工智能领域尤其是自然语言处理领域的开源平台，包含数据集、模型、文档、解决方案等内容的分享。由于LLM的参数量较大，往往将参数文件托管到该平台并使用transformers[3]库进行模型调用。模型下载由于项目要求模型本地运行，因而需要下载模

模型下载借助gitlfs下载该方式会将模型整体目录下载到当前目录下$gitlfsinstall$gitclonehttps://huggingface.co/THUDM/chatglm3-6b$gitclonehttps://huggingface.co/BAAI/bge-large-zh代码直接下载需要开启代理jupyter有可能不支持，需要切换到终端里面执行

我用方案一解决解决方案方案1：使用代理（需要梯子）在你的Python代码的开头加上如下代码importosos.environ['HTTP_PROXY']='http://proxy_ip_address:port'os.environ['HTTPS_PROXY']='http://proxy_ip_address:port'其中 http://proxy_ip_address:port 中的 

目录国内访问huggingface方法一国内访问huggingface方法一（1）在终端安装依赖：$pipinstall-Uhuggingface_hub（2）设置环境$exportHF_ENDPOINT=https://hf-mirror.com（3）写入~/.bashrc：$vim~/.bashrc英文状态下按"i"进入insert模式，在文件模型末尾插入（2）中的语句，按下Esc退

首先找到单个文件，点那个下载按钮可以直接下载，又可以右键+复制链接地址，然后在服务器上用wget等方式下载这个链接就可以了。下面讲讲下载整个仓库：参考：https://blog.csdn.net/abc13526222160/article/details/134856943先：#安装依赖pipinstall-Uhuggingface_hub再切换源

 方法一：使用huggingface官方提供的**huggingface-cli**命令行工具。(1)安装依赖pipinstall-Uhuggingface_hub(2)基本命令示例：exportHF_ENDPOINT=https://hf-mirror.comhuggingface-clidownload--resume-downloadbigscience/bloom-560m--local-dirbloom-560m

ollamahttps://ollama.com/llama是meta发布的大语言模型，自然意义是美洲鸵这个平台软件以o开头，类似召唤美洲鸵的意思。对应大语言模型，就是提供运行大模型的支撑。 Getupandrunningwithlargelanguagemodels.RunLlama3,Phi3,Mistral,Gemma,andothermo

hf-mirror.com的包如何下载pipinstall-Uhuggingface_hub设置环境变量以使用镜像站：exportHF_ENDPOINT=https://hf-mirror.com对于WindowsPowershell，使用：$env:HF_ENDPOINT="https://hf-mirror.com"使用huggingface-cli下载模型：huggingface-clidownload--resum

前言首先截图一下我的小米手机的配置我这个配置其实一般，当时主要为了存储空间大，而我对配置要求又不高，买的。在手机上安装termuxapp,然后在termux上就可以使用各种命令进行安装和使用，就像在linux操作系统上一样了。再通过termux安装上openssh,这样你就可以在window、mac等电

一、基础作业：使用InternLM2-Chat-1.8B模型生成300字的小故事：使用猪猪模型部署并访问：二、进阶作业：完成Lagent工具调用数据分析Demo部署：熟悉huggingface下载功能，使用huggingface_hubpython包，下载InternLM2-Chat-7B的config.json文件到本地：

通过部署llama2系列，可以构建本地私有的知识小助手用来输出一写周报、月报，甚至辅助数据分析都可以（想想都很轻松）想要大模型支持特定的数据集，就需要进行专业的fine-turing但是fine-turing工作，是需要一系列的数据工程，向量化等工作，不太便捷PromtEngineer/localGPT把这些工作就包

由于众所周知的原因，国内很难使用huggingface去下载权重，但现在的大模型的权重以及相关的分词器配置都放在huggingface的仓库中。当我们使用 AutoTokenizer.from_pretrained 去载入相关分词器和模型时，会访问huggingface自动下载模型。但随着大模型的发布，很多模型的tokenizer都

langchain:提供了大模型相关应用开发的所有便利。https://python.langchain.com/docs/get_started/introductionBuildyourLLMapplicationwithLangChainTraceyourLLMapplicationwithLangSmithServeyourLLMapplicationwithLangServecookbook:Prompt+LLMRAG

https://docs.llamaindex.ai/en/stable/module_guides/models/llms.html可以按参数和评分来选择模型：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboardllama2-chat-7b4bit(huggingface)Llama2seemstobequitechatty,whichmakesparsingstructuredo

大模型如火如荼的今天，不学点语言模型（LM）相关的技术实在是说不过去了。只不过由于过往项目用到LM较少，所以学习也主要停留在直面——动眼不动手的水平。Huggingface（HF）也是现在搞LM离不开的工具了。出于项目需要，以及实践出真知的想法，在此记录一下第一次使用HF和微调ERNIE-gram的过程

 pipinstall--upgradepippipinstall huggingface-cli gitconfig--globalcredential.helperstorehuggingface-clilogin  huggingface-clidownloadadept/fuyu-8bmodel-00001-of-00002.safetensors--local-dir.huggingface-clidownloadadept/fuyu-8b--

一.HuggingFace简介1.HuggingFace是什么可以理解为对于AI开发者的GitHub，提供了模型、数据集（文本|图像|音频|视频）、类库（比如transformers|peft|accelerate）、教程等。2.为什么需要HuggingFace主要是HuggingFace把AI项目的研发流程标准化，即准备数据集、定义模型、训练和测试，如下所示：

#-*-coding:utf-8-*-""""ThisdocumentisasimpleDemoforDDPImageClassification"""fromtypingimportCallablefromargparseimportArgumentParser,Namespaceimporttorchfromtorch.backendsimportcudnnfro

在下载huggingface模型的时候，经常会出现这个错误,HTTPSConnectionPool(host=‘huggingface.co’,port=443)。如在下载Tokenizer的时候，tokenizer=AutoTokenizer.from_pretrained("csebuetnlp/mT5_multilingual_XLSum")就会出现以上的错误HTTPSConnectionPool(host=‘hug

基础：使用InternLM-Chat-7B模型生成300字的小故事。详情可以见我的完成撰写文章：https://blog.51cto.com/morcake/9105322上图为进入的开始界面，下面即可进行问答：熟悉huggingface下载功能，使用 huggingface_hub python包，下载 InternLM-20B 的config.json文件到本地（需截图

先决条件：a.下载githttps://git-scm.com/download/winb.如果使用GPU，需要使用cuda，本文档对GPU环境不做讨论https://developer.nvidia.com/cuda-toolkit-archive注：CUDA版本需要和torch版本匹配https://pytorch.org/get-started/locally/    1.下载conda https://docs.conda.io/e

学习网站这里会记录一些高质量的机器学习的网站。国外：investopedia：看内容是一个投资网站，但是仍然看到一些技术文章。medium：国外非常高质量的技术网站（细节讲的很多），有些是收费的。HuggingFace-blog：HuggingFace的博客社区，中英文都有，介绍也很详细。国内：科学空间

IntroductionHerewere-evaluatellama2benchmarkstoproveitsperformence.datasetsInthisblog,we'lltestthefollowingdatasetsshownintheimages.fromhereyoucanfindthedatasetCode.Wereporttheaveragepass@1scoresofourmodelso