- 2024-11-13huggingface-cli下载数据(含国内镜像源方法)
huggingface-cli是HuggingFace官方提供的命令行工具,自带完善的下载功能。安装依赖pipinstall-Uhuggingface_hub设置环境变量linux建议将上面这一行写入~/.bashrc。若没有写入,则每次下载时都需要先输入该命令exportHF_ENDPOINT=https://hf-mirror.com下载模型样例
- 2024-11-07玩转HF/魔搭/魔乐社区
1.1HF平台1.1.1注册HuggingFace平台(需要魔法上网)HuggingFace最初专注于开发聊天机器人服务。尽管他们的聊天机器人项目并未取得预期的成功,但他们在GitHub上开源的Transformers库却意外地在机器学习领域引起了巨大轰动。如今,HuggingFace已经发展成为一个拥有超过100,0
- 2024-11-05在 hf 上下载指定仓库的指定文件
HuggingFaceCLI的--include命令使用指南理解--include命令在HuggingFaceCLI中,--include参数用于指定要下载的文件或文件夹的模式。它通常与正则表达式配合使用,以灵活地筛选出所需的文件。使用方式huggingface-clidownload<仓库名称>--include<模式><仓库名
- 2024-11-03书生大模型实训营第4期—入门岛第4关:玩转HF/魔搭/魔乐社区
书生大模型实训营第4期—入门岛第4关:玩转HF/魔搭/魔乐社区任务一:模型下载1.使用HuggingFace平台下载模型1.1HuggingFace平台1.2InternLM模型下载1.3GitHubCodeSpace的使用1.3.1下载internlm2_5-7b-chat的配置文件1.3.2下载internlm2_5-chat-1_8b并打印示例输出
- 2024-10-23万字长文梳理LLM+RL(HF)的脉络
作者:王小惟Weixun原文:https://zhuanlan.zhihu.com/p/1686790674片面的脉络梳理,主要是希望能帮助大家建立一个更全局的视角,因为篇幅有限,仅包含了支撑脉络的工作,同时也没有含括最新的工作,如有遗漏,望各位同仁包涵。总体的思维脑图地址(可能需要翻墙):raw.githubusercontent.com
- 2024-10-10Gradio 5 稳定版正式发布
在过去的几个月里,我们一直在努力工作,今天,我们想向大家展示成果:Gradio5稳定版现已发布。有了Gradio5,开发者可以构建生产级的机器学习Web应用,这些应用不仅性能优越、可扩展、设计精美、易于访问,而且还遵循了最佳的Web安全实践。更重要的是,只需几行Python代码即可实现。
- 2024-09-27【基础岛·第6关】OpenCompass 评测 InternLM-1.8B 实践
目录1.概览2.环境配置2.1创建开发机和conda环境2.2安装——面向GPU的环境安装3.数据准备3.1评测数据集3.2InternLM和ceval相关的配置文件4.启动测评4.1使用命令行配置参数法进行评测4.2使用配置文件修改参数法进行评测1.概览在OpenCompass中评估一个模型通常包括
- 2024-09-14基于极大似然算法的系统参数辨识matlab仿真
1.程序功能描述基于极大似然算法的系统参数辨识。对系统的参数a1,b1,a2,b2分别进行估计,计算估计误差以及估计收敛曲线,然后对比不同信噪比下的估计误差。2.测试软件版本以及运行结果展示MATLAB2022a版本运行3.核心程序fork=5:LEN%构造观测向量h=[-yout(k-1)
- 2024-08-25使用HF Trainer微调小模型
本文记录HugginngFace的Trainer各种常见用法。SFTTrainer的一个最简单例子HuggingFace的各种Trainer能大幅简化我们预训练和微调的工作量。能简化到什么程度?就拿我们个人用户最常会遇到的用监督学习微调语言模型任务为例,只需要定义一个SFTrainer,给定我们想要训练的模型和数据
- 2024-08-22HuggingFace初体验
起因StableDiffusion3的开源项目大致了解了一下项目的介绍,创新点之类的在oldenvironment基础上,配置了一下newenvironment(pip安装diffusers库、transformers库)解决了一下torch和torchvision的版本冲突问题(询问chatGPT)HuggingFace下载需要登陆的模型官网注册,梯子的原因,导
- 2024-08-08告别Hugging Face模型下载难题:掌握高效下载策略,畅享无缝开发体验
告别HuggingFace模型下载难题:掌握高效下载策略,畅享无缝开发体验Huggingface国内开源镜像:https://hf-mirror.com/里面总结了很多下载的方法,下面进行一一讲解方法一:网页下载在模型主页的FilesandVersion中中可以获取文件的下载链接。无需登录直接点击下载,还可以复制下载
- 2024-05-01HunggingFace的镜像加速站
方法一:使用huggingface官方提供的**huggingface-cli**命令行工具。(1)安装依赖pipinstall-Uhuggingface_hub(2)基本命令示例:exportHF_ENDPOINT=https://hf-mirror.comhuggingface-clidownload--resume-downloadbigscience/bloom-560m--local-dirbloom-560m
- 2024-04-30CogVLM/CogAgent环境搭建&推理测试
引子对于多模态大语言模型,一直没有怎么接触。刚巧一朋友有问到这方面的问题,也就顺手调研下。智谱AI的东西一直以来,还是很不错的。ChatGLM的忠实fans,看到白嫖网站github上有他们开源的多模态CogVLM/CogAgent,那就顺手看看了。OK,让我们开始吧。一、模型介绍CogVLM 是一个强大
- 2024-04-29python大模型下载HuggingFace的镜像hf-mirror
hf-mirror.com的包如何下载pipinstall-Uhuggingface_hub设置环境变量以使用镜像站:exportHF_ENDPOINT=https://hf-mirror.com对于WindowsPowershell,使用:$env:HF_ENDPOINT="https://hf-mirror.com"使用huggingface-cli下载模型:huggingface-clidownload--resum
- 2024-04-05书生浦语第二期实战营——第二课_part1
目录0环境配置1部署`InternLM2-Chat-1.8B`智能对话模型1.1课程内容:(1)准备工作(2)代码流程1.2课程作业2部署`八戒-Chat-1.8B`模型2.1课程(1)准备工作(2)开启服务(3)本地对话2.2作业(1)snapshot_download(2)hf_hub_download(3)hf_hub_url(4)huggingface-cli正文:所有操
- 2024-03-13Proxmark3入门指南
Proxmark3笔记——Proxmark3完全入门指南写在前面这里所有针对扇区、区块的计数都是从0开始算一些需要知道的知识为了能看懂笔记,需要能回答以下问题ID卡和IC卡主要的区别是什么?什么是全加密卡和半加密卡,区别是什么。IC卡分哪几个大类?IC卡的卡号储存在哪个扇区?是前几位
- 2024-03-13Intel Pin初探
1、在/home/hf/Desktop/pin/pin-3.30-98830-g1d7b601b3-gcc-linux/source/tools/ManualExamples/目录下写自己的pintools去到该目录cd/home/hf/Desktop/pin/pin-3.30-98830-g1d7b601b3-gcc-linux/source/tools/ManualExamples/编写pintoolsvimMycmp.cpp下面是Mycmp.cpp内容
- 2024-03-05Hugging Face 表情包来啦!
小编有一个朋友,微信聊基本不回复文字,内容和情绪都化身成表情包直接回复,并且一气呵成、自带上下文衔接。你身边有这样的朋友吗?作为梦想成为第一家以表情符号上市的公司,以及在社交平台发文emoji不离手的HuggingFace,正式为中国社区成员们带来了一套软萌的HuggingFace表情包
- 2024-02-29Huggingface初上手即ERNIE-gram句子相似性实战
大模型如火如荼的今天,不学点语言模型(LM)相关的技术实在是说不过去了。只不过由于过往项目用到LM较少,所以学习也主要停留在直面——动眼不动手的水平。Huggingface(HF)也是现在搞LM离不开的工具了。出于项目需要,以及实践出真知的想法,在此记录一下第一次使用HF和微调ERNIE-gram的过程
- 2024-01-21D6-OpenCompass 大模型评测
测评结果使用OpenCompass评测InternLM2-Chat-7B模型在C-Eval数据集上的性能:pythonrun.py--datasetsceval_gen--hf-path/share/temp/model_repos/internlm-chat-7b/--tokenizer-path/share/temp/model_repos/internlm-chat-7b/--tokenizer-kwargspadding_side='left'
- 2024-01-20使用hf-mirror下载数据集时需要添加参数 --repo-type dataset
在国内下载huggingface可以使用hf-mirror加速下载,一般的使用方法可以参见:https://hf-mirror.com/上的介绍。我在使用hf-mirror下载时,参照网站第一种方法,指定仓库名称和本地下载地址下载时,发生了报错,错误如下:报错指出我们有正确的repo_id和repo_type,对于这两个参数一头雾
- 2023-12-21llama的hf源码结构
上一个博客我们看了rope.那么llama的hidden_states就没啥难点了.再整体把握一下hf里面llama的代码结构.文件是:D:\Users\admin\miniconda3\Lib\site-packages\transformers\models\llama\modeling_llama.py基座:classLlamaModel(LlamaPreTrainedModel):这个模型输入bs,se
- 2023-12-01蓝牙电话之HFP-AT命令集(转载)
https://blog.csdn.net/weixin_44260005/article/details/104880536蓝牙电话之HFP-AT命令集蓝牙HFP协议中的AT命令都是复用《3GPP27.007》和《GSM07.07》这两个协议规定的AT命令集中的一部分指令,本篇只对HFP相关的AT命令学习下。AT命令在AG和HF之间的交互是建立于RFCOMM连接
- 2023-11-20NOIP 2023 游记
NOIP2023游记赛前HF周四下午就放了,回家好好休息休息。周五上午睡了个懒觉,玩了会游戏。下午被我妈拉出去骑车,骑到一半,涵说他们因为教师研讨会放假,在图书馆写作业。说有个挂件想给我,然后就把我妈丢下骑车过去。一共52km,晚上8点才回到家。后来考完我妈和HF说了骑车这件
- 2023-11-06HF Hub 现已加入存储区域功能
我们在企业版Hub服务方案中推出了存储区域(StorageRegions)功能。通过此功能,用户能够自主决定其组织的模型和数据集的存储地点,这带来两大显著优势,接下来的内容会进行简要介绍:法规和数据合规,此外还能增强数字主权性能提升(下载和上传速度更快,减少延迟)目前,我们支持以下几