• 2024-11-13HuggingFace 核心组件及应用实战
    带着问题来学习什么是HuggingFace?它的目标是什么?HuggingFace中包含哪些知名的预训练模型?如果我们要在HuggingFace中下载BERT,那么只有一种版本,还是有多种版本可以选择?每一种版本的BERT中,只有一种格式还是有多种格式可以适应多种下游任务?HuggingFace
  • 2024-11-08Intern大模型训练营(四):使用Hugging Face下载模型
    1.Huggingface下载模型首先在Huggingface平台注册账号。然后进入https://github.com/codespaces,选择使用jupyter_notebook配置,输入以下命令流安装香瓜依赖。#安装transformerspipinstalltransformers==4.38pipinstallsentencepiece==0.1.99pipinstalleinops==0.8
  • 2024-11-03书生大模型实训营第4期—入门岛第4关:玩转HF/魔搭/魔乐社区
    书生大模型实训营第4期—入门岛第4关:玩转HF/魔搭/魔乐社区任务一:模型下载1.使用HuggingFace平台下载模型1.1HuggingFace平台1.2InternLM模型下载1.3GitHubCodeSpace的使用1.3.1下载internlm2_5-7b-chat的配置文件1.3.2下载internlm2_5-chat-1_8b并打印示例输出
  • 2024-11-01使用 AutoTrain 进行图像分类
    使用AutoTrain进行图像分类https://huggingface.co/blog/autotrain-image-classification2022年9月28日发布GitHub上的更新尼玛·博斯卡里诺尼玛·博斯卡里诺所以,您已经听说了机器学习领域正在发生的所有酷事,并且想要加入其中。只有一个
  • 2024-10-30Hugging Face 与 TruffleHog 合作,实现风险预警
    我们非常高兴地宣布与TruffleSecurity建立合作伙伴关系并在我们的平台集成TruffleHog强大的风险信息扫描功能。这些特性是我们持续致力于提升安全性的重要举措之一。TruffleHog是一款开源工具,用于检测和验证代码中的机密信息泄露。它拥有广泛的检测器,覆盖多种流行SaaS
  • 2024-10-26L0G4000
    一、模型下载1.HuggingFace平台模型下载在GitHub CodeSpace中完成,以下是步骤截图:2.魔搭社区平台:在本地搭建环境并下载,不使用ssh远程链接开发机是因为开发机使用linux系统,当root用户使用pip安装软件包时会产生冲突,导致软件包不可用。以下是下载截图(同样只下载了配置文
  • 2024-10-21Hugging Face 与 Wiz Research 合作提高人工智能安全性
    本文首发于2024年5月我们很高兴地宣布,我们正在与Wiz合作,目标是提高我们平台和整个AI/ML生态系统的安全性。Wiz研究人员与HuggingFace就我们平台的安全性进行合作并分享了他们的发现。Wiz是一家云安全公司,帮助客户以安全的方式构建和维护软件。随着这项研究的发
  • 2024-10-15搞懂这些AI大模型名词,你也能轻松入门!
    大模型应用开发正在逐渐改变各个行业,但对技术小白来说,了解并掌握这些复杂的工具和概念非常重要。你是否觉得面对“LlamaIndex”、“Ollama”、“Anthropic”等术语无从下手?你是否在应用开发时被各种名词搞得晕头转向,不知道它们之间的区别与联系?我们将为你详细介绍这些关
  • 2024-10-15 Transformers: 引领自然语言处理的革命性工具
    transformers引言:Transformers的崛起在人工智能和自然语言处理(NLP)领域,Transformers模型的出现无疑是一场革命。而HuggingFace公司开发的Transformers库,更是将这场革命推向了一个新的高度。作为一个开源项目,Transformers为研究人员和开发者提供了一个强大而灵活的工具,使他
  • 2024-10-15搞懂这些AI大模型名词,你也能轻松入门!
    大模型应用开发正在逐渐改变各个行业,但对技术小白来说,了解并掌握这些复杂的工具和概念非常重要。你是否觉得面对“LlamaIndex”、“Ollama”、“Anthropic”等术语无从下手?你是否在应用开发时被各种名词搞得晕头转向,不知道它们之间的区别与联系?我们将为你详细介绍这些关
  • 2024-09-29Hugging Face + JuiceFS:多用户多节点环境下提升模型加载效率
    HuggingFace的Transformers是一个功能强大的机器学习框架,提供了一系列API和工具,用于预训练模型的下载和训练。为了避免重复下载,提高训练效率,Transformers会自动下载和缓存模型的权重、词表等资源,默认存储在~/.cache/huggingface/hub目录下。这个缓存数据的机制。但是,当
  • 2024-09-26HuggingChat macOS 版现已发布
    HuggingFace的开源聊天应用程序HuggingChat,现已推出适用于macOS的版本。主要特点HuggingChatmacOS版本具有以下亮点:强大的模型支持:用户可以一键访问多个顶尖的开源大语言模型,包括Qwen2.572B、CommandR+、Phi3.5、Mistral12B等等;丰富的功能:应用内置网络
  • 2024-09-24Hugging Face 论文平台 Daily Papers 功能全解析
    文/Adeena,在快速发展的研究领域,保持对最新进展的关注至关重要。为了帮助开发者和研究人员跟踪AI领域的前沿动态,HuggingFace推出了DailyPapers页面。自发布以来,DailyPapers已展示了由AK和社区研究人员精心挑选的高质量研究。在过去一年里,已有超过3700篇论文被发布
  • 2024-09-19Hugging Face VSCode 端点服务器:为代码生成注入新活力
    HuggingFaceVSCode端点服务器:为代码生成注入新活力在当今的软件开发领域,代码生成工具已经成为提高开发效率和质量的重要手段。随着人工智能技术的不断进步,基于自然语言处理(NLP)的代码生成模型逐渐崭露头角。HuggingFace作为领先的NLP技术提供商,其强大的模型库和开源社区为开发者
  • 2024-09-19深度学习-17-深入理解BERT基于Hugging Face的模型训练步骤
    文章目录1大模型的架构1.1Transformer架构1.2BERT(双向Transformer架构)1.3GPT(GenerativePretrainedTransformer)1.4T5(Text-To-TextTransferTransformer)1.5DistilBERT1.6不同架构的优缺点对比2HuggingFace模型训练步骤2.1平台功能2.1
  • 2024-09-19Hugging Face NLP课程学习记录 - 2. 使用 Hugging Face Transformers
    HuggingFaceNLP课程学习记录-2.使用HuggingFaceTransformers说明:首次发表日期:2024-09-19官网:https://huggingface.co/learn/nlp-course/zh-CN/chapter2关于:阅读并记录一下,只保留重点部分,大多从原文摘录,润色一下原文2.使用HuggingFaceTransformers管道的内部
  • 2024-09-12通过打包 Flash Attention 来提升 Hugging Face 训练效率
    简单概述现在,在HuggingFace中,使用打包的指令调整示例(无需填充)进行训练已与FlashAttention2兼容,这要归功于一个最近的PR以及新的DataCollatorWithFlattening。它可以在保持收敛质量的同时,将训练吞吐量提高多达2倍。继续阅读以了解详细信息!简介在训练期间,对小
  • 2024-09-10墙裂推荐:《Transformer自然语言处理实战:使用Hugging-Face-Transformers库构建NLP应用》,行内人都在看的大模型神书!附PDF!
    大家好,今天给大家推荐一本大模型神书——《Transformer自然语言处理实战:使用Hugging-Face-Transformers库构建NLP应用》。近年来,Transformer模型在NLP领域取得了显著成果。为了让广大开发者更好地掌握这一技术,给大家推荐一本实战教程——《Transformer自然语言处理实战:使用
  • 2024-09-09Hugging Face 的应用
    大纲Hugging-Face介绍Hugging-Face大语言模型LLM管理Transformers机器学习框架文本生成推理(TGI)HuggingFaceHugging-Face--大语言模型界的GithubHuggingFace专门开发用于构建机器学习应用的工具。该公司的代表产品是其为自然语言处理应用构建的transformers库,以及允
  • 2024-09-09Hugging Face 的应用
    大纲Hugging-Face介绍Hugging-Face大语言模型LLM管理Transformers机器学习框架文本生成推理(TGI)HuggingFaceHugging-Face--大语言模型界的GithubHuggingFace专门开发用于构建机器学习应用的工具。该公司的代表产品是其为自然语言处理应用构建的transformer
  • 2024-09-01【#第三期实战营闯关作业 ## MindSearch在 Hugging FaceSpace的部署】
    把MindSearch部署到GithubCodespace后,下一步就是上传到HuggingFaceSpace,以下是记录了实操的过程及截图:打开https://huggingface.co/spaces,并点击CreatenewSpace,如下图所示:在输入Spacename并选择License后,选择配置如下面截图所示:3进入Settings,配置硅基
  • 2024-08-29如何使用Hugging Face微调大语言模型(LLMs)
    大语言模型(LLMs)在过去一年取得了显著进步。从ChatGPT爆发以来,后来逐步发展了众多开源大模型LLMs,如MetaAI的Llama2、MistralsMistral&Mixtral模型,TIIFalcon等。这些LLMs能够胜任多种任务,包括聊天机器人、问答和自动摘要,而且无需进行额外的训练。但是,如果你想为你的应用
  • 2024-08-16使用 Hugging Face Transformers 创建文本生成模型
    文本生成是自然语言处理中的一个重要任务,在聊天机器人、自动写作等领域有着广泛的应用。HuggingFaceTransformers是一个流行的Python库,它提供了大量预训练的模型以及API来实现各种自然语言处理任务。本文将详细介绍如何使用HuggingFaceTransformers库来创建一个简
  • 2024-08-09XetHub 加入 Hugging Face!
    我们非常激动地正式宣布,HuggingFace已收购XetHub
  • 2024-08-09别忘了迁移数据,Hugging Face 收购了 XetHub
     是一个类似GitHub的协作平台,不过他们的技术团队在Git的基础上添加了文件分块(filechunking)和去重(deduplication)功能,能够支撑TB级别的仓库,非常适合给模型做版本管理。通过这次收购,其协作功能和存储能力将被整合到HuggingFace上,并在未来五年内实现托管数亿AI模型和