首页 > 其他分享 >Hugging Face推出Transformers Agents

Hugging Face推出Transformers Agents

时间:2023-05-11 21:34:29浏览次数:53  
标签:Transformers AI Hugging 生成 Agents 图像 Face

来源:GitHubDaily

Hugging Face,作为 AI 开源圈最为知名的「网红」创业公司,成立仅几年,便在 GitHub 开源了诸多实用开源项目,受到了不少开发者的赞赏。

其中影响力最大的,也被很多人称为初代 GPT 的 Transformers,截至今天,GitHub Star 累积将近 10 万。

这几年,在 Hugging Face 平台上面诞生了无数实用的 AI 预训练模型、数据集。数量之多,品质之高,将其说是 AI 界的 GitHub 也不为过。

今天凌晨,Hugging Face 重磅推出 Transformers Agents,在 AI 技术圈再次掀起波澜!

所有人都可以基于该功能,轻松使用 OpenAssistant、StarCoder、OpenAI 等大语言模型,快速创建一个 AI 智能代理。

官方文档:https://huggingface.co/docs/transformers/transformers_agents

Transformers Agents 里面提供了诸多实用的工具,包括目前 AI 技术应用广泛的文档问答、文本转语音、文本生成图像、网站内容总结、图像分割等一系列工具。

开发者只需完成工具链组装,即可实现许多强大的功能。

比如,你可以通过它,快速实现这么一个功能:

用脚本根据链接,自动抓取某篇文章内容,并生成摘要,再将其翻译成任意一种语言,让 AI 朗读稿件,有需要的话,你还可以让代理为你生成一张配图。

一个基于 AI 能力,可快速报道各种新鲜资讯的播客系统,便能横空出世!

此外,该代理还支持图像转文本功能,你可以通过给定一张图像,让 AI 读取图像信息,甚至可以大批量为图像自动生成文本,方便后续检索。

这个功能调用有多简单,在你安装完代理之后,一条命令即可搞定:

agent.run("Caption the following image", image=image)

比如,你提供给它一张海狸图像,AI 便能快速生成标题。

不仅如此,该代理还可以接受更为复杂的查询方式,通过对话,就能让 AI 实现文字生成图像、网站摘要朗读、PDF 总结等功能。

具体实现,可围绕一系列提示词进行构建,流程如下:

  • 明确告知代理的主要任务;

  • 给代理一个工具;

  • 向代理展示示例;

  • 分配任务,让代理通过思维连推理与理解任务,并输出 Python 代码。

除了上面提到的功能,Transformers Agents 还内置了以下这些实用工具:

  • 文档问答功能;

  • 语音转文本、文本转语音;

  • 文本功能(分类、摘要、翻译、下载、问答);

  • 图像功能(生成、转换、字幕、分割、放大、问答);

  • 基于文本直接生成视频,扩展性强。

我们可以通过这些工具,轻松搭配,实现一款可以灵活定制的 AutoGPT,人手一个 AI 智能代理,在不同行业挖掘更多丰富的应用场景。

Hugging Face 对此代理的安装使用也提供了详细文档,不过由于每个人电脑配置不同,这里我建议大家用 Google Colab 进行尝试。

下面跟大家讲下具体使用方式。

安装 & 使用

首先,打开 Hugging Face 提供的 Colab 地址:

https://colab.research.google.com/drive/1c7MHD-T1forUPGcC_jlwsIptOzpG3hSj

你能看到如下所示界面:

图片

点击「播放」按钮,运行设置,可以看到 Transformers 指定了 v4.29.0 的最新版本,因为目前这个 Agents API,还在实验阶段,所以只在新版本提供支持:

等待一两分钟后,它便会弹出输入框。我们需要在这里填入 Hugging Face 提供的 Token。

Token 可到这个地址生成:https://huggingface.co/settings/tokens

填写完成后,点击「Login」登录。

然后再执行下一步,运行并初始化一个 Agent:

运行完成,会生成一个输入框,在这里填写 OpenAI 的 API Key。

API Key 可在这里生成:https://platform.openai.com/account/api-keys

输入完成后,按下回车键,让代码读取 API Key:

图片

当你看到提示「OpenAI is initialized

标签:Transformers,AI,Hugging,生成,Agents,图像,Face
From: https://www.cnblogs.com/botai/p/Transformers-Agents.html

相关文章

  • hugging face之Tokenizers
    Tokenizers是HuggingFace开发的一个高效的文本分词库,用于将自然语言文本分割成单个的标记(tokens),以便用于自然语言处理任务中,如文本分类、命名实体识别、机器翻译等。Tokenizers支持多种语言,并提供了多种分词器的实现,包括Byte-PairEncoding(BPE)、WordPiece和Unigram。用户可以......
  • Hugging Face之PEFT
    HuggingFace'sPEFT是一种针对Transformer模型的加速器,其全称为"PositionalEncodingsforFine-tuning"。PEFT的主要目的是通过改变位置编码的方式来提高Transformer模型的训练和推理速度。PEFT是在HuggingFace团队的论文"PositionalEncodingsforEfficientTransformers"中......
  • Transformers回顾 :从BERT到GPT4
    人工智能已成为近年来最受关注的话题之一,由于神经网络的发展,曾经被认为纯粹是科幻小说中的服务现在正在成为现实。从对话代理到媒体内容生成,人工智能正在改变我们与技术互动的方式。特别是机器学习(ML)模型在自然语言处理(NLP)领域取得了重大进展。一个关键的突破是引入了“自......
  • Hugging News #0506: StarCoder, DeepFloyd/IF 好多新的重量级模型
    每一周,我们的同事都会向社区的成员们发布一些关于HuggingFace相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「HuggingNews」,本期HuggingNews有哪些有趣的消息,快来看看吧!StarCoder:最新的代码生成LLMBlog:ht......
  • transformers在ctr中的应用
    文章目录1.背景2.相关论文解析2.1《AutoInt:AutomaticFeatureInteractionLearningviaSelf-AttentiveNeuralNetworks》2.1.1论文贡献2.1.2模型结构2.1.2.1输入2.1.2.2注意力机制层2.1.3实验结果2.2《BehaviorSequenceTransformerforE-commerceRecommendationin......
  • Hugging News #0428: HuggingChat 来啦
    每一周,我们的同事都会向社区的成员们发布一些关于HuggingFace相关的更新,包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等,我们将其称之为「HuggingNews」,本期HuggingNews有哪些有趣的消息,快来看看吧!HuggingChat来啦!我们认为需要有一个Ch......
  • An Image Is Worth 16x16 Words: Transformers For Image Recognition At Scale
    模型如下图所示:将H×W×C的图像reshape成了N×(P2×C),其中(H,W)是图像的原始分辨率,C是通道数,(P,P)是每个图像块的分辨率,N=H×W/P2为图像块的数量,将一个图像块使用可学习的线性层映射到维度为D的隐藏向量,如式(1)所示,线性映射的输出称为patchembeddings.在patchembeddin......
  • Transformers 发展一览
    动动发财的小手,点个赞吧!Transformers研究概览1.介绍近年来,深度学习的研究步伐显着加快,因此越来越难以跟上所有最新发展。尽管如此,有一个特定的研究方向因其在自然语言处理、计算机视觉和音频处理等多个领域取得的成功而备受关注。这在很大程度上归功于其高度适应性的架构。......
  • Hugging Face公司介绍
    HuggingFace是一家非常活跃的人工智能创业公司。它拥有一个非常强大并且活跃的人工智能社区。有超过5000多家机构都在HuggingFace的社区发布内容,包括GoogleAI、FacebookAI、微软等。自从2016年成立以来,这家企业经历了5轮融资,总共募集了6000万美金。 那么,这是一家什么样......
  • 大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accel
    引言语言模型一直在变大。截至撰写本文时,PaLM有5400亿参数,OPT、GPT-3和BLOOM有大约1760亿参数,而且我们仍在继续朝着更大的模型发展。下图总结了最近的一些语言模型的尺寸。由于这些模型很大,因此它们很难在一般的设备上运行。举个例子,仅推理BLOOM-176B模型,你就需要8......