如何使用Microsoft JARVIS（HuggingGPT）

在人工智能领域，每天都有新的大型语言模型推出，事情正在以惊人的速度变化。在短短几个月的开发中，我们现在可以离线在我们的PC上运行类似ChatGPT的LLM。不仅如此，我们还可以训练AI聊天机器人并创建个性化的AI助手。但最近让我感兴趣的是微软对人工智能开发的实践方法。微软目前正在开发一种名为JARVIS（明显参考漫威钢铁侠）的高级AI系统，该系统连接到多个AI模型并响应最终结果。它的演示托管在Huggingface上，任何人都可以立即查看JARVIS的功能。因此，如果您有兴趣，请立即学习如何使用Microsoft JARVIS（HuggingGPT）。

什么是Microsoft JARVIS（HuggingGPT）？

微软开发了一种独特的协作系统，其中可以使用多个AI模型来完成给定的任务。在所有这些中，ChatGPT充当任务的控制者。该项目在GitHub上被称为JARVIS（访问），现在可以在Huggingface（因此称为HuggingGPT）上获得，供人们试用。在我们的测试中，它与文本、图像、音频甚至视频配合得非常好。

它的工作方式类似于OpenAI如何通过文本和图像展示GPT 4的多模态功能。但是，JARVIS 更进一步，集成了用于图像、视频、音频等的各种开源 LLM。这里最好的部分是它还可以连接到互联网并访问文件。例如，您可以输入来自网站的 URL 并询问相关问题。这很酷，对吧？

可以在单个查询中添加多个任务。例如，你可以要求它生成外星人入侵的图像并写诗。在这里，ChatGPT 分析请求并计划任务。之后，ChatGPT 选择正确的模型（托管在 Huggingface 上）来完成任务。所选模型完成任务并将结果返回给 ChatGPT。

最后，ChatGPT 使用来自所有模型的推理结果生成响应。对于这项任务，JARVIS使用稳定扩散1.5模型生成图像，并使用ChatGPT本身写一首诗。

有多达20个模型链接到JARVIS（HuggingGPT）。其中一些是t5-base，稳定扩散1.5，bert，Facebook的bart-large-cnn，Intel的dpt-large等等。总而言之，如果您现在想要多模式功能，请立即查看Microsoft JARVIS。我们已经解释了如何设置它并立即对其进行测试：

第 1 步：获取使用微软 JARVIS 的密钥

1. 首先，前往此链接，登录您的 OpenAI 帐户，然后单击“创建新的密钥”以获取您的 OpenAI API 密钥。将密钥保存在记事本文件中供以后使用。

2.接下来，打开 huggingface.co 网站（访问）并创建一个免费帐户。

3.之后，单击此链接以生成您的Hugging Face 令牌。单击右窗格中的“new token”。

4.在这里，输入一个名称（例如，我输入了名称“jarvis”）。然后，将角色更改为“write”，然后单击“generate  a token”。

5.接下来，单击“复制”按钮，令牌将被复制到剪贴板。将令牌保存到记事本文件。

第 2 步：开始使用 Microsoft JARVIS （HuggingGPT）

1. 要使用微软 JARVIS，请打开此链接并将 OpenAI API 密钥粘贴到第一个字段中。之后，点击“提交”。同样，将拥抱面令牌粘贴到第二个字段中，然后单击“提交”。

2. 验证两个令牌后，向下滚动并输入查询。首先，我问贾维斯这张照片是关于什么的，并分享了图片的URL。

3. 它自动下载图像并使用三种AI模型来完成任务，包括ydshieh/vit-gpt2-coco-en（将图像转换为文本），facebook / detr-resnet-101（用于对象检测）和Dandelin/ vilt-b32-finetuned-vqa（用于视觉问答）。最后，它得出结论，这张照片包含一只猫在镜子里看着自己。这不是很神奇吗？

4. 在另一个例子中，我要求它转录一个音频文件，它使用 OpenAI/whisper-base 模型来实现。JARVIS有很多用例，你可以在HuggingFace上免费试用。

通过拥抱 GPT 一次使用多个 AI 模型

因此，这就是您可以使用HuggingGPT使用不同的AI模型完成任务的方式。我多次测试了 JARVIS，效果很好，除了你需要经常排在队列后面。你不能在任何半体面的PC上本地运行JARVIS，因为它需要至少16GB的VRAM和大约300GB的空间用于各种型号。

在Huggingface上，您也无法克隆它并跳过免费帐户下的队列。您需要订阅才能在Nvidia A10G上运行功能强大的模型 - 一个大型GPU，每小时收费3.15美元。无论如何，这都是来自我们的。如果您想在 VS Code 中使用 CodeGPT 在编程时获得帮助，请访问我们的链接指南。要免费使用 ChatGPT 4，我们为您准备了一个列表。最后，如果您有任何疑问，请在下面的评论部分告诉我们。