在人工智能领域,每天都有新的大型语言模型推出,事情正在以惊人的速度变化。在短短几个月的开发中,我们现在可以离线在我们的PC上运行类似ChatGPT的LLM。不仅如此,我们还可以训练AI聊天机器人并创建个性化的AI助手。但最近让我感兴趣的是微软对人工智能开发的实践方法。微软目前正在开发一种名为JARVIS(明显参考漫威钢铁侠)的高级AI系统,该系统连接到多个AI模型并响应最终结果。它的演示托管在Huggingface上,任何人都可以立即查看JARVIS的功能。因此,如果您有兴趣,请立即学习如何使用Microsoft JARVIS(HuggingGPT)。
什么是Microsoft JARVIS(HuggingGPT)?
微软开发了一种独特的协作系统,其中可以使用多个AI模型来完成给定的任务。在所有这些中,ChatGPT充当任务的控制者。该项目在GitHub上被称为JARVIS(访问),现在可以在Huggingface(因此称为HuggingGPT)上获得,供人们试用。在我们的测试中,它与文本、图像、音频甚至视频配合得非常好。
它的工作方式类似于OpenAI如何通过文本和图像展示GPT 4的多模态功能。但是,JARVIS 更进一步,集成了用于图像、视频、音频等的各种开源 LLM。这里最好的部分是它还可以连接到互联网并访问文件。例如,您可以输入来自网站的 URL 并询问相关问题。这很酷,对吧?
![什么是Microsoft JARVIS(HuggingGPT)?](/i/l/?n=23&i=blog/3132769/202304/3132769-20230416195431587-2068221212.jpg)
可以在单个查询中添加多个任务。例如,你可以要求它生成外星人入侵的图像并写诗。在这里,ChatGPT 分析请求并计划任务。之后,ChatGPT 选择正确的模型(托管在 Huggingface 上)来完成任务。所选模型完成任务并将结果返回给 ChatGPT。
最后,ChatGPT 使用来自所有模型的推理结果生成响应。对于这项任务,JARVIS使用稳定扩散1.5模型生成图像,并使用ChatGPT本身写一首诗。
![拥抱](/i/l/?n=23&i=blog/3132769/202304/3132769-20230416195430986-2104591742.jpg)
有多达20个模型链接到JARVIS(HuggingGPT)。其中一些是t5-base,稳定扩散1.5,bert,Facebook的bart-large-cnn,Intel的dpt-large等等。总而言之,如果您现在想要多模式功能,请立即查看Microsoft JARVIS。我们已经解释了如何设置它并立即对其进行测试:
第 1 步:获取使用微软 JARVIS 的密钥
1. 首先,前往此链接,登录您的 OpenAI 帐户,然后单击“创建新的密钥”以获取您的 OpenAI API 密钥。将密钥保存在记事本文件中供以后使用。
![如何立即使用Microsoft JARVIS(HuggingGPT)](/i/l/?n=23&i=blog/3132769/202304/3132769-20230416195431219-2121855882.jpg)
2.接下来,打开 huggingface.co 网站(访问)并创建一个免费帐户。
![如何立即使用Microsoft JARVIS(HuggingGPT)](/i/l/?n=23&i=blog/3132769/202304/3132769-20230416195431151-813698154.jpg)
3.之后,单击此链接以生成您的Hugging Face 令牌。单击右窗格中的“new token”。
![如何立即使用Microsoft JARVIS(HuggingGPT)](/i/l/?n=23&i=blog/3132769/202304/3132769-20230416195430972-1182965637.jpg)
4.在这里,输入一个名称(例如,我输入了名称“jarvis”)。然后,将角色更改为“write”,然后单击“generate a token”。
![如何立即使用Microsoft JARVIS(HuggingGPT)](/i/l/?n=23&i=blog/3132769/202304/3132769-20230416195431021-1766735675.jpg)
5.接下来,单击“复制”按钮,令牌将被复制到剪贴板。将令牌保存到记事本文件。
![如何立即使用Microsoft JARVIS(HuggingGPT)](/i/l/?n=23&i=blog/3132769/202304/3132769-20230416195432029-1875098183.jpg)
第 2 步:开始使用 Microsoft JARVIS (HuggingGPT)
1. 要使用微软 JARVIS,请打开此链接并将 OpenAI API 密钥粘贴到第一个字段中。之后,点击“提交”。同样,将拥抱面令牌粘贴到第二个字段中,然后单击“提交”。
![贾维斯](/i/l/?n=23&i=blog/3132769/202304/3132769-20230416195431175-406714897.jpg)
2. 验证两个令牌后,向下滚动并输入查询。首先,我问贾维斯这张照片是关于什么的,并分享了图片的URL。
![贾维斯](/i/l/?n=23&i=blog/3132769/202304/3132769-20230416195432030-296821747.jpg)
3. 它自动下载图像并使用三种AI模型来完成任务,包括ydshieh/vit-gpt2-coco-en(将图像转换为文本),facebook / detr-resnet-101(用于对象检测)和Dandelin/ vilt-b32-finetuned-vqa(用于视觉问答)。最后,它得出结论,这张照片包含一只猫在镜子里看着自己。这不是很神奇吗?
![贾维斯](/i/l/?n=23&i=blog/3132769/202304/3132769-20230416195432033-1144472378.jpg)
4. 在另一个例子中,我要求它转录一个音频文件,它使用 OpenAI/whisper-base 模型来实现。JARVIS有很多用例,你可以在HuggingFace上免费试用。
![音频语音](/i/l/?n=23&i=blog/3132769/202304/3132769-20230416195431209-1403192097.jpg)
通过拥抱 GPT 一次使用多个 AI 模型
因此,这就是您可以使用HuggingGPT使用不同的AI模型完成任务的方式。我多次测试了 JARVIS,效果很好,除了你需要经常排在队列后面。你不能在任何半体面的PC上本地运行JARVIS,因为它需要至少16GB的VRAM和大约300GB的空间用于各种型号。
在Huggingface上,您也无法克隆它并跳过免费帐户下的队列。您需要订阅才能在Nvidia A10G上运行功能强大的模型 - 一个大型GPU,每小时收费3.15美元。无论如何,这都是来自我们的。如果您想在 VS Code 中使用 CodeGPT 在编程时获得帮助,请访问我们的链接指南。要免费使用 ChatGPT 4,我们为您准备了一个列表。最后,如果您有任何疑问,请在下面的评论部分告诉我们。
标签:AI,模型,JARVIS,HuggingGPT,使用,ChatGPT,Microsoft From: https://www.cnblogs.com/botai/p/jarvis-hugginggpt.html