首页 > 其他分享 >LLaMA 2 - 你所需要的一切资源

LLaMA 2 - 你所需要的一切资源

时间:2024-02-19 21:11:59浏览次数:36  
标签:LLaMA 模型 开源 Meta INST Llama 资源 一切

摘录

关于 LLaMA 2 的全部资源,如何去测试、训练并部署它。


LLaMA 2 是一个由 Meta 开发的大型语言模型,是 LLaMA 1 的继任者。LLaMA 2 可通过 AWS、Hugging Face 等提供商获取,并免费用于研究和商业用途。LLaMA 2 预训练模型在 2 万亿个标记上进行训练,相比 LLaMA 1 的上下文长度增加了一倍。它的微调模型则在超过 100 万个人工标注数据下完成。

这篇博客包含了所有的相关资源,以帮助您快速入门。包括以下跳转:

来自 Meta 官方的公告可以在这里找到: https://ai.meta.com/llama/

LLaMA 2 是什么?

Meta 发布的 LLaMA 2,是新的 sota 开源大型语言模型 (LLM)。LLaMA 2 代表着 LLaMA 的下一代版本,并且具有商业许可证。LLaMA 2 有 3 种不同的大小——7B、13B 和 70B 个可训练参数。与原版 LLaMA 相比,新的改进包括:

  • 在 2 万亿个标记的文本数据上进行训练
  • 允许商业使用
  • 默认使用 4096 个前后文本视野 (可以被扩展)
  • 70B 模型采用了分组查询注意力 (GQA)
  • 可由此获取 Hugging Face Hub

在 LLaMA 游乐场试玩

有几个不同的游乐场供与 LLaMA 2 来测试聊天:

  • HuggingChat 允许你通过 Hugging Face 的对话界面与 LLaMA 2 70B 模型聊天。这提供了一个简洁的方法来了解聊天机器人的工作原理。
  • Hugging Face Spaces 有三种大小的 LLaMA 2 模型 7B13B70B 可供测试。交互式演示可以让您比较不同的大小模型的区别。
  • Perplexity 他们的对话 AI 演示提供 7B 和 13B 的 LLaMA 2 模型。你可以与模型聊天并且反馈模型响应的不足。

LLaMA 2 背后的研究工作

LLaMA 2 是一个基础大语言模型,它由网络上公开可获取到的数据训练完成。另外 Meta 同时发布了它的 CHAT 版本。CHAT 模型的第一个版本是 SFT (有监督调优) 模型。在这之后,LLaMA-2-chat 逐步地经过人类反馈强化学习 (RLHF) 来进化。 RLHF 的过程使用了拒绝采样与近端策略优化 (PPO) 的技术来进一步调优聊天机器人。 Meta 目前仅公布了模型最新的 RLHF(v5) 版本。若你对此过程背后的过程感兴趣则请查看:

LLaMA 2 的性能有多好,基准测试?

Meta 声称 “Llama 2 在众多外部基准测试中都优于其他开源的语言模型,包括推理、编程、熟练程度与知识测验” 关于其性能你可以在这里找到更多信息:

如何提示 LLaMA 2 Chat

LLaMA 2 Chat 是一个开源对话模型。想要与 LLaMA 2 Chat 进行高效地交互则需要你提供合适的提示词、问题来得到合乎逻辑且有帮助的回复。 Meta 并没有选择最简单的提示词结构。以下是单轮、多轮对话的提示词模板。这个模板遵循模型的训练过程,在此详细描述 LLaMA 2 论文. 你也可以看一看 LLaMA 2 提示词模板.

单轮对话

<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>
{{ user_message }} [/INST]

多轮对话

<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>
{{ user_msg_1 }} [/INST]{{ model_answer_1 }} </s><s>[INST]{{ user_msg_2 }} [/INST]{{ model_answer_2 }} </s><s>[INST]{{ user_msg_3 }} [/INST]

如何训练 LLaMA 2

因 LLaMA 2 为开源模型,使得可以轻易的通过微调技术,比如 PEFT,来训练它。这是一些非日适合于训练你自己版本 LLaMA 2 的学习资源:

如何部属 LLaMA 2

LLaMA 2 可以在本地环境中部署 (llama.cpp),使用这样已管理好的服务 Hugging Face Inference Endpoints 或通过 AWS, Google Cloud, and Microsoft Azure 这样的服务器平台.

其他资源

如果你想让我再增添一些章节或其他细节请联系我。我致力于提供基于 LLaMA 2 目前已公开信息的高质量概述。


原文作者: Philschmid

原文链接: https://www.philschmid.de/llama-2

译者: Xu Haoran

标签:LLaMA,模型,开源,Meta,INST,Llama,资源,一切
From: https://www.cnblogs.com/huggingface/p/18021983

相关文章

  • java的getResource方法 总结一下 在Java中获取资源的时候,经常用到getResource和getRes
    java的getResource方法总结一下在Java中获取资源的时候,经常用到getResource和getResourceAsStream,本文总结一下这两种获取资源文件的路径差异1.前言在Java中获取资源的时候,经常用到getResource和getResourceAsStream,本文总结一下这两种获取资源文件的路径差异。2.Class.get......
  • Vulkan内存与资源管理
    在OpenGL中,当我们创建resource的时候,内存会被自动分配。不同于OpenGL,vulkan是更加底层的API,需要显式的内存管理。显式的内存管理可以在资源复用与特定平台的优化方面带来好处。1.Vulkan内存分类Vulkan内存分为2类:Hostmemory和Devicememory。Devicememory:指显存(GPU可直接......
  • node - 路径参照物,绝对路径及查看资源方法
     //查看资源状态方法 fs.stat("zzsy.txt",(err,stats)=>{  if(err){   console.log(err); }  console.log(stats);// stats.isFile();//验证是不是文件isFile//验证是不是文件夹isDirectory//});//相对路径参照物:命令行的工作目录//......
  • Unity资源管理系列:Unity项目开发中如何做资源加密
    Unity的游戏很容易被人反编译出来,然后再重新打包发布,把自己辛辛苦苦开发的游戏,抄写的一丝不挂。很多项目要求要做好资源加密,Unity中如何做好资源加密呢?本文給大家分享加密算法+资源打包整合思路:(1)游戏资源加密如何选择加密算法;(2)Assetsbundle资源包的加密与解密;游戏资源......
  • Unity资源管理系列:Unity 框架如何做好资源管理
    Unity资源管理需求分析作为架构师,在开始动手之前,先分析清楚需求,你才能设计出合理的方案,我们来分析一下Unity资源管理都有哪些需求,把需求想清楚了,设计是自然而然的事情。Unity资源管理主要需求:1:为开发与正式发布提供资源的加载/卸载;2:方便远程更新资源。3:带资源与不带资源......
  • 在k8S中,Pod如何实现对节点的资源控制?
    在Kubernetes(k8s)中,Pod对节点资源的控制是通过Pod的定义文件中的resources字段来实现的。具体来说,Pod能够请求特定数量的CPU和内存资源,并可以设置这些资源使用的上限。资源请求(Requests):在Pod或容器的规范中,可以通过resources.requests指定每个容器需要保证的最小资源量。api......
  • 【WPF】Xaml调用.resx资源文件,多语言翻译
    参考文章:https://blog.csdn.net/u010839204/article/details/103932044本文在该文章的基础上进行了“改进” 这个是基类库,基本处理均在基类库里面完成。须注意StringResources.resx名字和StringResourcesExtension前部分名字须保持一致。类 StringResourcesExtension:nam......
  • [Vite] 静态资源的动态访问
    前言这篇笔记是对渡一教育网课的知识点总结,源视频......
  • 当创建statefulset资源后,k8s组件如何协作
    当创建statefulset资源后,k8s组件如何协作点击关注......
  • Lag-Llama:第一个时间序列预测的开源基础模型介绍和性能测试
    2023年10月,我们发表了一篇关于TimeGPT的文章,TimeGPT是时间序列预测的第一个基础模型之一,具有零样本推理、异常检测和共形预测能力。虽然TimeGPT是一个专有模型,只能通过API访问。但是它还是引发了对时间序列基础模型的更多研究。到了2024年2月,已经有了一个用于时间序列预测的开源......