Large Language Models: A Survey

https://arxiv.org/pdf/2402.06196

导读

https://developer.volcengine.com/articles/7389111961612451866

1、介绍了语言建模的历史背景，从统计语言模型到神经网络模型，再到预训练语言模型和LLMs的发展。

流行语言模型类型 ：Encoder-Only、Decoder-only、Encoder-Decoder 、GPT Family、LLaMA Family 、PaLM Family、Other Popular LLMs

一些流行语言模型的高级概述

2、LLMs的兴起：讨论了通过在大规模文本数据上训练数十亿参数的LLMs，展现出强大的语言理解和生成能力。

大模型的强大能力矩阵

LLM的能力可以分为三个主要类别：

• 基础能力 ： 编码（Coding）、理解（Comprehension）、世界知识（World knowledge）、多语言（Multilingual）。
• 进阶能力 ： 指令遵循（Instruction following）、上下文学习（In-context learning）、推理（Reasoning）。
• 聚合能力 ：与用户进行交互（Interacting with users）、工具利用（Tool utilization）、自我改进（Self-improvement）。

3、LLMs家族：详细回顾了三个主要的LLMs家族： GPT、LLaMA和PaLM ，以及它们的模型特性、贡献和局限性。

三个主要的LLM家族

4、构建LLMs：探讨了构建LLMs的关键技术，包括数据准备、模型架构、预训练、微调和指令调优。

一些最具代表性的大型语言模型（LLM）框架的时间线

 

5、LLMs的应用：描述了如何使用和增强LLMs，包括 LLM局限性、 Prompt工程、RAG、工具利用和LLM智能体 。

LLMs如何使用和增强

 

7、提供了LLMs

开发和部署的开源工具和资源列表：

A. LLM训练/推理框架（LLM Training/Inference Frameworks）：

• DeepSpeed：一个优化库，简化了分布式训练和推理，支持大规模语言模型。
• Transformers：由HuggingFace提供的库，包含数千个预训练模型，适用于文本、视觉和音频任务。
• Megatron-LM：NVIDIA开发的高效、模型并行的Transformer模型。
• BMTrain：一个高效的大型模型训练工具包，支持分布式训练。
• GPT-NeoX：基于Megatron-DeepSpeed库，提供更高的可用性和优化。
• LoRA：支持大型语言模型的低秩适应，减少可训练参数数量。
• ColossalAI：提供分布式深度学习模型的并行组件。

B. 部署工具（Deployment Tools）：

• FastChat：一个开放平台，用于训练、服务和评估基于LLM的聊天机器人。
• Skypilot：一个框架，用于在任何云上运行LLMs、AI和批处理作业。
• vLLM：一个快速且易于使用的LLM推理和服务库。
• text-generation-inference：一个部署和服务于LLMs的套件。
• LangChain：一个框架，用于开发由语言模型驱动的应用程序。
• OpenLLM：一个开源平台，用于在现实世界应用中部署和操作LLMs。
• Embedchain：一个开源RAG框架，简化了AI应用的创建和部署。
• Autogen：一个框架，允许使用多个代理来解决任务。
• BabyAGI：一个自主AI代理，基于给定目标生成和执行任务。

C. 提示库（Prompting Libraries）：

• Guidance：一种编程范式，提供优于传统提示和链接的控制和效率。
• PromptTools：一套开源工具，用于实验、测试和评估LLMs、向量数据库和提示。
• PromptBench：一个基于PyTorch的Python包，用于评估LLMs。
• Promptfoo：一个测试和评估LLM输出质量的工具。

D. 向量数据库（VectorDB）：

• Faiss：由Facebook AI Research开发的库，用于高效相似性搜索和聚类。

• Milvus：一个开源向量数据库，用于支持嵌入相似性搜索和AI应用。

• Qdrant：一个向量相似性搜索引擎和向量数据库。

• Weaviate：一个基于GraphQL的向量搜索引擎，支持高维数据的相似性搜索。