翻译自：https://medium.com/@abonia/vllm-and-pagedattention-a-comprehensive-overview-20046d8d0c61
简单、快速且经济的LLM服务
vLLM是一个旨在提高大型语言模型（LLM）推理和服务效率与性能的库。由UC Berkeley开发，vLLM引入了PagedAttention，这是一种新颖的注意力算法，显著优化了注意力键和值的内存管理。这一创新不仅提高了吞吐量，还实现了对传入请求的持续批处理，使用CUDA/HIP图快速执行模型，并支持包括并行采样和束搜索在内的多种解码算法。vLLM兼容NVIDIA和AMD GPU，并与流行的Hugging Face模型无缝集成，使其成为开发者和研究人员的通用工具。
PagedAttention：关键技术
PagedAttention是vLLM性能提升的核心。它通过将KV缓存划分为块，解决了LLM服务中内存管理的重大问题，允许在内存中非连续存储键和值。这种方法不仅优化了内存使用，减少了高达96%的浪费，还实现了高效的内存共享，显著降低了复杂采样算法的内存开销。PagedAttention的内存管理策略受到操作系统中虚拟内存和分页概念的启发，提供了一种灵活且高效的方式来管理内存资源。
vLLM系统概览 — arxiv.2309.06180
vLLM的特性和能力
- 高吞吐量和内存效率
vLLM提供了最先进的服务吞吐量，使其成为需要高性能和低延迟应用的理想选择。 - 持续的请求批处理
vLLM高效地管理传入的请求，允许持续的批处理和处理。 - 快速模型执行
利用CUDA/HIP图，vLLM确保模型的快速执行，提高LLM服务的整体性能。 - 量化支持
vLLM支持各种量化技术，包括GPTQ、AWQ、SqueezeLLM和FP8 KV缓存，以进一步优化模型性能并减少内存占用。 - 优化的CUDA内核
vLLM包括针对NVIDIA GPU的优化CUDA内核，以提高性能。 - 张量并行性支持
对于分布式推理，vLLM提供张量并行性支持，便于在多个GPU上实现可扩展和高效的模型服务。 - 流式输出
vLLM支持流式输出，允许实时处理和交付模型输出。 - 兼容OpenAI的API服务器
vLLM可用于启动兼容OpenAI API的服务器，使其易于与现有系统和工作流程集成。