LLM的火爆之后，英伟达(NVIDIA)也发布了其相关的推理加速引擎TensorRT-LLM。TensorRT是nvidia家的一款高性能深度学习推理SDK。此SDK包含深度学习推理优化器和运行环境,可为深度学习推理应用提供低延迟和高吞吐量。而TensorRT-LLM是在TensorRT基础上针对大模型进一步优化的加速推理库，它号称可以增加4倍的推理速度。
所以本文将对其做一个简单的使用介绍。
https://avoid.overfit.cn/post/9601a73924024e2895957627f8e35bda
标签：TensorRT,高性能,LLM,深度,推理,SDK From： https://www.cnblogs.com/deephub/p/17779916.html