SPD
  • 2024-06-10推测性解码:加速多模态大型语言模型的推理
    大模型(LLMs)以其卓越的性能在多个应用场景中大放异彩。然而,随着应用的深入,这些模型的推理速度问题逐渐凸显。为了解决这一挑战,推测性解码(SpeculativeDecoding,SPD)技术应运而生。本文深入探讨了SPD在多模态大型语言模型(MLLMs)中的应用,尤其是针对LLaVA7B模型的优化。MLLMs通过融