Command-R+， Mixtral-8x22b和Llama 3 70b都在最近的几周内发布了，这些模型是巨大的。它们都有超过700亿个参数:
Command-R+: 104B参数
Mixtral-8x22b:具有141B参数的混合专家(MoE)模型
Llama 370b: 70.6B参数
你能在电脑上微调和运行这些模型吗?
在本文中，我将介绍如何计算这些模型用于推理和微调的最小内存。这种方法适用于任何的llm，并且精确的计算内存总消耗。
https://avoid.overfit.cn/post/0046a7ef3a47406e9ed98d4ce947a14d
标签：模型,微调,参数,内存,llm,推理 From： https://www.cnblogs.com/deephub/p/18165207