量化是一种技术，用于减少模型的存储需求和计算复杂度。通过使用较低精度的数据类型来表示模型的权重和激活值，量化能够显著降低内存使用和提高推理速度，同时对模型精度的影响尽可能小。 大模型问答效果区别模型精度:int4:由于精度较低，模型的表现可能会受显著影响，尤其是在处