• 2024-08-20gguf格式量化方法
    gguf格式下,各种量化方法后的支持情况,及运行速度LibraryCPU(AVX2)CPU(ARMNEON)MetalcuBLASrocBLASSYCLCLBlastVulkanKomputeK-quants✅✅✅✅✅✅✅慢✅慢✅I-quants✅慢✅慢✅慢✅✅Partial¹✅✅✅Multi-GPUN/AN/AN/A✅❓✅