gguf格式量化方法

时间：2024-08-20 09:15:09浏览次数：14

标签：Limited gguf Partial quants support supported 量化格式

gguf格式下，各种量化方法后的支持情况，及运行速度

Library	CPU (AVX2)	CPU (ARM NEON)	Metal	cuBLAS	rocBLAS	SYCL	CLBlast	Vulkan	Kompute
K-quants	✅	✅	✅	✅	✅	✅	✅ 慢	✅慢	✅
I-quants	✅慢	✅慢	✅慢	✅	✅	Partial¹	✅	✅	✅
Multi-GPU	N/A	N/A	N/A	✅	❓	✅	❓	✅	❓
K cache quants	✅	❓	✅	✅ 慢	Partial⁶慢	❓	✅	✅	✅
MoE architecture	✅	❓	✅	✅	✅	❓	Partial²	✅	✅

Note:

✅: Supported
❓: Not supported
N/A: Not applicable
Partial¹: Partially supported
Partial²: Partially supported
Partial⁶: Partially supported
标签：Limited,gguf,Partial,quants,support,supported,量化,格式
From： https://www.cnblogs.com/litifeng/p/18368733

U盘危机应对：解决“显示需要格式化”的数据恢复策略
在数字化时代，U盘作为我们日常生活中不可或缺的数据存储与传输工具，承载着大量重要文件和信息。然而，当U盘突然显示“需要格式化”的警告时，无疑是对数据安全的巨大威胁。本文将深入探讨U盘为何会显示此类信息，并详细介绍一种高效的数据恢复方案——利用数之寻软件恢复文件，帮助您在......
应对“一插U盘就让格式化”的数据恢复方案
现象剖析：一插U盘即现格式化提示在日常的数字生活中，U盘作为便携存储设备，承载着大量重要数据与文件。然而，不少用户遭遇了这样一个棘手问题——“一插U盘就让格式化”。这一现象往往令人措手不及，不仅打断了正常的工作流程，更可能意味着数据面临丢失的风险。究其原因，此类问题可能由......
释放创意潜能：Scratch跨格式导出全攻略
标题：释放创意潜能：Scratch跨格式导出全攻略Scratch，这款专为儿童和创意编程爱好者设计的编程工具，以其易用性和趣味性，在全球范围内受到广泛欢迎。但你知道吗？除了在Scratch平台上分享和运行作品，Scratch还支持将项目导出为多种格式，让创意作品在更广阔的舞台上绽放光彩。一、Scr......
书生大模型实战营3期 - 进阶岛 - 3 - LMDeploy 量化部署进阶实践
文章目录闯关任务完成结果闯关任务任务描述：LMDeploy量化部署实践闯关任务任务文档：LMDeploy量化部署进阶实践完成结果使用结合W4A16量化与kvcache量化的internlm2_5-7b-chat模型封装本地API并与大模型进行一次对话，作业截图需包括显存占用情况与大模型回复，参考4......
30种常见的GIS矢量数据格式
还是大剑师兰特：曾是美国某知名大学计算机专业研究生，现为航空航海领域高级前端工程师；CSDN知名博主，GIS领域优质创作者，深耕openlayers、leaflet、mapbox、cesium，canvas，webgl，echarts等技术开发，欢迎加底部微信（gis-dajianshi），一起交流。No.内容链接1Openlayers【入门教程】-......
【TCP/IP】UDP协议数据格式和报文格式
学习一个网络协议，主要就是学习“数据格式”/“报文格式”源端口/目的端口端口号是属于传输层的概念UDP报头使用两个自己的长度来表示端口号之所以端口号的范围是0~65535，是因为底层网络协议做出了强制要求如果使用一个10w这样的端口，就会在系统底层被“截断”UDP......
nginx 限流，并且返回json格式数据
限流一般有三种:计数器、漏桶算法、令牌桶算限流配置http{limit_req_zone$binary_remote_addrzone=myRateLimit:10mrate=1r/s;... location/{limit_reqzone=myRateLimitburst=1nodelay;... 第1个参数:limit_req_zon......
[Python学习日记-8] 读取用户指令和格式化输出
简介平常我们在网上冲浪是经常会遇到需要我们输入数据，然后来进行交互的，而我们本篇要说的读取用户指令就是在命令行当中程序和用户进行交互的一种方法，表现形式就像使用shell登录linux时需要你输入用户名和密码然后回车确认的那种形式。而在输入前一定是需要说......
Flux GGUF 和 NF4v2
要知道，Flux社区目前最流行的就是fp8版本，因为它要求的资源不多还能生成不错的效果。5天前，ControlNet作者才发布了 flux1-nf4，一种比fp8效率高质量好的新模型，就在昨天就更新到 nf4v2 版本了，除了比v1大了0.5G外，质量和速度又提升了，如果想要在ComfyUI中使用，需要 ......
量化策略开发步骤系列（5）前向测试和统计意义
量化策略开发步骤系列（5）前向测试和统计意义前向测试统计意义随机化交易测试重写过去结论这是量化交易系列文章的第二系列——量化策略开发步骤，第一系列请参考专栏：量化交易系统。很多朋友反馈最近的文章代码太多，看不懂。这一部分将实现零代码分享，尽可能简单地......

gguf格式量化方法

相关文章

赞助商

阅读排行