网站首页
编程语言
数据库
系统相关
其他分享
编程问答
quantize
2024-12-11
Unsloth更快训练大模型并导出GGUF - Windows
环境搭建系统环境需要Nvidia显卡,至少8G显存,且专用显存与共享显存之和大于20G建议将非安装版的环境文件都放到非系统盘,方便重装或移植以Windows11为例,非安装环境文件都放在E盘下设置自定义Path文件夹创建E:\mypath文件夹,将其添加进用户环境变量Path中,之后会用CMake下载
2024-11-29
为 TVM 添加对 Paddle 量化模型的支持
1简介随着深度学习应用的广泛使用,量化模型作为一种有效的模型压缩技术,能够在保持模型精度的同时减少模型的计算和存储开销。本文将介绍如何在TVM上为Paddle深度学习框架中的量化模型提供解析支持。2量化方法目前主流的的量化方法主要分为QOperator和QDQ(Quantizeand