• 2025-01-05自学资料 - LoRA - 低秩微调技术
    目录1.微调分类2.LoRA算法全称:Low-RankAdaptation微调的不同类别1.微调分类微调主要分为三类:一种是全参数的微调(类别1)。缺点,如果利用一些较好的优化算法,梯度更新和之前所有的梯度(有历史记忆)都有关啥的会导致占用较多的显存。一种是部分参数微调(可
  • 2025-01-02大语言模型【基础】(二)微调需要多少算力?
    微调模型需要多少的GPU显存?一、模型【训练】占用显存【QWen2.5-32B为例】模型配置情况如下所示方法一:较为精确估计全量微调占用情况结论根据模型配置和假设的batchsize、序列长度:总显存需求:约388GB所需卡数:至少13张昇腾910B卡才能满足显存需求,推荐使用1
  • 2024-12-26【stable diffusion模型】2024年50个热门LoRA模型推荐-Stable Diffusion
    前言使用StableDiffusion创作绘画作品,我们可以借助checkpoint、Lora和embeddings等模型,提升AI的绘画质量和创造力。本文将根据评分、下载量和收藏量等多个维度,从画风、概念、服饰等各个方面,盘点civitai上受欢迎的LoRA模型,并简要介绍它们的特点和用途。一、风格0
  • 2024-12-25一键生成超写实圣诞写真|港风圣诞靓女写真v1.0 LoRA的使用
    圣诞节快到了,各种应景的节日写真开始刷屏朋友圈。如果你想快速生成一组超写实的港风圣诞靓女写真,不需要专业摄影设备,也不用绞尽脑汁设计场景,只需要使用 FLUX1.0大模型和港风圣诞靓女写真v1.0LoRA,就能轻松搞定!这篇教程将详细讲解如何使用这个工具生成一组节日氛围感
  • 2024-12-25全网最全,保姆级Stable Diffusion系列入门使用教程下篇(图生图、LoRA、提示词权重)
    前言:在上一篇文章中,我们带领大家了解了StableDiffusion的基础操作。接下来,下篇教程将深入探讨图生图、LoRA、提示词权重等高级功能,为大家提供全网最全、保姆级的StableDiffusion使用指南,助你轻松驾驭这款强大的图像生成工具。让我们一起开启创作之旅!一、LoRA1、什么是L
  • 2024-12-22【stable diffusion】ComfyUI 使用 LoRA 极简工作流
    ComfyUI的LoRA工作流相信大家都不陌生。开发者提供了大量基于默认节点功能搭建的工作流,其中就包括了如何使用LoRA。仅仅使用一个LoRA也许还比较简单。只需要在基本工作流的基础上,再添加一个LoRA加载器的节点即可。如果要添加多个LoRA,就需要往里面继续加入LoRA加载器。这使得工
  • 2024-12-22【Stable Diffusion】SD迎来动画革命,AnimateDiff快速出图
    如果放在几年前,你告诉我说只需一分钟就能做出一段这样的动画,我是万万不相信的,但是当AI时代来临之后,一切都有了可能。今天给大家介绍一个可以快速在sd中生成动画的方法,就是一个叫做AnimateDiff的免费开源项目。现在已经整合到了webUI上面,使用起来非常方便。注意:(如果大家不
  • 2024-12-22全网最全,保姆级Stable Diffusion系列入门使用教程下篇(图生图、LoRA、提示词权重)
    一、LoRA1、什么是LoRALoRA通常称之为微调模型,用于满足指定的风格或者人物特征属性。这种技术通过在模型的交叉注意力层中添加小的调整来实现风格和内容的变化,而不是对整个模型进行训练。LoRA几大特点①文件大小小:LoRA模型通常比检查点模型小10到100倍,文件大小更易于
  • 2024-12-21VideoCrafter2: Overcoming Data Limitations for High-Quality Video Diffusion Models 论文解读
    目录一、概述 二、相关工作三、VideoCrafter21、时间空间扰动下的的关联分析空间模块时间模块 2、数据层下的外观和运动的分离3、概念组合能力四、实验一、概述     该论文提出在数据层面从分离运动和外观来从没有高质量视频中训练高质量的视频模型,
  • 2024-12-21解析大模型常用微调方法:P-Tuning、Prefix Tuning、Adapter、LoRA
    作者:王海原文:https://zhuanlan.zhihu.com/p/7474042360预训练大模型虽然具有强大的泛化能力和广泛的知识,但它们通常是针对大量通用数据集进行训练的,这使得它们在处理特定任务时可能无法达到最佳效果,比如ChatGPT、混元、文心一言在回答一些常识性问题时表现的非常出色,但在物理
  • 2024-12-20智源:LoRA参数共享优化LLM多任务学习
  • 2024-12-18TensorRT-LLM 调整和部署 LoRA
    TensorRT-LLM调整和部署LoRANVIDIA开发者计划想要了解有关NIM的更多信息?加入NVIDIA开发者计划,即可免费访问任何基础设施云、数据中心或个人工作站上最多16个GPU上的自托管NVIDIANIM和微服务。加入免费的NVIDIA开发者计划后,您可以随时通过NVIDIAAPI目
  • 2024-12-18vllm0.5.0发布多个lora模型
    环境:2张A6000的GPUvllm:0.5.0修改vllm0.5.0的cli_args.py内容:路径:minconda3/envs/python31013new/lib/python3.10/site-packages/vllm/entrypoints/openai/cli_args.py修改前代码:def__call__(self,parser,namespace,values,option_string=None):lora_list
  • 2024-12-16SD模型微调之LoRA
    SD模型微调方法LoRA详细介绍,包括数据集准备,模型微调过程,推理过程,优缺点等。 
  • 2024-12-15人工智能大语言模型起源篇,低秩微调(LoRA)
    上一篇:《规模法则(ScalingLaw)与参数效率的提高》序言:您在找工作时会不会经常听到LoRA微调,这项技术的来源就是这里了。(12)Hu、Shen、Wallis、Allen-Zhu、Li、LWang、SWang和Chen于2021年发表的《LoRA:Low-RankAdaptationofLargeLanguageModels》,https://arxiv.org/a
  • 2024-12-14学大模型必看!手把手带你从零微调大模型!
    前言今天分享一篇技术文章,你可能听说过很多大模型的知识,但却从未亲自使用或微调过大模型。今天这篇文章,就手把手带你从零微调一个大模型。大模型微调本身是一件非常复杂且技术难度很高的任务,因此本篇文章仅从零开始,手把手带你走一遍微调大模型的过程,并不会涉及过多技术细
  • 2024-12-13【stablediffusion教程】的基础操作和使用技巧分享
    这是一篇关于stablediffusion本地部署并通过基础模型搭配不同的lora生成图片的教程,软件很容易获取,对电脑的要求也不是太高,相较于本地化的chatglm动不动就要6G显存的门槛还是很低的,根据不同性能显卡,同样的参数生成图片的速度也不一样,4090-24G版本的几秒就可以生成一张图,1060-
  • 2024-12-12【StableDiffusion教程】使用Stable Diffusion制作角色三视图
    使用StableDiffusion制作角色三视图,可以借助ControlNet功能来实现人物姿势控制,并结合LoRA模型进行精细调整。以下是一般步骤:安装StableDiffusionWebUI:建议使用最新版本,并确保已安装并正确配置ControlNet和LoRA模型。准备角色描述:用简洁明了的文字描述角色的特征
  • 2024-12-11基于Qwen2-VL模型针对LaTeX OCR任务进行微调训练 - LoRA配置如何写
    基于Qwen2-VL模型针对LaTeXOCR任务进行微调训练-LoRA配置如何写flyfish基于Qwen2-VL模型针对LaTeX_OCR任务进行微调训练_-_LoRA配置如何写基于Qwen2-VL模型针对LaTeX_OCR任务进行微调训练_-_单图推理基于Qwen2-VL模型针对LaTeX_OCR任务进行微调训练_-_原模型_单图推
  • 2024-12-11参数高效微调:MoRA与LoRA的比较及应用分析
    概述参数高效微调的背景,接着详细介绍MoRA的方法及其与LoRA和全微调的比较,最后讨论MoRA在特定任务中的表现在机器学习,尤其是处理大型语言模型(LLM)时,参数高效微调(Parameter-EfficientFine-Tuning,PEFT)是一种重要的技术,这种技术旨在减少微调过程中所需更新的模型参数数量。传
  • 2024-12-10datawhale 第一课 笔记
    1.注册星火maas平台账号2.选择训练模型类型 细分类型为文本对话模型  文生图模型  图像分类模型 文本分类模型此处我们选择 文本对话模型 选择基础模型此处选择sparklite 轻量训练成本低3.选择训练方式: 零代码精调  训练方法:LoRALoRA:LoRA在
  • 2024-12-10效率暴涨!5 款设计师必备的 Stable Diffusion WebUI 模型
    大家好!今天继续为大家推荐5款优质的设计类StableDiffusionWebUI模型,包含春节插画、3D电商场景、中式花草元素、商业扁平插画等。一、CJillustration春节插画这是一个专门为春节炼制的SDXL大模型,是近几年国内比较流行的商业插画的风格。内容主要为家庭聚会和宴
  • 2024-12-10四步轻松搞定!探索字节最新AnimateDiff-Lightning:高质量视频生成的秘密武器!
    AnimateDiff-Lightning,它是一种快速的文本到视频[生成模型]。它生成视频的速度比原始AnimateDiff快十倍以上,只需4-8的推理就可以生成质量非常高的视频。该模型是从AnimateDiff_SD1.5_v2中提炼出来的。01.介绍该模型采用了渐进式对抗扩散蒸馏技术,恰似可以使用闪电般的快
  • 2024-12-09【StableDiffusion教程】黑丝或者白丝,都可以用LoRA(Stable Diffusion进阶篇:ComfyUI 附加网络)
    黑丝或者白丝,都可以用LoRA(StableDiffusion进阶篇:ComfyUI附加网络)加粗样式**模型可以扫描下方,免费获取**在学习WebUI的那些基础知识点的时候,有一个东西是每一个初学者都绕不开的大山-附加网络。这个东西对于每一个接触StableDiffusion的小伙伴来说就像是小学门口小卖
  • 2024-12-07LoRA论文精读(上) Low-Rank Adaptation of Large Language Models
            本篇博客针对LoRA:Low-RankAdaptationofLargeLanguageModels的提出背景和算法原理做了非常清晰简明的讲解,适用于想要快速了解一下LoRA底层方法的学习者。对于原文的实验和未来工作等部分的详细介绍在LoRA论文精读(下)Low-RankAdaptationofLargeLangu