首页 > 其他分享 >LLaMA-Factory

LLaMA-Factory

时间：2024-09-04 14:02:48浏览次数：2

标签：12 训练模型微调 Factory LLaMA

LLaMA-Factory 是一个高效的大型语言模型（LLM）微调平台，旨在简化和加速模型的微调过程。以下是一些关键特点：

多样的模型支持：LLaMA-Factory 支持多种预训练模型，包括 LLaMA、LLaVA、Mistral、Mixtral-MoE、Qwen、Yi、Gemma、Baichuan、ChatGLM、Phi 等等 ¹ ²。
多种训练方法：平台集成了多种训练方法，如增量预训练、多模态监督微调、奖励模型训练、PPO 训练、DPO 训练等 ¹ ²。
高效的资源利用：支持 16-bit 全参数微调、冻结微调、LoRA 微调以及基于 AQLM/AWQ/GPTQ/LLM.int8/HQQ/EETQ 的 2/3/4/5/6/8-bit QLoRA 微调 ¹ ²。
优化算法：包括 GaLore、BAdam、DoRA、LongLoRA、LLaMA Pro、Mixture-of-Depths、LoRA+、LoftQ 和 PiSSA 等 ¹ ²。
实验监控：提供 LlamaBoard、TensorBoard、Wandb、MLflow 等实验监控工具 ¹ ²。
推理引擎：支持 Transformers 和 vLLM 推理引擎，提供 OpenAI 风格的 API、Gradio UI 和 CLI ¹ ²。

你可以在 GitHub 上找到更多关于 LLaMA-Factory 的详细信息和使用指南 ¹。如果你有具体的问题或需要进一步的帮助，随时告诉我！

标签：12,训练,模型,微调,Factory,LLaMA
From： https://www.cnblogs.com/kid-kid/p/18396317

相关文章

Meta Llama模型下载量突破3.5亿次
......
BeanFactory和FactoryBean
BeanFactory和FactoryBean先说结论：BeanFactory和FactoryBean都是接口。BeanFactory：是IOC容器，并且提供方法支持外部程序对这些Bean的访问，在程序启动时根据传入的参数产生各种类型的Bean，并添加到IOC容器（实现BeanFactory接口的类）的SingletonObject属性中。FactoryBean：首先是个Bea......
谢谢微软，又又又Open了！一口气发布3款Phi-3.5新模型，领先Llama3.1和谷歌同级模型
前言家人们！微软又用爱发电了！一觉醒来，微软发布了最新的小模型三兄弟：Phi-3.5-MoE-instructPhi-3.5-mini-instructPhi-3.5-vision-instruct三兄弟的表现可以说是相当的不错，其中，Phi-3.5-MoE在基准测试中击败了Llama3.18B、Mistral-Nemo-12B，Gemini1.5Flash。在推理能力方面它也优......
Android开发 - BitmapFactory 类解码图像文件并转换为 Bitmap 对象与 BitmapFactory.O
BitmapFactory是什么BitmapFactory用于解码图像文件，并将它们转换为Bitmap对象。Bitmap是用来表示图像的基本类，它是一个位图的抽象表示。BitmapFactory提供了一组静态方法，这些方法可以用来将各种图像文件格式（如PNG、JPEG、WEBP等）解码成Bitmap对象BitmapFactory的好......
【已解决】Invalid value type for attribute ‘factoryBeanObjectType‘: java.lang.
一、问题描述Invalidvaluetypeforattribute‘factoryBeanObjectType‘:java.lang.String二、解决方案更新本地的Mybatisplus版本<dependency> <groupId>com.baomidou</groupId> <artifactId>mybatis-plus-spring-boot3-starter</artifactId> ......
Spring源码(9)--FactoryBean简介
FactoryBean简介FactoryBean是一个工厂对象，用于创建和管理其他Bean的实例。FactoryBean接口定义了一种创建Bean的方式，它允许开发人员在Bean的创建过程中进行更多的自定义操作。通过实现FactoryBean接口，开发人员可以创建复杂的Bean实例，或者在Bean实例化之前进行一......
MetaLlama大模型
llama大模型介绍我们介绍LLaMA，这是一个基础语言模型的集合，参数范围从7B到65B。我们在数万亿个Token上训练我们的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需诉诸专有的和无法访问的数据集。特别是，LLaMA-13B在大多数基准测试中都优于GPT-3(175B)，l......
人工智能 | MetaLlama大模型
llama大模型介绍我们介绍LLaMA，这是一个基础语言模型的集合，参数范围从7B到65B。我们在数万亿个Token上训练我们的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需诉诸专有的和无法访问的数据集。特别是，LLaMA-13B在大多数基准测试中都优于GPT-3(175B)，llama2......
‌工厂模式(Factory Pattern)和策略模式（Strategy Pattern）的主要区别！整理不易请及时收
成长路上不孤单......
ollama多平台部署方案
使用ollama分别在我的window、mac、小米手机上部署体验llama3-8b原创ChatGPTPLUS那个曾经的少年回来了1、ollama到底是个什么玩意一句话来说，Ollama是一个基于Go语言开发的简单易用的本地大模型运行框架。可以将其类比为docker（有类似docker中的一些常规命令list,p......

赞助商

阅读排行