标签：NLP Transformers clip 训练 gpt2 模型 Pytorch 数据 image
本文分享自华为云社区《全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据》，作者： 汀丶 。
1.简介
目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案；
数据：从开源社区，整理了海量的训练数据，帮助用户可以快速上手；
同时也开放训练数据模版，可以快速处理垂直领域数据；
结合多线程、内存映射等更高效的数据处理方式，即使需要处理百GB规模的数据，也是轻而易举；
流程：每一个项目有完整的模型训练步骤，如：数据清洗、数据处理、模型构建、模型训练、模型部署、模型图解；
模型：当前已经支持gpt2、clip、gpt-neox、dolly、llama、chatglm-6b、VisionEncoderDecoderModel等多模态大模型；
多卡串联：当前，多数的大模型的尺寸已经远远大于单个消费级显卡的显存，需要将多个显卡串联，才能训练大模型、才能部署大模型。因此对部分模型结构进行修改，实现了训练时、推理时的多卡串联功能。
模型训练
| 中文名称 | 文件夹名称 | 数据 | 数据清洗 | 大模型 | 模型部署 | 图解 |
|---|
| 中文文本分类 |
chinese_classifier |
✅ |
✅ |
✅ |
❌ |
✅ |
中文gpt2 |
chinese_gpt2 |
✅ |
✅ |
✅ |
✅ |
❌ |
中文clip |
chinese_clip |
✅ |
✅ |
✅ |
❌ |
✅ |
| 图像生成中文文本 |
VisionEncoderDecoderModel |
✅ |
✅ |
✅ |
❌ |
✅ |
| vit核心源码介绍 |
vit model |
❌ |
❌ |
❌ |
❌ |
✅ |
Thu-ChatGlm-6b(v1) |
simple_thu_chatglm6b |
✅ |
✅ |
✅ |
✅ |
❌ |
|
标签：NLP,Transformers,clip,训练,gpt2,模型,Pytorch,数据,image
From： https://www.cnblogs.com/huaweiyun/p/17661822.html
相关文章
- 简单的将pytorch模型部署到onnx
1.创建一个pytorch模型这里我用的U2Net，直接加载好训练出的权重model=U2Net(class_nums=4)model.load_state_dict(torch.load(checkpoint_path))2.将pytorch模型转成onnx格式x=torcg.randn(1,3,512,512)withtorch.no_grad():torch.onnx.export(...... - 基本经典的NLP书籍
以下是几本经典的自然语言处理（NLP）书籍："SpeechandLanguageProcessing:AnIntroductiontoNaturalLanguageProcessing,ComputationalLinguistics,andSpeechRecognition"byDanielJurafskyandJamesH.Martin-这是一本广泛使用的教材，介绍了自然语言处理的基本概...... - 使用 AutoGPTQ 和 transformers 让大语言模型更轻量化
大语言模型在理解和生成人类水平的文字方面所展现出的非凡能力，正在许多领域带来应用上的革新。然而，在消费级硬件上训练和部署大语言模型的需求也变得越来越难以满足。...... - win10 CUDA11.1安装torch1.9 / reformer_pytorch
环境NVIDIA-SMI457.52DriverVersion:457.52CUDAVersion:11.1安装torch-gpucondacreate-ntorch1.9python=3.8pipinstalltorch==1.9.1+cu111torchvision==0.10.1+cu111torchaudio==0.9.1-fhttps://download.pytorch.org/whl/torch_stable.htmlc...... - PyTorch 提高生产力的技巧
推荐：使用NSDT场景编辑器助你快速搭建3D应用场景介绍您是否曾经花费数小时调试机器学习模型，但似乎找不到准确性没有提高的原因？你有没有觉得一切都应该完美地工作，但由于某种神秘的原因，你没有得到模范的结果？好吧，没有了。作为初学者探索PyTorch可能会令人生畏。在本文中，您将探索...... - 讲解pytorch的tensor没有移除某个元素的操作
在PyTorch中，要从一个Tensor中移除一个元素，您需要使用索引操作来选择保留的元素，然后重新创建一个新的Tensor。由于PyTorch的Tensor是不可变的，所以无法直接在原Tensor上移除元素。下面是一个示例，展示了如何从一个PyTorchTensor中移除指定位置的元素：importtorch#...... - 使用 Transformers 优化文本转语音模型 Bark
...... - bert，Bidirectional Encoder Representation from Transformers
BERT的全称是BidirectionalEncoderRepresentationfromTransformers，是Google2018年提出的预训练模型，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用了MaskedLM和NextSentencePrediction两种方法分别捕捉词语和句子...... - Lnton羚通视频算法算力云平台【PyTorch】教程:学习基础知识如何保存和加载模型
保存和加载模型是指将训练好的神经网络模型保存到文件中，以便在需要时重新加载该模型进行预测、推断或继续训练。保存模型的过程是将模型的参数和其他相关信息（如优化器状态等）保存到文件中。通过保存模型，我们可以在不重新训练的情况下保留模型的状态，方便后续使用。加载模型的过程是从...... - Lnton羚通视频算法算力云平台【PyTorch】教程：学习Datasets-DataLoader基础知识
Dataset&DataLoaderPyTorch提供了两个数据处理的基本方法：torch.utils.data.DataLoadertorch.utils.data.Dataset允许使用预加载的数据集以及自己的数据。Dataset存储样本及其对应的标签，DataLoader在Dataset基础上封装了一个可迭代的对象，以方便访问样本。PyTorch提供了......
|