- 2024-07-04微调qwen-VL报错ValueError: Unrecognized configuration class＜xxx＞to build an AutoTokenizer
问题在微调qwen-vl的时候，微调完成之后，模型也保存好了，但是用保存的模型进行推理的时候报错，看样子是找不到分词器tokenizer。报错信息ValueError:Unrecognizedconfigurationclass<class‘transformers_modules.configuration_qwen.QWenConfig’>tobuildanAutoTok
- 2024-06-02一起学大模型 - 动手写一写langchain调用本地大模型（2）
文章目录前言一、自动选择1.使用AutoTokenizer和AutoModel的示例2.解释二、怎么实现自动选择的呢总结前言前一篇文章里，fromtransformersimportGPT2LMHeadModel,GPT2Tokenizer如果模型替换了，就得更改代码，很麻烦，那有没有更简单的方法呢？一、自动选择trans
- 2024-03-15Pytorch——AutoTokenizer载入本地tokenizer权重
由于众所周知的原因，国内很难使用huggingface去下载权重，但现在的大模型的权重以及相关的分词器配置都放在huggingface的仓库中。当我们使用 AutoTokenizer.from_pretrained 去载入相关分词器和模型时，会访问huggingface自动下载模型。但随着大模型的发布，很多模型的tokenizer都
- 2024-02-14Hugging Face-Transformers中的AutoModelForCausalLM 和 AutoTokenizer
AutoModelForCausalLM 和 AutoTokenizer 是HuggingFace的Transformers库中的两个类，用于处理自然语言处理（NLP）任务。AutoModelForCausalLM 是用于因果语言建模的模型的自动类，它可以加载不同的预训练模型进行文本生成任务。AutoTokenizer 用于加载与这些模型相对应的预训练分
- 2023-11-28文本向量化
词袋模型，词嵌入等等等等。都需要构建词汇表，个人能力是很有限，根本不可能构建一个效果好的。所以我不使用这些小型效果也不好，得到96维度的向量。 直接使用dmis-lab/biobert-v1.1地址：dmis-lab/biobert-v1.1·HuggingFace#Loadmodeldirectlyfromtransformersimport