首页 > 其他分享 >NLP（六十二）HuggingFace中的Datasets使用

NLP（六十二）HuggingFace中的Datasets使用

时间：2023-09-10 11:05:47浏览次数：50  
标签：load NLP Datasets train HuggingFace dataset squad datasets 数据

Datasets库是HuggingFace生态系统中一个重要的数据集库，可用于轻松地访问和共享数据集，这些数据集是关于音频、计算机视觉、以及自然语言处理等领域。

Datasets 库可以通过一行来加载一个数据集，并且可以使用 Hugging Face 强大的数据处理方法来快速准备好你的数据集。在 Apache Arrow 格式的支持下，通过 zero-copy read 来处理大型数据集，而没有任何内存限制，从而实现最佳速度和效率。

当需要微调模型的时候，需要对数据集进行以下操作：

  1. 数据集加载：下载、加载数据集
  2. 数据集预处理：使用Dataset.map() 预处理数据
  3. 数据集评估指标：加载和计算指标

可以在HuggingFace官网来搜共享索数据集：https://huggingface.co/datasets 。本文中使用的主要数据集为squad数据集，其在HuggingFace网站上的数据前几行如下：

NLP（六十二）HuggingFace中的Datasets使用_datasets

加载数据

  • 加载Dataset数据集

Dataset数据集可以是HuggingFace Datasets网站上的数据集或者是本地路径对应的数据集，也可以同时加载多个数据集。

以下是加载英语阅读理解数据集squad， 该数据集的网址为：<https://huggingface.co/datasets/squad> ，也是本文中使用的主要数据集。

import datasets

# 加载单个数据集
raw_datasets = datasets.load_dataset('squad')
# 加载多个数据集
raw_datasets = datasets.load_dataset('glue', 'mrpc')
  • 从文件中加载数据

支持csv, tsv, txt, json, jsonl等格式的文件

from datasets import load_dataset

data_files = {"train": "./data/sougou_mini/train.csv", "test": "./data/sougou_mini/test.csv"}
drug_dataset = load_dataset("csv", data_files=data_files, delimiter=",")
  • 从Dataframe中加载数据
import pandas as pd
from datasets import Dataset 

my_dict = {"a": [1, 2, 3], "b": ['A', 'B', 'C']} 
dataset1 = Dataset.from_dict(my_dict) 
 
df = pd.DataFrame(my_dict) 
dataset2 = Dataset.from_pandas(df)

查看数据

  • 数据结构

数据结构包括：

  • 数据集的划分：train，valid，test数据集
  • 数据集的数量
  • 数据集的feature

squad数据的数据结构如下：

DatasetDict({
    train: Dataset({
        features: ['id', 'title', 'context', 'question', 'answers'],
        num_rows: 87599
    })
    validation: Dataset({
        features: ['id', 'title', 'context', 'question', 'answers'],
        num_rows: 10570
    })
})
  • 数据切分
import datasets

raw_dataset = datasets.load_dataset('squad')

# 获取某个划分数据集，比如train
train_dataset = raw_dataset['train']
# 获取前10条数据
head_dataset = train_dataset.select(range(10))
# 获取随机10条数据
shuffle_dataset = train_dataset.shuffle(seed=42).select(range(10))
# 数据切片
slice_dataset = train_dataset[10:20]

更多特性

  • 数据打乱（shuffle）

shuffle的功能是打乱datasets中的数据，其中seed是设置打乱的参数，如果设置打乱的seed是相同的，那我们就可以得到一个完全相同的打乱结果，这样用相同的打乱结果才能重复的进行模型试验。

import datasets

raw_dataset = datasets.load_dataset('squad')
# 打乱数据集
shuffle_dataset = train_dataset.shuffle(seed=42)
  • 数据流（stream）

stream的功能是将数据集进行流式化，可以不用在下载整个数据集的情况下使用该数据集。这在以下场景中特别有用：

  1. 你不想等待整个庞大的数据集下载完毕
  2. 数据集大小超过了你计算机的可用硬盘空间
  3. 你想快速探索数据集的少数样本
from datasets import load_dataset

dataset = load_dataset('oscar-corpus/OSCAR-2201', 'en', split='train', streaming=True)
print(next(iter(dataset)))
  • 数据列重命名（rename columns）

数据集支持对列重命名。下面的代码将squad数据集中的context列重命名为text：

from datasets import load_dataset

squad = load_dataset('squad')
squad = squad.rename_column('context', 'text')
  • 数据丢弃列（drop columns）

数据集支持对列进行丢弃，在删除一个或多个列时，向remove_columns()函数提供要删除的列名。单个列删除传入列名，多个列删除传入列名的列表。下面的代码将squad数据集中的id列丢弃：

from datasets import load_dataset

squad = load_dataset('squad')
# 删除一个列
squad = squad.remove_columns('id')
# 删除多个列
squad = squad.remove_columns(['title', 'text'])
  • 数据新增列（add new columns）

数据集支持新增列。下面的代码在squad数据集上新增一列test，内容全为字符串111：

from datasets import load_dataset

squad = load_dataset('squad')
# 新增列
new_train_squad = squad['train'].add_column("test", ['111'] * squad['train'].num_rows)
  • 数据类型转换（cast）

cast()函数对一个或多个列的特征类型进行转换。这个函数接受你的新特征作为其参数。

from datasets import load_dataset

squad = load_dataset('squad')
# 新增列
new_train_squad = squad['train'].add_column("test", ['111'] * squad['train'].num_rows)
print(new_train_squad.features)
# 转换test列的数据类型
new_features = new_train_squad.features.copy()
new_features["test"] = Value("int64")
new_train_squad = new_train_squad.cast(new_features)
# 输出转换后的数据类型
print(new_train_squad.features)
  • 数据展平（flatten）

针对嵌套结构的数据类型，可使用flatten()函数将子字段提取到它们自己的独立列中。

from datasets import load_dataset

squad = load_dataset('squad')
flatten_dataset = squad['train'].flatten()
print(flatten_dataset)

输出结果为：

Dataset({
    features: ['id', 'title', 'context', 'question', 'answers.text', 'answers.answer_start'],
    num_rows: 87599
})
  • 数据合并（Concatenate Multiple Datasets）

如果独立的数据集有相同的列类型，那么它们可以被串联起来。用concatenate_datasets()来连接不同的数据集。

from datasets import concatenate_datasets, load_dataset

squad = load_dataset('squad')
squad_v2 = load_dataset('squad_v2')
# 合并数据集
squad_all = concatenate_datasets([squad['train'], squad_v2['train']])
  • 数据过滤（filter）

filter()函数支持对数据集进行过滤，一般采用lambda函数实现。下面的代码对squad数据集中的训练集的question字段，过滤掉split后长度小于等于10的数据：

from datasets import load_dataset

squad = load_dataset('squad')
filter_dataset = squad['train'].filter(lambda x: len(x["question"].split()) > 10)

输出结果如下：

Dataset({
    features: ['id', 'title', 'context', 'question', 'answers'],
    num_rows: 34261
})
  • 数据排序（sort）

使用sort()对列值根据其数值进行排序。下面的代码是对squad数据集中的训练集按照标题长度进行排序：

from datasets import load_dataset

squad = load_dataset('squad')
# 新增列, title_length, 标题长度
new_train_squad = squad['train'].add_column("title_length", [len(_) for _ in squad['train']['title']])
# 按照title_length排序
new_train_squad = new_train_squad.sort("title_length")
  • 数据格式（set_format）

set_format()函数改变了一个列的格式，使之与一些常见的数据格式兼容。在类型参数中指定你想要的输出和你想要格式化的列。格式化是即时应用的。支持的数据格式有：None, numpy, torch, tensorflow, pandas, arrow, 如果选择None，就会返回python对象。

下面的代码将新增标题长度列，并将其转化为numpy格式：

from datasets import load_dataset

squad = load_dataset('squad')
# 新增列, title_length, 标题长度
new_train_squad = squad['train'].add_column("title_length", [len(_) for _ in squad['train']['title']])
# 转换为numpy支持的数据格式
new_train_squad.set_format(type="numpy", columns=["title_length"])
  • 数据指标（load metrics）

HuggingFace Hub上提供了一系列的评估指标（metrics），前20个指标如下：

from datasets import list_metrics
metrics_list = list_metrics()
print(', '.join(metric for metric in metrics_list[:20]))

输出结果如下：

accuracy, bertscore, bleu, bleurt, brier_score, cer, character, charcut_mt, chrf, code_eval, comet, competition_math, coval, cuad, exact_match, f1, frugalscore, glue, google_bleu, indic_glue

从Hub中加载一个指标，使用 datasets.load_metric() 命令，比如加载squad数据集的指标：

from datasets import load_metric
metric = load_metric('squad')

输出结果如下：

Metric(name: "squad", features: {'predictions': {'id': Value(dtype='string', id=None), 'prediction_text': Value(dtype='string', id=None)}, 'references': {'id': Value(dtype='string', id=None), 'answers': Sequence(feature={'text': Value(dtype='string', id=None), 'answer_start': Value(dtype='int32', id=None)}, length=-1, id=None)}}, usage: """
Computes SQuAD scores (F1 and EM).
Args:
    predictions: List of question-answers dictionaries with the following key-values:
        - 'id': id of the question-answer pair as given in the references (see below)
        - 'prediction_text': the text of the answer
    references: List of question-answers dictionaries with the following key-values:
        - 'id': id of the question-answer pair (see above),
        - 'answers': a Dict in the SQuAD dataset format
            {
                'text': list of possible texts for the answer, as a list of strings
                'answer_start': list of start positions for the answer, as a list of ints
            }
            Note that answer_start values are not taken into account to compute the metric.
Returns:
    'exact_match': Exact match (the normalized answer exactly match the gold answer)
    'f1': The F-score of predicted tokens versus the gold answer
Examples:

    >>> predictions = [{'prediction_text': '1976', 'id': '56e10a3be3433e1400422b22'}]
    >>> references = [{'answers': {'answer_start': [97], 'text': ['1976']}, 'id': '56e10a3be3433e1400422b22'}]
    >>> squad_metric = datasets.load_metric("squad")
    >>> results = squad_metric.compute(predictions=predictions, references=references)
    >>> print(results)
    {'exact_match': 100.0, 'f1': 100.0}
""", stored examples: 0)

load_metric还支持分布式计算，本文不再详细讲述。

load_metric现在已经是老版本了，新版本将用evaluate模块代替，访问网址为：https://github.com/huggingface/evaluate 。

  • 数据映射（map）

map就是映射，它接收一个函数，Dataset中的每个元素都会被当作这个函数的输入，并将函数返回值作为新的Dataset。常见的map函数的应用是对文本进行tokenize：

from datasets import load_dataset
from transformers import AutoTokenizer

squad_dataset = load_dataset('squad')

checkpoint = 'bert-base-cased'
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

def tokenize_function(sample):
    return tokenizer(sample['context'], truncation=True, max_length=256)

tokenized_dataset = squad_dataset.map(tokenize_function, batched=True)

输出结果如下：

DatasetDict({
    train: Dataset({
        features: ['id', 'title', 'context', 'question', 'answers', 'input_ids', 'token_type_ids', 'attention_mask'],
        num_rows: 87599
    })
    validation: Dataset({
        features: ['id', 'title', 'context', 'question', 'answers', 'input_ids', 'token_type_ids', 'attention_mask'],
        num_rows: 10570
    })
})
  • 数据保存/加载（save to disk/ load from disk）

使用save_to_disk()来保存数据集，方便在以后重新使用它,使用 load_from_disk()函数重新加载数据集。我们将上面map后的tokenized\_dataset数据集进行保存：

tokenized_dataset.save_to_disk("squad_tokenized")

保存后的文件结构如下：

squad_tokenized/
├── dataset_dict.json
├── train
│   ├── data-00000-of-00001.arrow
│   ├── dataset_info.json
│   └── state.json
└── validation
    ├── data-00000-of-00001.arrow
    ├── dataset_info.json
    └── state.json

加载数据的代码如下：

from datasets import load_from_disk
reloaded_dataset = load_from_disk("squad_tokenized")

总结

本文可作为dataset库的入门，详细介绍了数据集的各种操作，这样方便后续进行模型训练。


参考文献

  1. Datasets: <https://www.huaxiaozhuan.com/工具/huggingface_transformer/chapters/2_datasets.html>
  2. Huggingface详细入门介绍之dataset库：<https://zhuanlan.zhihu.com/p/554678463>
  3. Stream: <https://huggingface.co/docs/datasets/stream>
  4. HuggingFace教程 Datasets基本操作: Process: <https://zhuanlan.zhihu.com/p/557032513>

标签：load,NLP,Datasets,train,HuggingFace,dataset,squad,datasets,数据
From： https://blog.51cto.com/u_14337819/7423732

相关文章

  • NLP中关键概念 词干提取（Stemming），词形还原（Lemmatization），命名实体识别简介
    词干提取（Stemming）和词形还原（Lemmatization）是自然语言处理中常用的文本预处理技术，用于将单词转化为它们的原始形式，以减少词汇的变形形式，从而简化文本分析和比较。1.词干提取（Stemming）：词干提取是一种基于规则的文本处理方法，通过删除单词的后缀来提取词干（stem）。它的目的是将单词转化......
  • 自然语言的处理 nlp
      分词得到语言首先使用分词机器进行分词首先使用正则表达式过滤标点空格，一般使用NLTK进行首次分词n-gram相邻的词组成短语，更有意义。停用词的过滤aantheof之类大小写转换词干还原househouseshouseing还原成house,nltk.stem.porter包还原成原来的词词形归并be......
  • NLP 概念
    序列标注，给定一个序列，找出序列中每个元素对应的标签。中文分词、词性标注、命名实体识别都可以转化为序列标注问题。 词法分析：中文分词、词性标注、命名实体识别中文分词：将文本分隔为有意义的词语词性标注：确定每个词语的类别和浅层的歧义消除命名实体识别：识别出较长的专有......
  • AI「反腐」，德国马普所结合 NLP 和 DNN 开发抗蚀合金
    内容一览：在被不锈钢包围的世界中，我们可能都快忘记了腐蚀的存在。然而，腐蚀存在于生活中的方方面面。无论是锈迹斑斑的钢钉，老化漏液的电线，还是失去光泽的汽车，这一切的发生都与腐蚀有关。据统计，全世界每年由金属腐蚀带来的经济损失超过2.5万亿美元，远超过其他自然灾害。其中，腐蚀在中......
  • NLP 序列标注
    转载：https://blog.csdn.net/kevinjin2011/article/details/113939817序列标注（Sequencelabeling）是NLP问题中的基本问题。在序列标注中，我们想对一个序列的每一个元素标注一个标签。一般来说，一个序列指的是一个句子，而一个元素指的是句子中的一个词。 NLP中的序列标注方式常用的......
  • NLP原理系列1-说清楚transformer原理
    NLP原理系列1-说清楚transformer原理来用思维导图和截图描述。思维导图的本质是变化(解决问题)->更好的，或者复杂问题拆分为小问题以及拆分的思路。 参考链接：李宏毅transformer原理。 一tansformer的推理及训练过程1tf训练过程红框部分是训练得grandtruth，......
  • 文本标注技术方案（NLP标注工具）
    Doccanodoccano是一个面向人类的开源文本注释工具。它为文本分类、序列标记和序列到序列任务提供注释功能。您可以创建用于情感分析、命名实体识别、文本摘要等的标记数据。只需创建一个项目，上传数据，然后开始注释。您可以在数小时内构建数据集。支持命名实体识别，情感分类，机器......
  • nlp 特殊标记符
    BERT模型中的特殊标记（SpecialTokens）。它们的含义如下：[PAD]：在batch中对齐序列长度时，用[PAD]进行填充以使所有序列长度相同。可以通过将其添加到较短的序列末尾来实现对齐。[CLS]：在输入序列的开头添加[CLS]标记，以表示该序列的分类结果。[SEP]：用于分隔两个句子，例如在文本分类问......
  • 带你上手基于Pytorch和Transformers的中文NLP训练框架
    本文分享自华为云社区《全套解决方案：基于pytorch、transformers的中文NLP训练框架，支持大模型训练和文本生成，快速上手，海量训练数据》，作者：汀丶。1.简介目标：基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生......
  • 基本经典的NLP书籍
    以下是几本经典的自然语言处理（NLP）书籍："SpeechandLanguageProcessing:AnIntroductiontoNaturalLanguageProcessing,ComputationalLinguistics,andSpeechRecognition"byDanielJurafskyandJamesH.Martin-这是一本广泛使用的教材，介绍了自然语言处理的基本概......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99