[经验] 自定义数据集：TFRecord

标签：TFRecord 经验 定义数据 image labels bytes label tf

1. 为什么要使用TFRecord？

在使用TensorFlow自定义数据集时，最常用的格式是将数据集转换为TFRecord格式。TFRecord是一种高效的数据存储格式，可以将数据序列化为一个或多个文件，并且可以方便地读取和处理。

TFRecord格式具有以下优点：

1. 高效性：TFRecord文件是二进制文件，可以通过并行化IO操作和其他技术来实现高效的数据读取和预处理。

2. 灵活性：TFRecord文件可以存储不同形状和类型的数据，包括图像、文本、音频等。

3. 可扩展性：TFRecord格式可以容纳非常大的数据集，并且可以轻松地将新数据添加到现有的TFRecord文件中。

    

2. 加载方法

要将数据集转换为TFRecord格式，可以使用TensorFlow提供的tf.data.Dataset API。

首先，将数据加载到内存中，再使用tf.train.Example将每个样本转换为TFRecord格式。

然后使用tf.io.TFRecordWriter将TFRecord数据写入磁盘。

 

3. 示例代码

以下是一个将图像数据集转换为TFRecord格式的示例代码：

import tensorflow as tf
import numpy as np
import os

# Set up file paths and class labels
image_dir = "path/to/image/directory"
label_file = "path/to/label/file"
class_labels = ["class1", "class2", "class3"]

# Load data and labels
image_paths = np.array([os.path.join(image_dir, f) for f in os.listdir(image_dir)])
labels = np.loadtxt(label_file, dtype=np.int32)

# Convert labels to one-hot encoding
labels = tf.one_hot(labels, depth=len(class_labels))

# Create dataset
dataset = tf.data.Dataset.from_tensor_slices((image_paths, labels))

# Define function to serialize data
def _bytes_feature(value):
    return tf.train.Feature(bytes_list=tf.train.BytesList(value=[value]))

# Convert each sample to TFRecord format and write to disk
with tf.io.TFRecordWriter("path/to/output.tfrecord") as writer:
    for image_path, label in dataset:
        image = tf.io.read_file(image_path)
        image = tf.image.decode_jpeg(image)
        image = tf.image.convert_image_dtype(image, tf.float32)
        image = tf.image.resize(image, [224, 224])
        image_bytes = tf.io.serialize_tensor(image)
        label_bytes = tf.io.serialize_tensor(label)
        feature = {
            "image": _bytes_feature(image_bytes.numpy()),
            "label": _bytes_feature(label_bytes.numpy())
        }
        example = tf.train.Example(features=tf.train.Features(feature=feature))
        writer.write(example.SerializeToString())

在上述代码中，我们首先使用numpy加载图像和标签数据。然后使用tf.data.Dataset将数据集加载到内存中，并将每个样本转换为TFRecord格式。最后将TFRecord数据写入磁盘。   具体实现时需要替换对应参数。

标签：TFRecord,经验,定义数据,image,labels,bytes,label,tf
From： https://www.cnblogs.com/sonor/p/17122427.html