首页 > 其他分享 >配置数据

配置数据

时间:2023-10-06 19:23:25浏览次数:33  
标签:val format 数据 配置 train test os size

目录

本文是跑yolov8前的数据集配置记录

注意:

  1. 图片命名不要包含中文,不带空格
  2. 后缀统一为.jpg/.png
  3. 标注文件(Annotations)有对应的原图

1.将xml格式数据转换为txt格式

提前在VCOdevkit文件夹下建立一个名为txt的文件夹

先放一个完整目录结构:

  • xml2txt脚本
import xml.etree.ElementTree as ET
import os, cv2
import numpy as np
from os import listdir
from os.path import join

classes = []

def convert(size, box):
    dw = 1. / (size[0])
    dh = 1. / (size[1])
    x = (box[0] + box[1]) / 2.0 - 1
    y = (box[2] + box[3]) / 2.0 - 1
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return (x, y, w, h)


def convert_annotation(xmlpath, xmlname):
    with open(xmlpath, "r", encoding='utf-8') as in_file:
        txtname = xmlname[:-4] + '.txt'
        txtfile = os.path.join(txtpath, txtname)
        tree = ET.parse(in_file)
        root = tree.getroot()
        filename = root.find('filename')
        img = cv2.imdecode(np.fromfile('{}/{}.{}'.format(imgpath, xmlname[:-4], postfix), np.uint8), cv2.IMREAD_COLOR)
        h, w = img.shape[:2]
        res = []
        for obj in root.iter('object'):
            cls = obj.find('name').text
            if cls not in classes:
                classes.append(cls)
            cls_id = classes.index(cls)
            xmlbox = obj.find('bndbox')
            b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
                 float(xmlbox.find('ymax').text))
            bb = convert((w, h), b)
            res.append(str(cls_id) + " " + " ".join([str(a) for a in bb]))
        if len(res) != 0:
            with open(txtfile, 'w+') as f:
                f.write('\n'.join(res))


if __name__ == "__main__":
    postfix = 'jpg'
    imgpath = 'VOCdevkit/JPEGImages'
    xmlpath = 'VOCdevkit/Annotations'
    txtpath = 'VOCdevkit/txt'
    
    if not os.path.exists(txtpath):
        os.makedirs(txtpath, exist_ok=True)
    
    list = os.listdir(xmlpath)
    error_file_list = []
    for i in range(0, len(list)):
        try:
            path = os.path.join(xmlpath, list[i])
            if ('.xml' in path) or ('.XML' in path):
                convert_annotation(path, list[i])
                print(f'file {list[i]} convert success.')
            else:
                print(f'file {list[i]} is not xml format.')
        except Exception as e:
            print(f'file {list[i]} convert error.')
            print(f'error message:\n{e}')
            error_file_list.append(list[i])
    print(f'this file convert failure\n{error_file_list}')
    print(f'Dataset Classes:{classes}')

2.划分数据集

执行split_data.py文件

import os, shutil, random
random.seed(0)
import numpy as np
from sklearn.model_selection import train_test_split

val_size = 0.1
test_size = 0.2
postfix = 'jpg'
imgpath = 'VOCdevkit/JPEGImages'
txtpath = 'VOCdevkit/txt'

os.makedirs('images/train', exist_ok=True)
os.makedirs('images/val', exist_ok=True)
os.makedirs('images/test', exist_ok=True)
os.makedirs('labels/train', exist_ok=True)
os.makedirs('labels/val', exist_ok=True)
os.makedirs('labels/test', exist_ok=True)

listdir = np.array([i for i in os.listdir(txtpath) if 'txt' in i])
random.shuffle(listdir)
train, val, test = listdir[:int(len(listdir) * (1 - val_size - test_size))], listdir[int(len(listdir) * (1 - val_size - test_size)):int(len(listdir) * (1 - test_size))], listdir[int(len(listdir) * (1 - test_size)):]
print(f'train set size:{len(train)} val set size:{len(val)} test set size:{len(test)}')

for i in train:
    shutil.copy('{}/{}.{}'.format(imgpath, i[:-4], postfix), 'images/train/{}.{}'.format(i[:-4], postfix))
    shutil.copy('{}/{}'.format(txtpath, i), 'labels/train/{}'.format(i))

for i in val:
    shutil.copy('{}/{}.{}'.format(imgpath, i[:-4], postfix), 'images/val/{}.{}'.format(i[:-4], postfix))
    shutil.copy('{}/{}'.format(txtpath, i), 'labels/val/{}'.format(i))

for i in test:
    shutil.copy('{}/{}.{}'.format(imgpath, i[:-4], postfix), 'images/test/{}.{}'.format(i[:-4], postfix))
    shutil.copy('{}/{}'.format(txtpath, i), 'labels/test/{}'.format(i))

3.配置路径

在dataset文件夹下的data.yaml中完成下面几项内容

train: C:\Users\***\yolov8-main\data\images\train
val: C:\Users\***\yolov8-main\data\images\val
test: C:\Users\***\yolov8-main\data\images\test

# number of classes
nc: 20

# class names

names :['aeroplane','bicycle','bird','boat','bottle','bus','car','cat','chair','cow','diningtable','dog','horse','motorbike','person','pottedplant','sheep','sofa','train','tvmonitor']

4.使用

在指定参数时,只需要指定data.yaml文件即可

parser.add_argument('--data', type=str, default='yolov8-main/data/data.yaml', help='data yaml path')

标签:val,format,数据,配置,train,test,os,size
From: https://www.cnblogs.com/lushuang55/p/17744852.html

相关文章

  • 缓存(Redis)与数据库(MySQL)一致性如何解决?
    【零】场景预设我们以12306购票系统为例,结合购票场景完成缓存与数据库双写一致性的相关问题解决【一】业务背景为了满足用户对一趟列车不同站点不同座位类型的余量查询需求,我们采取了一种优化方案。我们将这些余量信息存储在缓存中,以便用户可以快速查询。然而,在用户创建......
  • springboot项目-前台往后台传递json数据
    1、json数据对应实体类,用实体类接收----------------------------前台----------------------------------$.ajax({type:"POST",url:"/monster/updateMonster",contentType:"application/json",data:JSON.stringify(monster1),success:......
  • 数据库事务和隔离级别的解析
    什么是数据库中的事务,可以说事务就是一组原子性的SQL查询,独立的工作单元。我们的事务内的语句,要么全部执行成功,要么全部执行失败!事务要满足ACID特性,可以通过Commit提交一个事务,也可以使用Rollback进行回滚!下面我们就介绍一下事务的ACID特性。ACID特性原子性(actomicity)一个事......
  • 4. spring完全注解开发,独立配置,不使用xml
    user类: 转换结果: 注入参数还是上一篇所说的方法  支持最低版本spring4.1运行方法要有所改变:原来的://获取配置文件ApplicationContextcontext=newClassPathXmlApplicationContext("application.xml");//配置文件自动扫描z......
  • # yyds干货盘点 # 盘点一个Python自动化办公实战实现数据汇总填充(方法四)
    大家好,我是皮皮。一、前言前几天在Python最强王者交流群【哎呦喂 是豆子~】问了一个Python自动化办公的问题,一起来看看吧。下图是他的原始数据和他想得到的目标数据,如下所示:需要在标黄的两行里边进行相关操作。二、实现过程之前的文章中【莫生气】使用了openpyxl进行了实现,的确可......
  • 华为交换机通用配置方式方法
    华为交换机通用配置方式方法1,CONSOLE口接入专用的CONSOLE线,一端连接交换机的CONSOLE口,另一端连接电脑的串口,打开电脑的超级终端进行连入交换机后(交换机有默认用户和密码),出现提示符2,远程管理口地址配置system-view[quidway]interfaceMEth0/0/1[quidway]ipaddressAAA.AAA.AAA.AAAaa......
  • knative所有服务域名及单域名配置方法
    为所有服务配置域名kubectleditconfigmapconfig-domain-nknative-servingapiVersion:v1data:yht.com:""#写你要配置的域名查看域名在创建完应用之后会自动创建域名默认域名格式为:kservice名字+命名空间+二级域名。可修改,下面会给出教程[root@ip-172-17-11......
  • 如何远程修复损坏的mysql数据库
    当mysql数据库出现错误需要修复时,可以用mysqlcheck这个命令修复点击开始-运行,输入c:\mysqlcheck -r -u用户名 -p数据库密码 -h服务器地址 数据库名回车即可,如:c:\mysqlcheck -r -udemo -pdemo -h218.89.170.62 demo......
  • nodejs在linux下配置环境变量安装指南
    编辑环境变量#vim/etc/profile1.按i建进入插入编辑状态2.在文件最后加上两行:exportNODEJS_HOME=/usr/local/nodejs/node-v16.16.0-linux-x64exportPATH=$NODEJS_HOME/bin:$PATH3.按Esc退出编辑模式4.按:wq!退出并保存文件5.用下面命令刷新环境变量#......
  • 如何连接mysql数据库?
    下面的例子是用PHP4连接一个mysql数据库操作的演示<?    /*本例是用PHP4连接一个mysql数据库操作的演示,    实现连接打开一个库,并读取数据的基本功能。    */?><HTML><HEAD><META NAME="GENERATOR" Content="Microsoft Visual Studio 6.0"><style type="text/c......