首页 > 编程语言 >66、python爬虫数据和预处理标签数据和yolov8训练

66、python爬虫数据和预处理标签数据和yolov8训练

时间:2024-01-03 11:36:28浏览次数:40  
标签:appendChild python doc image yolov8 66 text createElement dir


基本思想:需要使用爬虫代码,预先爬虫一些数据和标注,这里只做简单记录,不做具体意图探讨

一、爬虫数据,然后进行部分筛选

# -*- coding: utf-8 -*-
import requests
import os
import re


def get_images_from_baidu(keyword, page_num, save_dir):
    # UA 伪装:当前爬取信息伪装成浏览器
    # 将 User-Agent 封装到一个字典中
    # 【(网页右键 → 审查元素)或者 F12】 → 【Network】 → 【Ctrl+R】 → 左边选一项,右边在 【Response Hearders】 里查找
    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
    # 请求的 url
    url = 'https://image.baidu.com/search/acjson?'
    n = 0
    for pn in range(0, 30 * page_num, 30):
        # 请求参数
        param = {'tn': 'resultjson_com',
                 # 'logid': '7603311155072595725',
                 'ipn': 'rj',
                 'ct': 201326592,
                 'is': '',
                 'fp': 'result',
                 'queryWord': keyword,
                 'cl': 2,
                 'lm': -1,
                 'ie': 'utf-8',
                 'oe': 'utf-8',
                 'adpicid': '',
                 'st': -1,
                 'z': '',
                 'ic': '',
                 'hd': '',
                 'latest': '',
                 'copyright': '',
                 'word': keyword,
                 's': '',
                 'se': '',
                 'tab': '',
                 'width': '',
                 'height': '',
                 'face': 0,
                 'istype': 2,
                 'qc': '',
                 'nc': '1',
                 'fr': '',
                 'expermode': '',
                 'force': '',
                 'cg': '',  # 这个参数没公开,但是不可少
                 'pn': pn,  # 显示:30-60-90
                 'rn': '30',  # 每页显示 30 条
                 'gsm': '1e',
                 '1618827096642': ''
                 }
        request = requests.get(url=url, headers=header, params=param)
        if request.status_code == 200:
            print('Request success.')
        request.encoding = 'utf-8'
        # 正则方式提取图片链接
        html = request.text
        image_url_list = re.findall('"thumbURL":"(.*?)",', html, re.S)
        print(image_url_list)

        if not os.path.exists(save_dir):
            os.makedirs(save_dir)

        for image_url in image_url_list:
            image_data = requests.get(url=image_url, headers=header).content
            with open(os.path.join(save_dir, f'{n:06d}.jpg'), 'wb') as fp:
                fp.write(image_data)
            n = n + 1


if __name__ == '__main__':
    keyword = '蓝色工业箱子'
    root = "C:\\Downloads"
    save_dir = os.path.join(root, keyword)
    page_num = 60  # 实际是每页30 page_num*30个数据
    get_images_from_baidu(keyword, page_num, save_dir)
    print('Get images finished.')

二、将条形码贴到白底的图片上,生成labelImg标签

import glob
import os.path
from PIL import Image
import numpy as np
import cv2
import glob
from xml.dom.minidom import Document
import random

dest_dir="output"
if not os.path.exists(dest_dir):
    os.mkdir(dest_dir)
# 创建一个黑色图像
label_w=1920
label_h=1080



 # paste image giving dimensions
for idx in range(0,500):
    img = np.ones((label_h, label_w), np.uint8) * 255
    cv2.imwrite("template.jpg", img)
    arcode_id=idx%5

    image_dir = "/home/ubuntu/PycharmProjects/pythonProject9/arcode_dir/"+str(arcode_id)+".png"
    path_0, filename_0 = os.path.split(image_dir)
    image = cv2.imread(image_dir)
    print(image.shape)
    h_, w_, _ = image.shape

    # open the image

    Image1 = Image.open('template.jpg')

    # make a copy the image so that

    # the original image does not get affected

    Image1copy = Image1.copy()

    Image2 = Image.open(image_dir)

    Image2copy = Image2.copy()

    x_=random.randint(0 , label_w-w_)
    y_=random.randint(0 , label_h-h_)
    Image1copy.paste(Image2copy, (x_, y_))

     # save the image

    new_image_name=os.path.join(str(idx)+"_arcode.jpg")
    Image1copy.save(os.path.join(dest_dir,new_image_name))
    filename_0=str(idx)+"_arcode.jpg"


    doc = Document()  # 创建DOM文档对象
    DOCUMENT = doc.createElement('annotation')  # 创建根元素

    folder = doc.createElement('folder')  ##建立自己的开头
    folder_text = doc.createTextNode('JPEGImages')  ##建立自己的文本信息
    folder.appendChild(folder_text)  ##自己的内容
    DOCUMENT.appendChild(folder)
    doc.appendChild(DOCUMENT)

    filename = doc.createElement('filename')
    filename_text = doc.createTextNode(filename_0)
    filename.appendChild(filename_text)
    DOCUMENT.appendChild(filename)
    doc.appendChild(DOCUMENT)

    path = doc.createElement('path')
    path_text = doc.createTextNode(filename_0)
    path.appendChild(path_text)
    DOCUMENT.appendChild(path)
    doc.appendChild(DOCUMENT)

    source = doc.createElement('source')
    database = doc.createElement('database')
    database_text = doc.createTextNode('Unknow')  # 元素内容写入
    database.appendChild(database_text)
    source.appendChild(database)
    DOCUMENT.appendChild(source)
    doc.appendChild(DOCUMENT)

    size = doc.createElement('size')
    width = doc.createElement('width')
    width_text = doc.createTextNode(str(label_w))  # 元素内容写入
    width.appendChild(width_text)
    size.appendChild(width)

    height = doc.createElement('height')
    height_text = doc.createTextNode(str(label_h))
    height.appendChild(height_text)
    size.appendChild(height)

    depth = doc.createElement('depth')
    depth_text = doc.createTextNode('3')
    depth.appendChild(depth_text)
    size.appendChild(depth)

    DOCUMENT.appendChild(size)

    segmented = doc.createElement('segmented')
    segmented_text = doc.createTextNode('0')
    segmented.appendChild(segmented_text)
    DOCUMENT.appendChild(segmented)
    doc.appendChild(DOCUMENT)

    object = doc.createElement('object')
    name = doc.createElement('name')
    name_text = doc.createTextNode('2')
    name.appendChild(name_text)
    object.appendChild(name)

    pose = doc.createElement('pose')
    pose_text = doc.createTextNode('Unspecified')
    pose.appendChild(pose_text)
    object.appendChild(pose)

    truncated = doc.createElement('truncated')
    truncated_text = doc.createTextNode('0')
    truncated.appendChild(truncated_text)
    object.appendChild(truncated)

    bndbox = doc.createElement('bndbox')
    xmin = doc.createElement('xmin')
    xmin_text = doc.createTextNode(str(x_))
    xmin.appendChild(xmin_text)
    bndbox.appendChild(xmin)

    ymin = doc.createElement('ymin')
    ymin_text = doc.createTextNode(str(y_))
    ymin.appendChild(ymin_text)
    bndbox.appendChild(ymin)

    xmax = doc.createElement('xmax')
    xmax_text = doc.createTextNode(str(x_+w_))
    xmax.appendChild(xmax_text)
    bndbox.appendChild(xmax)

    ymax = doc.createElement('ymax')
    ymax_text = doc.createTextNode(str(y_+h_))
    ymax.appendChild(ymax_text)
    bndbox.appendChild(ymax)
    object.appendChild(bndbox)

    DOCUMENT.appendChild(object)

    ############item:Python处理XML之Minidom################

    ########### 将DOM对象doc写入文件

    f = open(os.path.join(dest_dir, str(idx)+'_arcode.xml'), 'w')

    doc.writexml(f, indent='\t', newl='\n', addindent='\t', encoding='utf-8')
    f.close()

三、数据集组织方式和yolov5方式是一样的

32 、 YOLO5训练自己的模型以及转ncnn模型_ncnn模型训练 然后训练模型

ubuntu@ubuntu:~/ultralytics$ yolo task=detect mode=train model=/home/ubuntu/ultralytics/yolov8n.pt epochs=1000 batch=16 data=/home/ubuntu/ultralytics/ultralytics/datasets/trainData.yaml

四、转onnx

ubuntu@ubuntu:~/ultralytics$ python3 export.py --weights /home/ubuntu/ultralytics/runs/detect/train/weights/best.pt --include  onnx

五、转TensorRT

ubuntu@ubuntu:~/NVIDIA_CUDA-11.1_Samples/TensorRT-8.6.1.6/bin$ ./trtexec --onnx=/home/ubuntu/ultralytics/runs/detect/train/weights/best.onnx --saveEngine=/home/ubuntu/ultralytics/runs/detect/train/weights/best.engine

测试代码:待补充

标签:appendChild,python,doc,image,yolov8,66,text,createElement,dir
From: https://blog.51cto.com/u_12504263/9080778

相关文章

  • 10个最难的 Python 问题!
    01、round()函数你认为以下代码的结果是什么:print(round(9/2))print(round(7/2))print(round(3/2))答案:4、4、2为什么print(round(7/2))输出4而不是3,或者为什么print(round(9/2))输出4而不是5?这是因为,在python中,round函数实现了银行式的四舍五入,其中所有的半值都被......
  • Python SMTP发送邮件
    SMTP(SimpleMailTransferProtocol)即简单邮件传输协议,它是一组用于由源地址到目的地址传送邮件的规则,由它来控制信件的中转方式。python的smtplib提供了一种很方便的途径发送电子邮件。它对smtp协议进行了简单的封装。importsmtplibsmtpObj=smtplib.SMTP([host[,port[,......
  • Python中pytest命令行实现环境切换
    前言在自动化测试过程中经常需要在不同的环境下进行测试验证,所以写自动化测试代码时需要考虑不同环境切换的情况。pytest钩子函数pytest_addoption可以很好帮我们解决这个痛点。pytest_addoption(parser, pluginmanager)注册argparse样式选项和ini样式配置值,在测试运行开始时调用......
  • Python pytest.main()运行测试用例
    前言前面一直使用命令行运行pytest用例,本篇来学下使用pytest.main()来运行测试用例pytest.main()args传一个list对象,list里面是多个命令行的参数plugins传一个list对象,list里面是初始化的时候需注册的插件不带参数运行importpytest#等同于命令行执行pytest#默认运行的是......
  • Python模块之hashlib模块
    hashlib模块【一】概要hashlib模块是Python中提供对哈希算法的支持的模块。它提供了常见的哈希算法,如MD5、SHA-1、SHA-224、SHA-256、SHA-384和SHA-512,以及一些其他哈希算法。【二】常见用法计算哈希值:hashlib.md5():创建一个MD5哈希对象。hashlib.sha1():创......
  • 【小沐学写作】PPT、PDF文件添加水印(Python)
    1、简介水印通常用于保护文档或指定其所有权。另一方面,它们用于显示文档的状态,例如手稿、草稿等。在本文中,我们将演示如何在PowerPoint演示文稿中插入水印。您将学习如何在Python中为PowerPointPPT幻灯片添加文本或图像水印。2、ppt添加水印2.1PowerPoint幻灯片母版htt......
  • 微软的一些公开课,Python、机器学习、SQL、AI,全部免费
    大家好,我是老章,刷X看到一位博主AlifHossain⚡@alifcoder总结了微软的一些公开课,全部免费,蛮不错的。感兴趣可以学一波,还能领徽章。1.机器学习简介本课程是学习机器学习基础知识和用例的好方法。→11个模块→2.5小时→适合初学者→免费徽章链接:https://learn.micros......
  • python之bytes与str互转
    fromhex()bytes.fromhex()是一个内置函数,用于从十六进制字符串创建字节串(bytes)对象。fromhex()方法接受一个十六进制字符串作为输入,并将其转换为对应的字节串。输入的十六进制字符串可以包含数字0-9和小写字母a-f(或大写字母A-F)。以下是使用bytes.fromhex()的示例代码:hex_stri......
  • MT8766核心板_基于联发科MTK8766安卓核心板的手持终端解决方案
    MT8766安卓核心板采用联发科MTK8766四核4G模块方案,是一款集成安卓系统的一体板。它具备四核芯片架构,主频高达2.0GHz,支持国内4G全网通,采用12nm制程工艺,兼容谷歌Android9.0系统。MT8766安卓核心板还配备了功能强大的IMGGE8300GPU,主频达到600MHz。其内存支持4GB,摄像头......
  • python初试七
    前面的文章研究了Django最主要的几个方面:数据库,模板,动态生成页面等。但都是使用pythonmanage.pyrunserver来运行服务器。这是一个实验性的web服务器,不适用于正常的站点运行。我们需要一个可以稳定而持续的服务器。这个服务器负责监听http端口,将收到的请求交给Django处理,将Django......