使用深度学习框架进行街景语义分割-数据准备、模型选择、模型训练、模型评估以及如何使用PyQt5构建一个简单的应用来展示分割结果
街景 语义分割 数据集
- 数据集：jingjingji，长三角，珠三角共49个城市群百度街景(全景)数据，50m采样。包含街景图像、shp、csv等数据处理结果文件。
时间：采样点最新时间(2013年到2023年不等)
使用深度学习框架进行街景语义分割是一个复杂但非常有趣的过程。，包括数据准备、模型选择、模型训练、模型评估以及如何使用PyQt5构建一个简单的应用来展示分割结果。
1. 数据准备
1.1. 数据集结构
确保你的数据集按照以下结构组织：
dataset/
│
├── images/
│ ├── train/
│ ├── val/
│ └── test/
│
├── labels/
│ ├── train/
│ ├── val/
│ └── test/
│
└── data.yaml
1.2. 创建数据配置文件
创建一个data.yaml文件来配置数据集：
train: ./dataset/images/train
val: ./dataset/images/val
test: ./dataset/images/test
nc: 15 # 类别数量（假设15类）
names: ['road', 'sidewalk', 'building', 'wall', 'fence', 'pole', 'traffic_light', 'traffic_sign', 'vegetation', 'terrain', 'sky', 'person', 'rider', 'car', 'truck'] # 类别名称
# 下载数据集
download: ''
2. 安装YOLOv8
确保你已经安装了YOLOv8。YOLOv8是YOLO系列的最新版本，可以从Ultralytics的GitHub仓库中获取。
git clone https://github.com/ultralytics/yolov8.git
cd yolov8
pip install -r requirements.txt
3. 训练模型
3.1. 配置训练
使用YOLOv8进行语义分割。以下是一个示例命令：
python train.py --data ./dataset/data.yaml --img 640 --batch 16 --epochs 100 --name yolov8_custom --weights yolov8n-seg.pt
3.2. 微调模型
如果你想微调一个预训练模型，可以指定模型路径：
python train.py --data ./dataset/data.yaml --img 640 --batch 16 --epochs 100 --name yolov8_custom --weights yolov8n-seg.pt
4. 评估模型
4.1. 运行评估
在验证集上评估训练好的模型：
python val.py --data ./dataset/data.yaml --weights runs/train/yolov8_custom/weights/best.pt
4.2. 可视化结果
你可以使用val命令的--save标志来可视化结果：
python val.py --data ./dataset/data.yaml --weights runs/train/yolov8_custom/weights/best.pt --save
5. 使用PyQt5构建系统
5.1. 安装PyQt5
pip install PyQt5
5.2. 创建PyQt5应用
创建一个简单的PyQt5应用来展示分割结果。
import sys
from PyQt5.QtWidgets import QApplication, QWidget, QVBoxLayout, QLabel, QPushButton, QFileDialog
from PyQt5.QtGui import QPixmap
from PyQt5.QtCore import Qt
import cv2
import numpy as np
import torch
class MainWindow(QWidget):
def __init__(self):
super().__init__()
self.initUI()
self.model = torch.hub.load('ultralytics/yolov8', 'custom', path='runs/train/yolov8_custom/weights/best.pt')
def initUI(self):
self.setWindowTitle('街景语义分割')
self.setGeometry(100, 100, 800, 600)
layout = QVBoxLayout()
self.image_label = QLabel(self)
layout.addWidget(self.image_label)
self.load_button = QPushButton('加载图片', self)
self.load_button.clicked.connect(self.load_image)
layout.addWidget(self.load_button)
self.setLayout(layout)
def load_image(self):
file_dialog = QFileDialog()
file_dialog.setFileMode(QFileDialog.ExistingFile)
if file_dialog.exec_():
file_name = file_dialog.selectedFiles()[0]
self.image_label.setPixmap(QPixmap(file_name))
self.detect_defects(file_name)
def detect_defects(self, file_name):
img = cv2.imread(file_name)
results = self.model(img)
segmented_img = results[0].plot()
segmented_img = cv2.cvtColor(segmented_img, cv2.COLOR_BGR2RGB)
height, width, channel = segmented_img.shape
bytes_per_line = 3 * width
q_img = QImage(segmented_img.data, width, height, bytes_per_line, QImage.Format_RGB888)
self.image_label.setPixmap(QPixmap.fromImage(q_img))
if __name__ == '__main__':
app = QApplication(sys.argv)
window = MainWindow()
window.show()
sys.exit(app.exec_())
6. 其他建议
- 数据增强：使用数据增强技术来提高模型的鲁棒性。
- 模型集成：集成多个模型以提高性能。
- 模型量化：量化模型以适应边缘设备。
7. 示例代码
7.1. 数据预处理示例
import cv2
import os
def resize_images(input_dir, output_dir, size=(640, 640)):
if not os.path.exists(output_dir):
os.makedirs(output_dir)
for filename in os.listdir(input_dir):
if filename.endswith(('.jpg', '.png', '.jpeg')):
img_path = os.path.join(input_dir, filename)
img = cv2.imread(img_path)
img_resized = cv2.resize(img, size)
output_path = os.path.join(output_dir, filename)
cv2.imwrite(output_path, img_resized)
# 示例用法
resize_images('./dataset/images/train', './dataset/images/train_resized')
8. 运行和调试
确保你的环境配置正确，并且所有依赖项都已安装。运行PyQt5应用时，确保模型文件路径正确，并且数据集路径正确。
标签：分割,img,街景,模型,PyQt5,--,train,self From： https://blog.csdn.net/2401_88440984/article/details/144280191