首页 > 系统相关 >多进程系列:计算各子进程时间

多进程系列:计算各子进程时间

时间:2024-08-09 10:58:51浏览次数:17  
标签:系列 image dict 各子 time 进程 model segment classify

多进程系列:计算各子进程时间

了解各个子进程耗时对于负载均衡至关重要,下面展示代码示例和结果示例说明如何计算各子进程时间。

代码示例

import multiprocessing
import time
from pprint import pprint

# 假设以下是五个分类模型函数
def classify_model_1(image_path, queue):
    # 模拟分类操作
    time.sleep(1)
    print("classify_model_1")
    # return f"模型1分类结果: {image_path}"
    queue.put(f"模型1分类结果: {image_path}")


def classify_model_2(image_path, queue):
    # 模拟分类操作
    time.sleep(1)
    print("classify_model_2")
    # return f"模型2分类结果: {image_path}"
    queue.put(f"模型2分类结果: {image_path}")


# 假设以下是五个分割模型函数
def segment_model_1(image_path, queue):
    # 模拟分割操作
    time.sleep(1)
    print("segment_model_1")
    # return f"模型1分割结果: {image_path}"
    queue.put(f"模型1分割结果: {image_path}")


def segment_model_2(image_path, queue):
    # 模拟分割操作
    time.sleep(1)
    print("segment_model_2")
    # return f"模型2分割结果: {image_path}"
    queue.put(f"模型2分割结果: {image_path}")


# 进程执行函数
def process_image(image_path, result_dict, result_key):
    # 创建用于进程间通信的队列
    classify_queue = multiprocessing.Queue()
    segment_queue = multiprocessing.Queue()

    # 创建分类模型和分割模型的进程
    classify_processes = [
        multiprocessing.Process(
            target=classify_model_1, args=(image_path, classify_queue)
        ),
        multiprocessing.Process(
            target=classify_model_2, args=(image_path, classify_queue)
        ),
    ]


    segment_processes = [
        multiprocessing.Process(
            target=segment_model_1, args=(image_path, segment_queue)
        ),
        multiprocessing.Process(
            target=segment_model_2, args=(image_path, segment_queue)
        ),
    ]
    model_processes = classify_processes + segment_processes
    # 启动所有进程并记录开始时间
    start_time_dict = {}
    run_time_dict = {}
    for p in model_processes:
        p.start()
        start_time_dict[p.pid] = time.time()
    print(f"==>> start_time_dict: {start_time_dict}")
    # 等待所有分类模型进程完成并记录结束时间
    for p in classify_processes:
        p.join()
        run_time_dict[p.pid] = str(time.time() - start_time_dict[p.pid])

    # 等待所有分割模型进程完成并记录结束时间
    for p in segment_processes:
        p.join()
        run_time_dict[p.pid] = str(time.time() - start_time_dict[p.pid])
    print(f"==>> run_time_dict: {run_time_dict}")
    # 方法一
    # 按照顺序等待所有进程完成,比较耗时,
    # 适用于确保分类模型在分割模型之前完成
    # for p in model_processes:
    #     p.join()

    # 方法二
    # 分类模型进程和分割模型进程同时运行
    for p in classify_processes:
        p.join()

    # 等待所有分割模型进程完成
    for p in segment_processes:
        p.join()

    # 收集所有分类和分割模型的结果
    classify_results = []
    while not classify_queue.empty():
        classify_results.append(classify_queue.get())

    segment_results = []
    while not segment_queue.empty():
        segment_results.append(segment_queue.get())

    # return classify_results, segment_results
    # 将结果存储在共享字典中
    result_dict[result_key] = (classify_results, segment_results, run_time_dict)

# 主函数
if __name__ == "__main__":
    tic = time.time()
    # 假设我们有一个图像路径列表
    image_paths = [
        "image1.jpg",
        "image2.jpg",
    ]

    # 创建一个Manager来共享结果字典
    manager = multiprocessing.Manager()
    result_dict = manager.dict()
    processes = []
    for i, image_path in enumerate(image_paths):
        p = multiprocessing.Process(target=process_image, args=(image_path, result_dict, i))
        processes.append(p)
        p.start()

    # 等待所有图像处理进程完成
    for p in processes:
        p.join()

    # 输出结果
    for key, value in result_dict.items():
        pprint(value)

    toc = time.time()
    run_time = toc - tic
    print("程序运行时间:", run_time)

结果示例

classify_model_1
classify_model_2
classify_model_1
segment_model_1
segment_model_2
==>> start_time_dict: {203732: 1723085307.806911, 204608: 1723085307.9630837, 202820: 1723085307.9887679, 203004: 1723085308.0356302}
==>> run_time_dict: {203732: '2.909015655517578', 204608: '2.8934247493743896', 202820: '3.10205078125', 203004: '3.1345412731170654'}
classify_model_2
segment_model_1
segment_model_2
==>> start_time_dict: {184112: 1723085308.0356302, 200372: 1723085308.1605997, 204200: 1723085308.207462, 203284: 1723085308.4573998}
==>> run_time_dict: {184112: '3.023956775665283', 200372: '3.478219985961914', 204200: '3.510946035385132', 203284: '3.3078691959381104'}
(['模型1分类结果: image1.jpg', '模型2分类结果: image1.jpg'],
 ['模型1分割结果: image1.jpg', '模型2分割结果: image1.jpg'],
 {202820: '3.10205078125',
  203004: '3.1345412731170654',
  203732: '2.909015655517578',
  204608: '2.8934247493743896'})
(['模型1分类结果: image2.jpg', '模型2分类结果: image2.jpg'],
 ['模型1分割结果: image2.jpg', '模型2分割结果: image2.jpg'],
 {184112: '3.023956775665283',
  200372: '3.478219985961914',
  203284: '3.3078691959381104',
  204200: '3.510946035385132'})
程序运行时间: 5.741686582565308

标签:系列,image,dict,各子,time,进程,model,segment,classify
From: https://blog.csdn.net/familytaijun/article/details/141021741

相关文章

  • 多线程系列:线程中包含子线程
    多线程系列:线程中包含子线程这里展示的多线程基本包含了常见的多线程操作:实现线程中包含子线程;计算子线程耗时展示一个函数如何通过参数传递进行多线程一个线程调用一个函数的情况代码示例importthreadingimporttimefrompprintimportpprintimportqueue#假......
  • 多进程系列:不同的模型处理不同的数据
    多进程系列:不同的模型处理不同的数据代码示例importmultiprocessingimporttime#假设以下是五个分类模型函数defclassify_model_1(data):#模拟分类操作time.sleep(1)print("classify_model_1")returnf"模型1分类结果:{data}"defcl......
  • 【Playwright+Python】系列教程(八)鉴权Authentication的使用
    写在前面还是有些絮叨的感觉,官方翻译和某些博主写那个玩楞,基本都是软件直接翻译后的产物。读起来生硬不说,甚至有的时候不到是什么意思,真的是实在不敢恭维。到底是什么意思?就是你已经登陆过一次,在Session、Cookie未失效的情况下,登录过一次后,下次就不用再走一遍登录的过程,从而缩......
  • mysql系列之事务(三)
    1.为什么需要事务首先我们要知道什么是事务:事务(Transaction)是‌数据库系统中执行的一个工作单位,它是由用户定义的一组操作序列。一个事务可以是一组‌SQL语句、一条SQL语句或整个程序,一个应用程序可以包括多个事务。通俗易懂来说就是,我们在执行一个操作时,要保证要么都成......
  • 没闲着系列 22
    最近下班后,时间还是比较宽松的,相对宽松。今天更新一下TaskSaas近期有什么变动:一个就是概览dashboard以及需求、问题的选择中,加入了ALLTODODONE的分类,更便于查询全部、待做(新建、重新打开、进行中、待反馈)、已完成的分类。第二个是修复了工作台里的一系列bug。因为之前问题......
  • Linux进程管理
    Linux进程管理进程定义分配内存,已分配内存的地址空间安全属性,进程的运⾏身份和权限进程代码,运⾏⼀个或多个的线程进程状态,进程运⾏后的多种状态进程是已启动的可执行程序的运行实例。包含:分配内存、安全属性、进程代码、进程状态。静态程序:二进制文件(如/bin/ls,......
  • Java学习进程6
    大家好!这是我学习Java的第六周,今天我想和大家分享一下这一周我所做的事情、下周的计划、遇到的问题以及如何解决这些问题。本周学习内容在这一周,我继续深入学习Java语言的核心概念,特别是对面向对象编程(OOP)的理解。我复习了类和对象的定义,同时也对封装、继承和多态这三个重要概念......
  • ignite系列之20-数据源扩展GaussDB
    其它内容参见ignite系列之19-数据源扩展Postgresql publicStringloadCacheSelectRangeQuery(StringfullTblName,Collection<String>keyCols){Stringcols=mkString(keyCols,",");Stringcondition=DataSourceUtils.getCondition(fullTblName);ret......
  • YOLO系列:从yolov1至yolov8的进阶之路 持续更新中
    一、基本概念1.YOLO简介YOLO(YouOnlyLookOnce):是一种基于深度神经网络的对象识别和定位算法,其最大的特点是运行速度很快,可以用于实时系统。2.目标检测算法RCNN:该系列算法实现主要为两个步骤:先从图片中搜索出一些可能存在对象的候选区(SelectiveSearch),大概2000个左右;然后......
  • ignite系列之19-数据源扩展Postgresql
    storeFactory.setDialect(dialect);storeFactory.setDataSourceFactory(newDefaultDataSourceFactory((Object)null));storeFactory.setCacheName(igniteTable.tableName());importjavax.cache.configuration.Factory;publicclassDefaultDataSourceFactory<T>impl......