首页 > 其他分享 >生产消费者模型

生产消费者模型

时间:2024-11-10 15:47:18浏览次数:3  
标签:加锁 消费者 lock 模型 互斥 线程 生产 mutex wait

           线程同步

  • 互斥锁(互斥量)
  • 条件变量
  • 生产/消费者模型

一、互斥锁

C++11提供了四种互斥锁:

  • mutex:互斥锁。
  • timed_mutex:带超时机制的互斥锁。
  • recursive_mutex:递归互斥锁。
  • recursive_timed_mutex:带超时机制的递归互斥锁。

包含头文件:#include <mutex>

1、mutex类

1)加锁lock()

互斥锁有锁定和未锁定两种状态。

如果互斥锁是未锁定状态,调用lock()成员函数的线程会得到互斥锁的所有权,并将其上锁。

如果互斥锁是锁定状态,调用lock()成员函数的线程就会阻塞等待,直到互斥锁变成未锁定状态。

2)解锁unlock()

只有持有锁的线程才能解锁。

lock和unlock至少满足95%的应用场景!

3)尝试加锁try_lock()

如果互斥锁是未锁定状态,则加锁成功,函数返回true。

如果互斥锁是锁定状态,则加锁失败,函数立即返回false。(线程不会阻塞等待)

2、timed_mutex类

增加了两个成员函数:

bool try_lock_for(时间长度);

bool try_lock_until(时间点);

3、recursive_mutex类

递归互斥锁允许同一线程多次获得互斥锁,可以解决同一线程多次加锁造成的死锁问题。

4、lock_guard类

lock_guard是模板类,可以简化互斥锁的使用,也更安全。

lock_guard的定义如下:

template<class Mutex>
class lock_guard
{
  explicit lock_guard(Mutex& mtx);
}

lock_guard在构造函数中加锁,在析构函数中解锁。

lock_guard采用了RAII思想(在类构造函数中分配资源,在析构函数中释放资源,保证资源在离开作用域时自动释放)。

二、条件变量-生产消费者模型

条件变量

  • 当条件不满足时,相关线程被一直阻塞,直到某种条件出现,这些线程才会被唤醒。
  • 为了保护共享资源,条件变量需要和互斥锁结合一起使用
  • 生产/消费者模型(高速缓存队列)

255fcf5dd16f4cce8e2a84a585deb1a7.png

条件变量是一种线程同步机制。当条件不满足时,相关线程被一直阻塞,直到某种条件出现,这些线程才会被唤醒。

C++11的条件变量提供了两个类:

condition_variable:只支持与普通mutex搭配,效率更高。

condition_variable_any:是一种通用的条件变量,可以与任意mutex搭配(包括用户自定义的锁类型)。

包含头文件:<condition_variable>

1、condition_variable类

主要成员函数:

1)condition_variable() 默认构造函数。

2)condition_variable(const condition_variable &)=delete 禁止拷贝。

3)condition_variable& condition_variable::operator=(const condition_variable &)=delete 禁止赋值。

4)notify_one() 通知一个等待的线程。

5)notify_all() 通知全部等待的线程。

6)wait(unique_lock<mutex> lock) 阻塞当前线程,直到通知到达。

7)wait(unique_lock<mutex> lock,Pred pred) 循环的阻塞当前线程,直到通知到达且谓词满足。

8)wait_for(unique_lock<mutex> lock,时间长度)

9)wait_for(unique_lock<mutex> lock,时间长度,Pred pred)

10)wait_until(unique_lock<mutex> lock,时间点)

11)wait_until(unique_lock<mutex> lock,时间点,Pred pred)

重点(wait(mutex)函数):

wait(mutex)做了三件事:

  1. 把互斥锁解锁。

  2. 阻塞,等待被唤醒。

  3. 被唤醒后,给互斥锁加锁。

2、unique_lock类

template <class Mutex> class unique_lock是模板类,模板参数为互斥锁类型。

unique_lock和lock_guard都是管理锁的辅助类,都是RAII风格(在构造时获得锁,在析构时释放锁)。它们的区别在于:为了配合condition_variable,unique_lock还有lock()和unlock()成员函数。

生产者消费者模型类示例:

#include <iostream>
#include <string>
#include <thread>                      // 线程类头文件。
#include <mutex>                      // 互斥锁类的头文件。
#include <deque>                      // deque容器的头文件。
#include <queue>                      // queue容器的头文件。
#include <condition_variable>  // 条件变量的头文件。
using namespace std;
class AA
{
    mutex m_mutex;                                    // 互斥锁。
    condition_variable m_cond;                  // 条件变量。
    queue<string, deque<string>> m_q;   // 缓存队列,底层容器用deque。
public:
    void incache(int num)     // 生产数据,num指定数据的个数。
    {
        lock_guard<mutex> lock(m_mutex);   // 申请加锁。
        for (int ii=0 ; ii<num ; ii++)
        {
            static int bh = 1;           // 超女编号。
            string message = to_string(bh++) + "号超女";    // 拼接出一个数据。
            m_q.push(message);     // 把生产出来的数据入队。
        }
        //m_cond.notify_one();     // 唤醒一个被当前条件变量阻塞的线程。
        m_cond.notify_all();          // 唤醒全部被当前条件变量阻塞的线程。
    }
    
    void outcache()   {    // 消费者线程任务函数。
        while (true)   {
            // 把互斥锁转换成unique_lock<mutex>,并申请加锁。
            unique_lock<mutex> lock(m_mutex);

            // 条件变量虚假唤醒:消费者线程被唤醒后,缓存队列中没有数据。
            //while (m_q.empty())    // 如果队列空,进入循环,否则直接处理数据。必须用循环,不能用if
            //    m_cond.wait(lock);  // 1)把互斥锁解开;2)阻塞,等待被唤醒;3)给互斥锁加锁。
            m_cond.wait(lock, [this] { return !m_q.empty(); });

            // 数据元素出队。
            string message = m_q.front();  m_q.pop();
            cout << "线程:" << this_thread::get_id() << "," << message << endl;
            lock.unlock();      // 手工解锁。

            // 处理出队的数据(把数据消费掉)。
            this_thread::sleep_for(chrono::milliseconds(1));   // 假设处理数据需要1毫秒。
        }
    }
};

int main()
{
    AA aa;
  
    thread t1(&AA::outcache, &aa);     // 创建消费者线程t1。
    thread t2(&AA::outcache, &aa);     // 创建消费者线程t2。
    thread t3(&AA::outcache, &aa);     // 创建消费者线程t3。

    this_thread::sleep_for(chrono::seconds(2));    // 休眠2秒。
    aa.incache(2);      // 生产2个数据。

    this_thread::sleep_for(chrono::seconds(3));    // 休眠3秒。
    aa.incache(5);      // 生产5个数据。

    t1.join();   // 回收子线程的资源。
    t2.join();
    t3.join(); 
}

流程:

  • 程序运行,因为wait把互斥锁解开了,所以三个消费者都能加锁成功,现在wait到了第二步,三个线程都被阻塞在条件变量的wait()函数中,此时互斥锁没有被任何线程占有;
  • 生产者往队列中放完数据后,会发出条件信号;
  • wait()函数接收到i先弄好之后,不一定立即返回,他还要申请加锁,加锁成功后才会返回;
  • 如果wait()返回了,一定申请到了锁,接下来可以让队列中的数据出队,出对后再解锁。

消费者线程中的while(m_q.empty())循环:

条件变量存在虚假唤醒的情况:消费者线程被唤醒后,缓存队列中没有数据(三个消费者线程,一次生产两个数据,然后notifyall,全部唤醒,肯定有一个线程拿不到数据,被虚假唤醒了)。如果被虚假唤醒了应该继续等待下一次通知,所以用if肯定不行,必须用while。

也可以用wait(unique_lock<mutex> lock,Pred pred) 版本,添加一个谓词:

m_cond.wait(lock, [this] { return !m_q.empty(); });

效果是一样的,本质上这个重载的wait函数中也有个while循环。

 

 

 

 

 

 

 

 

 

 

 

 

标签:加锁,消费者,lock,模型,互斥,线程,生产,mutex,wait
From: https://blog.csdn.net/weixin_56520780/article/details/143655223

相关文章

  • 性能测试数据模型建模多种方案
    目录基于业务场景的数据建模负载和压力测试数据建模持续性测试数据建模并发测试数据建模峰值测试数据建模数据量测试数据建模可配置参数测试数据建模基础数据准备方案测试数据准备方案执行过程中数据准备方案数据模型的建模主要针对基础数据、测试数据、执行方案,通......
  • 【新书】掌握大语言模型:高级技术、应用、尖端方法和顶尖LLMs
    书籍描述不只是谈论人工智能,而是构建它:您的大语言模型(LLMs)应用开发指南。主要特性探索自然语言处理(NLP)基础和大语言模型基本原理,包括基础知识、挑战和模型类型。学习数据处理和预处理技术,以实现高效的数据管理。了解神经网络概述,包括神经网络基础、循环神经网络(RNNs......
  • 神书《从零构建大模型》分享,尚未发布,GitHub标星22k!!
    《从零构建大模型》是一本即将于今年10月底发布的书籍,github已经吸引了惊人的21.7k标星!作者是威斯康星大学麦迪逊分校的终身教授,在GitHub、油管、X上拥有大量粉丝,是一位真正的大佬。本书免费获取地址在本书中,读者将从内到外了解LLM的工作原理。在这本富有洞察力的书中......
  • 九析带你轻松完爆AI大模型(四)---模型篇①
    申明:九析唯一授权【超级网红系列课程——AI大模型全栈架构师】系列课程一、模型篇大纲大语言模型基础大语言模型预训练大语言模型微调大语言模型强化对齐大语言模型评估大语言模型压缩大语言模型工程大语言模型安全多模态模型大模型经典论文Pytorch......
  • 基于YOLOv8模型的安全背心目标检测系统(PyTorch+Pyside6+YOLOv8模型)
    摘要:基于YOLOv8模型的安全背心目标检测系统可用于日常生活中检测与定位安全背心目标,利用深度学习算法可实现图片、视频、摄像头等方式的目标检测,另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数据集,使用Pysdie6库来搭建前端页面......
  • 基于YOLOv8模型和PCB电子线路板缺陷目标检测系统(PyTorch+Pyside6+YOLOv8模型)
    摘要:基于YOLOv8模型PCB电子线路板缺陷目标检测系统可用于日常生活中检测与定位PCB线路板瑕疵,利用深度学习算法可实现图片、视频、摄像头等方式的目标检测,另外本系统还支持图片、视频等格式的结果可视化与结果导出。本系统采用YOLOv8目标检测算法训练数据集,使用Pysdie6库来搭建......
  • 大模型领域最值得看的 9 本新书,找到了
    在人工智能革命的浪潮中,程序员们正站在技术变革的最前沿。本书单精选了关于人工智能在各行业应用的最新著作,从医疗诊断到金融风控,从智能制造到智慧城市,全面展现AI如何重塑行业生态,推动社会进步。通过阅读这些书籍,你将深入了解AI技术的最新进展,掌握其在不同领域的应用实践,为......
  • 这是我见过讲解大模型最详细的一本书!学习大模型的建议都去读!
    作为当下最先进的深度学习架构之一,Transformer被广泛应用于自然语言处理领域。它不单替代了以前流行的循环神经网络(recurrentneuralnetwork,RNN)和长短期记忆(longshort-termmemory,LSTM)网络,并且以它为基础衍生出了诸如BERT、GPT-3、T5等知名架构。......
  • 救命啊!字节大模型算法实习岗面试居然栽在Transformer上了!!
    为什么在进行softmax之前需要对attention进行scaled(为什么除以dk的平方根)?transformer论文中的attention是ScaledDot-PorductAttention来计算keys和queries之间的关系。如下图所示:在公式一中,作者对0和K进行点积以获得注意力权重,然后这些权重用于加权平均V。但在实......
  • ComfyUI共享模型
    在你的包中找到这个文件,在ComfyUI文件夹中能够找到。注意:更改的文件为你想要被共享的。把后面的example删除保存,使其成为yaml文件。找不到的话请使用文件拓展名查看。打开文件,找到下面这些内容。把这里需要的路径注释给去除了。#comfyui这个前面的也要去了。这个的base_p......