首页 > 其他分享 >学习笔记10

学习笔记10

时间:2023-11-17 15:34:03浏览次数:33  
标签:10 缓存 list dev 学习 缓冲区 bp 笔记 进程

第十二章学习笔记

块设备I/O缓冲区

I/O 缓冲的基本原理非常简单。文件系统使用一系列 I/O 缓冲区作为块设备的缓存内存。当进程试图读取 (dev, blk) 标识的磁盘块时,它首先在缓冲区缓存中搜索分配给磁盘块的缓冲区。如果该缓冲区存在并且包含有效数据,那么它只需从缓冲区中读取数据,而无须再次从磁盘中读取数据块。如果该绥冲区不存在,它会为磁盘块分配一个缓冲区,将数据从磁盘读入缓冲区,然后从缓冲区读取数据。当某个块被读入时,该缓冲区将被保存在缓冲区缓存中,以供任意进程对同一个块的下一次读/写请求使用。同样,当进程写入磁盘块时,它首先会获取一个分配给该块的缓冲区。然后,它将数据写入绥冲区,将缓冲区标记为脏,以延迟写入,并将其释放到缓冲区缓存中。由于脏缓冲区包含有效的数据,因此可以使用它来满足对同一块的后续读/写请求,而不会引起实际磁盘I/O。脏缓冲区只有在被重新分配到不同的块时才会写入磁盘。

Unix I/O缓冲区管理算法

  • I/O 缓冲区:内核中的一系列NBUF缓冲区用作缓冲区缓存。每个缓冲区用一个结构体表示。
typdef struct buf[
struct buf*next__free;// freelist pointer
struct buf *next__dev;// dev_list pointer int dev.,blk;
// assigmed disk block;int opcode;
// READ|wRITE int dirty;
// buffer data modified
int async;
// ASYNC write flag int valid;
//buffer data valid int buay;
// buffer is in use int wanted;
// some process needs this buffer struct semaphore lock=1; /
// buffer locking semaphore; value=1
struct semaphore iodone=0;// for process to wait for I/0 completion;// block data area char buf[BLKSIZE];)
} BUFFER;
BUFFER buf[NBUF],*freelist;// NBUF buffers and free buffer list
  • 设备表:每个块设备用一个设备表结构表示。
struct devtab{
u16 dev;
// major device number // device buffer list BUFFER *dev_list;BUFFER*io_queue
// device I/0 queue ) devtab[NDEV];

  • 缓冲区初始化: 当系统启动时 , 所有I/O缓冲区都在空闲列表中, 所有设备列表和I/O队列均为空。
  • 缓冲区列表: 当缓冲区分配给 (dev, blk) 时, 它会被插人设备表的dev_list 中。 如果缓冲区当前正在使用, 则会将其标记为BUSY (繁忙)并从空闲列表中删除。繁忙缓冲区也可能会在设备表的 I/O 队列中。 由于一个缓冲区不能同时处于空闲状态和繁忙状态, 所以可通过使用相同的 next_free 指针来维护设备 I/O 队列。 当缓冲区不再繁忙时, 它会被释放回空闲列表, 但仍保留在 dev_list 中, 以便可能重用。 只有在重新分配时, 缓冲区才可能从一个 dev_list 更改到另一个 dev_list 中。 如前文所述, 读/写磁盘块可以表示为 bread 、 bwrite 和dwrite, 它们都要依赖于 getblk 和 brelse。 因此, getblk 和 brelse 构成了 Unix 缓冲区管理方案的核心。
  • Unix getblk/brelse算法
BUFFER *getblk(dev,blk){
    while(1){
     search dev_list for a bp=(dev,blk);
     if (bp in dev_lst)
       if(bp BUSY)
          set bp WANTED flag;
          sleep(bp);
          continue;
           }
      take bp put of freelist;
      mark bp BUSY;
      return bp;
}
  • Unix算法优点
    • 数据一致性:为了确保数据-致性,getblk一定不能给同一个(dev,blk)分配多个缓冲区。这可以通过让进程从休眠状态唤醒后再次执行“重试循环”来实现。读者可以验证分配的每个缓冲区都是唯一的。其次,脏缓冲区在重新分配之前被写出来,这保证了数据的一致性。
    • 缓存效果:缓存效果可通过以下方法实现。释放的缓冲区保留在设备列表中,以便可能重用。标记为延迟写入的缓冲区不会立即产生I/O、并且可以重用。缓冲区会被释放到空闲列表的末尾,但分配是从空闲列表的前面开始的。这是基于LRU(最近最少使用)原则, 它有助于延长所分配缓冲区的使用期,从而提高它们的缓存效果。
    • 临界区:设备中断处理程序可操作缓冲区列表,例如从设备表的I/O队列中删除 bp. 更改其状态并调用brelse(bp)。所以,在getblk和brelse中,设备中断在这些临界区中会被屏蔽。这些都是隐含的,但没有在算法中表现出来。
  • Unix算法的缺点
    • 效率低下:该算法依赖于重试循环。例如,释放缓冲区可能会唤醒两组进程:需要释放的缓冲区的进程,以及只需要空闲缓冲区的进程。由于只有一个进程可以获取释放的缓冲区,所以,其他所有被唤醒的进程必须重新进入休眠状态。从休眠状态唤醒后,每个被唤醒的进程必须从头开始重新执行算法,因为所需的缓冲区可能已经存在。这会导致过多的进程切换。
    • 缓存效果不可预知:在Unix算法中,每个释放的缓冲区都可被获取。如果缓冲区由需要空闲绥冲区的进程获取,那么将会重新分配缓冲区.即使有些进程仍然需要当前的缓冲区。
    • 可能会出现饥饿:Unix算法基于“自由经济”原则,即每个进程都有尝试的机会,但不能保证成功。因此,可能会出现进程饥饿。
    • 该算法使用只适用于单处理器系统的休眠/唤醒操作。

新的I/O缓冲区管理算法

  • 信号量的主要优点
    • 计数信号量可用来表示可用资源的数量;
    • 当多个进程等待一个资源时,信号量上的V操作只会释放一个等待进程,该进程不必重试,因为它保证拥有资源。
  • 使用信号量的缓冲区管理算法(假设有一个单处理器内核)
    • 保证数据一致性;
    • 良好的缓存效果;
    • 高效率∶没有重试循环,没有不必要的进程"唤醒";
    • 无死锁和饥饿。

实践

#include<stdio.h>
#include<errno.h>
#include<stdlib.h>
int main(){
   FILE* fd;
   fd=fopen("test","r");
   if(fd==NULL){
       perror("error:");
       return -1;
    }
    return 0;
}     

苏格拉底挑战





标签:10,缓存,list,dev,学习,缓冲区,bp,笔记,进程
From: https://www.cnblogs.com/gao0818/p/17838867.html

相关文章

  • 个人笔记
    一、leaderwork对上1、明确上面的工作目标,对自己的工作规划和期许2、做的不对的地方,要记下来,主动找领导过解决的方案3、脑图产出你的工作整体计划,解决top3的问题4、工作中,标明经过自己的努力,漏测率降低了,什么什么提效了,结果数据化表格对下1、有现有的流程就按照现有的流程,例如......
  • 麒麟v10 基础镜像制作
    下载:https://archive.org/download/kylin-server-10-sp-2-x-86-release-build-09-20210524 需求:通过麒麟v10iso文件创建一个docker镜像说一下我是在麒麟的系统下创建的麒麟docker,其他系统可以对应修正,区别不大进程:挂载iso文件到目录mount-oloop/media/kylin/xxx.iso......
  • springboot学习日记(五)
    今天先安装试用了下postman,get获取自己的网页,返回是网页源码。这里贴一下前几天测试的开源新手项目IncrediableKJ/Student-management-system:基于springboot+mybatis+thymeleaf的学生信息管理系统,适合springboot初学者的练手项目(github.com)然后发现添加学生列表失败,看了......
  • 深度学习算法原理实现——模型欠拟合和过拟合处理
    欠拟合:fromtensorflow.kerasimportregularizersimportnumpyasnpfromtensorflowimportkerasfromtensorflow.kerasimportlayersfromtensorflow.keras.datasetsimportimdbfromtensorflow.keras.datasetsimportmnistdefplot_val_loss_and_acc(model):......
  • 深度学习算法原理实现——线性分类器
     importnumpyasnpimporttensorflowastfimportmatplotlib.pyplotaspltdefmodel(inputs):returntf.matmul(inputs,W)+bdefsquare_loss(targets,predictions):per_sample_losses=tf.square(targets-predictions)returntf.reduce_mean......
  • 深度学习算法原理实现——自写神经网络识别mnist手写数字和训练模型
    代码来自:https://weread.qq.com/web/reader/33f32c90813ab71c6g018fffkd3d322001ad3d9446802347《python深度学习》fromtensorflow.keras.datasetsimportmnistfromtensorflow.kerasimportoptimizersimporttensorflowastfimportnumpyasnpclassNaiveDense:d......
  • HW学习笔记
    栈库分离方法注意事项:  所有用户输入数据需要进行分离过滤,不能遗漏、选择安全的过滤函数如mysql_real_escape_string(),避免过滤不严格导致注入  SQL查询模板需要设计安全,米面语义可以被注入数据改变,函数Mysql_query()等执行SQL预警也需要参数化,避免拼接导致注入  ......
  • 软件设计模式学习每日总结-第五天
    第五天学习原型模式:复制创建新 浅克隆:复制对象.深克隆:复制对象及其成员。 ......
  • 点分治学习笔记(未完成)
    前言点分治不应该算数据结构,它的本质是分治的思想。问题引入对于一个序列\(a\),求是否存在\((l,r)\)使得\(\sum\limits_{i=l}^{r}a_i=k\)。\(n\le10^6,|a_i|\le10^9\)。本题显然是有其它的做法的,由于学的是点分治,所以考虑分治做法。首先对\(a\)求前缀和,记这个数组为......
  • 学习笔记426—keras中to_categorical函数解析
    keras中to_categorical函数解析1.to_categorical的功能简单来说,to_categorical就是将类别向量转换为二进制(只有0和1)的矩阵类型表示。其表现为将原有的类别向量转换为独热编码的形式。先上代码看一下效果:fromkeras.utils.np_utilsimport*#类别向量定义b=[0,1,2,3,4,5,6,7,8]......