首页 > 系统相关 >Linux网络编程 I/O多路复用——select和poll

Linux网络编程 I/O多路复用——select和poll

时间:2022-11-18 00:45:12浏览次数:38  
标签:文件 set int 描述符 fd Linux poll select

0. I/O多路复用

所谓I/O就是对socket提供的内存缓冲区的写入和读出。
多路复用就是指程序能同时监听多个文件描述符。

 

之前的学习中写了多进程多线程版的简单服务器模型,但是有个问题:每次新来一个客户端TCP连接请求,就需要新建一个进程或线程来与之进行信息传输,但是如果连接的客户端太多,就会出现所谓C10K问题

当创建的进程或线程多了,数据拷贝频繁(缓存I/O、内核将数据拷贝到用户进程空间、阻塞,进程/线程上下文切换消耗大,导致操作系统崩溃,这就是C10K问题的本质。

所以为每个请求分配一个进程/线程的方式不合适,进程或线程本身会消耗资源,且线程或进程调度也会消耗CPU资源。所以I/O 多路复用技术应运而生,让一个进程或线程处理多个请求。

Linux 下实现 I/O 多路复用的系统调用主要有 select、poll 和 epoll,本篇介绍select和poll。

 

1. select

主旨思想:

  1. 首先要构造一个关于文件描述符的列表,将要监听的文件描述符添加到该列表中。
  2. 调用一个系统函数,监听该列表中的文件描述符,直到这些描述符中的一个或者多个进行I/O操作时,该函数才返回。
    a.这个函数是阻塞
    b.函数对文件描述符的检测的操作是由内核完成的
  3. 在返回时,它会告诉进程有多少(哪些)描述符要进行I/O操作。

 

1.1 select API介绍

#include <sys/time.h>
#include <sys/types.h>
#include <unistd.h>
#include <sys/select.h>
int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);

参数:

nfds : 委托内核检测的最大文件描述符的值 + 1
readfds : 要检测的文件描述符的读的集合,即委托内核检测哪些文件描述符的读的属性,对应的是对方发送过来的数据,因为读是被动的接收数据,检测的就是读缓冲区
writefds : 要检测的文件描述符的写的集合,即委托内核检测哪些文件描述符的写的属性,委托内核检测写缓冲区是不是还可以写数据(不满的就可以写)
exceptfds : 检测发生异常的文件描述符的集合

注意:以上三个是传入传出参数,以readfds为例,传入的时候将需要监听读事件的文件描述符对应fd_set位置为1传入,执行select后,select将把readfds中真正监听到读事件的文件描述符的对应位保持为1,而把没有到读事件的文件描述符的对应位修改为0,这样我们再遍历这个传出的fd_set,哪个文件描述符对应位为1就说明监听到了哪个文件描述符的读事件。

  • timeout : 设置的超时时间
struct timeval {
	long tv_sec; /* seconds */
	long tv_usec; /* microseconds */
};
NULL : 永久阻塞,直到检测到了文件描述符有变化
tv_sec = 0 tv_usec = 0, 不阻塞
tv_sec > 0 tv_usec > 0, 阻塞对应的时间

返回值 :

-1 : 失败
>0(n) : 检测的集合中有n个文件描述符发生了变化

 

对于第2、3、4个参数涉及到的fd_set,它是一个文件描述符的位图,默认为1024位,可以理解成一个一维数组,可把数组的下标看作文件描述符的值,数组的值为1表示需要监听该下标所对应的文件描述符。关于fd_set的设置可使用以下宏:

// 将参数文件描述符fd对应的标志位设置为0
void FD_CLR(int fd, fd_set *set);
// 判断fd对应的标志位是0还是1, 返回值 : fd对应的标志位的值,0,返回0, 1,返回1
int FD_ISSET(int fd, fd_set *set);
// 将参数文件描述符fd 对应的标志位,设置为1
void FD_SET(int fd, fd_set *set);
// fd_set一共有1024 bit, 全部初始化为0
void FD_ZERO(fd_set *set);

 

1.2 select使用过程示例

比如说现在客户端A,B,C,D已经连接了服务器,其socket文件描述符分别是3、4、100、101。我们想要使用select监听这四个客户端的读事件,该如何做?

 

如图,首先建立一个fd_set,调用FD_ZERO初始化其每一位都是0,我们现在需要调用FD_SET把想要监听的文件描述符的对应位置1:

这样fd_set就设置好了,我们调用select,第一个参数是想监听的最大文件描述符+1,所以传入101+1;第二个参数传入reads的地址。此后,内核便负责监听这四个socket文件的读缓冲区。

假如说,A和B发送了数据,调用select后,3、4对应的位不变,而没有检测到读事件的100和101就被赋为0,然后传出。我们通过FD_ISSET遍历reads就可以判断哪些客户端发送了数据。

1.3 select示例程序

#include <stdio.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <sys/select.h>

int main() {

    // 创建socket
    int lfd = socket(PF_INET, SOCK_STREAM, 0);
    struct sockaddr_in saddr;
    saddr.sin_port = htons(9999);
    saddr.sin_family = AF_INET;
    saddr.sin_addr.s_addr = INADDR_ANY;

    // 绑定
    bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));

    // 监听
    listen(lfd, 8);

    // 创建一个fd_set的集合,存放的是需要检测的文件描述符
    fd_set rdset, tmp;
    FD_ZERO(&rdset);
    FD_SET(lfd, &rdset);
    int maxfd = lfd;

    while(1) {

        tmp = rdset;

        // 调用select系统函数,让内核帮检测哪些文件描述符有数据
        int ret = select(maxfd + 1, &tmp, NULL, NULL, NULL);
        if(ret == -1) {
            perror("select");
            exit(-1);
        } else if(ret == 0) {
            continue;
        } else if(ret > 0) {
            // 说明检测到了有文件描述符的对应的缓冲区的数据发生了改变
            if(FD_ISSET(lfd, &tmp)) {
                // 表示有新的客户端连接进来了
                struct sockaddr_in cliaddr;
                int len = sizeof(cliaddr);
                int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);

                // 将新的文件描述符加入到集合中
                FD_SET(cfd, &rdset);

                // 更新最大的文件描述符
                maxfd = maxfd > cfd ? maxfd : cfd;
            }
			// 我们需要遍历来确定哪个文件描述符发送来了数据
			// 这是select的缺点之一
            for(int i = lfd + 1; i <= maxfd; i++) {
                if(FD_ISSET(i, &tmp)) {
                    // 说明这个文件描述符对应的客户端发来了数据
                    char buf[1024] = {0};
                    int len = read(i, buf, sizeof(buf));
                    if(len == -1) {
                        perror("read");
                        exit(-1);
                    } else if(len == 0) {
                        printf("client closed...\n");
                        close(i);
                        FD_CLR(i, &rdset);
                    } else if(len > 0) {
                        printf("read buf = %s\n", buf);
                        write(i, buf, strlen(buf) + 1);
                    }
                }
            }

        }

    }
    close(lfd);
    return 0;
}

1.4 select的缺点

 

 

2. poll

 

poll是对select的改进。poll和select的使用方法很像,但对select有以下改进:

  1. 突破了1024的打开文件上限数,原因是它是基于链表来存储的。
  2. select中fd_set是被内核和用户共同修改的,而poll分离了监听事件集合和返回事件集合,可以使编程更简洁。

2.1 poll API介绍

#include <poll.h>
int poll(struct pollfd *fds, nfds_t nfds, int timeout);
参数:

fds : 是一个struct pollfd 结构体数组,这是一个需要检测的文件描述符的集合

struct pollfd {
	int fd; /* 委托内核检测的文件描述符 */
	short events; /* 委托内核检测文件描述符的什么事件 */
	short revents; /* 文件描述符实际发生的事件 */
};

 

其中events和revents有以下可选项,选择多个可用|进行连接

以下是创建该结构体的示例:

struct pollfd myfd;
myfd.fd = 5;
myfd.events = POLLIN | POLLOUT;

nfds : 这个是第一个参数数组中最后一个有效元素的下标 + 1
timeout : 阻塞时长
0 : 不阻塞
-1 : 阻塞,当检测到需要检测的文件描述符有变化,解除阻塞
>0 : 阻塞的时长

 

2.2 poll 示例程序

#include <stdio.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <stdlib.h>
#include <string.h>
#include <poll.h>


int main() {

    // 创建socket
    int lfd = socket(PF_INET, SOCK_STREAM, 0);
    struct sockaddr_in saddr;
    saddr.sin_port = htons(9999);
    saddr.sin_family = AF_INET;
    saddr.sin_addr.s_addr = INADDR_ANY;

    // 绑定
    bind(lfd, (struct sockaddr *)&saddr, sizeof(saddr));

    // 监听
    listen(lfd, 8);

    // 初始化检测的文件描述符数组
    struct pollfd fds[1024];
    for(int i = 0; i < 1024; i++) {
        fds[i].fd = -1;
        fds[i].events = POLLIN;
    }
    fds[0].fd = lfd;
    int nfds = 0;

    while(1) {

        // 调用poll系统函数,让内核帮检测哪些文件描述符有数据
        int ret = poll(fds, nfds + 1, -1);
        if(ret == -1) {
            perror("poll");
            exit(-1);
        } else if(ret == 0) {
            continue;
        } else if(ret > 0) {
            // 说明检测到了有文件描述符的对应的缓冲区的数据发生了改变
            if(fds[0].revents & POLLIN) {
                // 表示有新的客户端连接进来了
                struct sockaddr_in cliaddr;
                int len = sizeof(cliaddr);
                int cfd = accept(lfd, (struct sockaddr *)&cliaddr, &len);

                // 将新的文件描述符加入到集合中
                for(int i = 1; i < 1024; i++) {
                    if(fds[i].fd == -1) {
                        fds[i].fd = cfd;
                        fds[i].events = POLLIN;
                        break;
                    }
                }

                // 更新最大的文件描述符的索引
                nfds = nfds > cfd ? nfds : cfd;
            }

            for(int i = 1; i <= nfds; i++) {
                if(fds[i].revents & POLLIN) {
                    // 说明这个文件描述符对应的客户端发来了数据
                    char buf[1024] = {0};
                    int len = read(fds[i].fd, buf, sizeof(buf));
                    if(len == -1) {
                        perror("read");
                        exit(-1);
                    } else if(len == 0) {
                        printf("client closed...\n");
                        close(fds[i].fd);
                        fds[i].fd = -1;
                    } else if(len > 0) {
                        printf("read buf = %s\n", buf);
                        write(fds[i].fd, buf, strlen(buf) + 1);
                    }
                }
            }

        }

    }
    close(lfd);
    return 0;
}

 

标签:文件,set,int,描述符,fd,Linux,poll,select
From: https://www.cnblogs.com/wxk1213/p/16901900.html

相关文章

  • Linux 面试题
    1、绝对路径用什么符号表示?当前目录、上层目录用什么表示?主目录用什么表示?切换目录用什么命令?答:绝对路径:如/etc/init.d当前目录和上层目录:./…/主目录:~/切换目录......
  • Linux环境搭建和常用命令(二)
    Linux一关于linux什么是Linux?用在哪些地方?Linux是一套操作系统,和我们熟悉的windows,苹果电脑的macOS一样,都是可以在电脑上运行的操作系统。Linux在我们的日常生......
  • Linux设备驱动那些事
    目的初步了解linux设备驱动框架模型初步了解设备驱动模型有哪些元素设备驱动模型元素的说明及解释设备驱动模型元素的工作原理设备驱动模型的小例子对整体有个粗......
  • Linux 常用命令脚本使用
    1、#删除/目录下大小为0的文件#!/bin/bashdir="/"find/-typef-size0-execrm-rf{}\;2、查看可登录系统的账户数量[root@libin5shell]#grep"bash$"/etc/......
  • Linux 统计var下log下的文件数并显示文件名
    [root@libin5shell]#vimshell3.sh#!/bin/bashcd/var/logsum=0foriin`ls-r*`doif[-f$i];thenletsum++echo"文件名:$i"fidoneecho"总文件数量为:$sum"......
  • 深入认识Linux
    Linux是什么?一问这个问题相信很多做IT行业的人都会毫不犹豫的说出一大堆个人对Linux的理解,比如:Linux是一种开源的、免费的操作系统;Linux是一个可以自由传播的类Unix操作系......
  • Selenium4+Python3系列(七) - Iframe、Select控件、交互式弹出框、执行JS、Cookie操作
    前言突然,想把所有之前未更新的常用Api操作、演示写出来,算是对API的一种完结吧。下面按照Api模块来做逐一介绍。一、iframe操作iframe识别:语法:driver.switch_to.fram......
  • Debian Linux 的安装
    DebianLinux的安装作者:Grey原文地址:博客园:DebianLinux的安装CSDN:DebianLinux的安装说明本安装说明是基于Windows10下VMwareworkstation16安装Linux,Li......
  • 【select 语句】 into outfile 【导出文件名 】【导出参数】fields terminated by 'st
    【导出参数】fieldsterminatedby'str':设置字段之间的分隔符,默认值是"\t"。fieldsenclosedby'char':设置包括住字段的值的符号,如单引号、双引号等,默认情况下不使用......
  • linux 命令:df 详解
    用法:du[OPTION]...[FILE]...或:du[OPTION]...--files0-from=F打印每个文件占用磁盘空间-0,--null每一行以空结束,而不是换行符-a,--all......