首页 > 编程语言 >socket网络编程(三)——select多路复用问题

socket网络编程(三)——select多路复用问题

时间:2023-06-30 21:00:48浏览次数:46  
标签:addr 多路复用 int client fd FD select socket

1、select诞生的原因

在上文我们提到了多客户端的时候,多台客户端发送数据到服务端的话,只能有一台客户端可以正常发送和接受数据,另外一台完全没有反应,那这个问题怎么解决呢?很多人可能第一反应想到利用多线程技术,线程多的话用线程池来维护。的确,多线程确实可以实现这个效果,但是,可能很多看见这个但是就不怎么开心了,却不知很多科学科技的进步都是这个但是引发的。但是一个多线程编程很麻烦又容易出错,二是如果连接有几千个的话,线程间切换的开销确实是很大。如果能够在一个线程里就实现这个效果的话,那该多好啊!

于是select就横空出世!

这个又叫做非阻塞IO多路复用,就是进程或线程执行此函数时不必非要等待事件的发生,一旦执行肯定返回,以返回值的不同来反映函数的执行情况,如果事件发生则与阻塞方式相同,若事件没有发生则返回一个代码来告知事件未发生,而进程或线程继续执行,所以效率较高可能很多人会说,现在都是用epoll,都不用select了,还讲这个干嘛?可我想说,因为我这个是socket网络编程的一系列教程,一定要一步步的推进,历史上是有诞生了select,然后epoll是为了完善select的缺陷的,做为学习,我们必须先了解select,然后才能知道epoll的特别之处。

2、具体实现

首先,还是先不扯其他的,我先扔出代码,然后结合代码讲解select,我本人是比较喜欢这种学习方式,带着疑问去学习,如果大家不习惯的话,可以先跳过以下的代码,先看代码下方的讲解部分。

2.1、服务端代码:

#include <stdio.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <stdlib.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <string.h>
 
#define PORT 39002
#define MAX_FD_NUM 3
#define BUF_SIZE 512
#define ERR_EXIT(m)         \
    do                      \
    {                       \
        perror(m);          \
        exit(EXIT_FAILURE); \
    } while (0)
 
int main()
{
    //创建套接字
    int m_sockfd = socket(AF_INET, SOCK_STREAM, 0);
    if (m_sockfd < 0)
    {
        ERR_EXIT("create socket fail");
    }
 
    //初始化socket元素
    struct sockaddr_in server_addr;
    int server_len = sizeof(server_addr);
    memset(&server_addr, 0, server_len);
 
    server_addr.sin_family = AF_INET;
    //server_addr.sin_addr.s_addr = inet_addr("0.0.0.0"); //用这个写法也可以
    server_addr.sin_addr.s_addr = INADDR_ANY;
    server_addr.sin_port = htons(PORT);
 
    //绑定文件描述符和服务器的ip和端口号
    int m_bindfd = bind(m_sockfd, (struct sockaddr *)&server_addr, server_len);
    if (m_bindfd < 0)
    {
        ERR_EXIT("bind ip and port fail");
    }
 
    //进入监听状态,等待用户发起请求
    int m_listenfd = listen(m_sockfd, MAX_FD_NUM);
    if (m_listenfd < 0)
    {
        ERR_EXIT("listen client fail");
    }
 
    //定义客户端的套接字,这里返回一个新的套接字,后面通信时,就用这个m_connfd进行通信
    //struct sockaddr_in client_addr;
    //socklen_t client_len = sizeof(client_addr);
    //int m_connfd = accept(m_sockfd, (struct sockaddr *)&client_addr, &client_len);
 
    printf("client accept success\n");
 
    struct sockaddr_in client_addr;
    socklen_t client_len = sizeof(client_addr);
 
    //接收客户端数据,并相应
    char buffer[BUF_SIZE];
    int array_fd[MAX_FD_NUM];
    //客户端连接数量
    int client_count = 0;
 
    fd_set tmpfd;
    int max_fd = m_sockfd;
    struct timeval timeout;
 
    for (int i = 0; i < MAX_FD_NUM; i++)
    {
        array_fd[i] = -1;
    }
    //array_fd[0] = m_sockfd;
 
    while (1)
    {
        FD_ZERO(&tmpfd);
        FD_SET(m_sockfd, &tmpfd);
        int i;
 
        //所有在线的客户端加入到fd中,并找出最大的socket
        for (i = 0; i < MAX_FD_NUM; i++)
        {
            if (array_fd[i] > 0)
            {
                FD_SET(array_fd[i], &tmpfd); //set array_fd in red_set
                if (max_fd < array_fd[i])
                {
                    max_fd = array_fd[i]; //get max_fd
                }
            }
        }
 
        int ret = select(max_fd + 1, &tmpfd, NULL, NULL, NULL);
        if (ret < 0)
        {
            ERR_EXIT("select fail");
        }
        else if (ret == 0)
        {
            //ERR_EXIT("select timeout"); //超时不是错误,不可断掉连接
            printf("select timeout\n");
            continue;
        }
 
        //表示有客户端连接
        if (FD_ISSET(m_sockfd, &tmpfd))
        {
            int m_connfd = accept(m_sockfd, (struct sockaddr *)&client_addr, &client_len);
            if (m_connfd < 0)
            {
                ERR_EXIT("server accept fail");
            }
 
            //客户端连接数已满
            if (client_count >= MAX_FD_NUM)
            {
                printf("max connections arrive!!!\n");
                // char buff[]="max connections arrive!!!";
                // send(m_connfd, buff, sizeof(buff) - 1, 0);
                close(m_connfd);
                continue;
            }
 
            //客户端数量加1
            client_count++;
            printf("we got a new connection, client_socket=%d, client_count=%d, ip=%s, port=%d\n", m_connfd, client_count, inet_ntoa(client_addr.sin_addr), ntohs(client_addr.sin_port));
 
            for (i = 0; i < MAX_FD_NUM; i++)
            {
                if (array_fd[i] == -1)
                {
                    array_fd[i] = m_connfd;
                    break;
                }
            }
        }
 
        //遍历所有的客户端连接,找到发送数据的那个客户端描述符
        for (i = 0; i < MAX_FD_NUM; i++)
        {
            if (array_fd[i] < 0)
            {
                continue;
            }
            //有客户端发送过来的数据
            else
            {
                if (FD_ISSET(array_fd[i], &tmpfd))
                {
                    memset(buffer, 0, sizeof(buffer)); //重置缓冲区
                    int recv_len = recv(array_fd[i], buffer, sizeof(buffer) - 1, 0);
                    if (recv_len < 0)
                    {
                        ERR_EXIT("recv data fail");
                    }
                    //客户端断开连接
                    else if (recv_len == 0)
                    {
                        client_count--;
                        //打印断开的客户端数据
                        printf("client_socket=[%d] close, client_count=[%d], ip=%s, port=%d\n\n", array_fd[i], client_count, inet_ntoa(client_addr.sin_addr), ntohs(client_addr.sin_port));
                        close(array_fd[i]);
                        FD_CLR(array_fd[i], &tmpfd);
                        array_fd[i] = -1;
                    }
                    else
                    {
                        printf("server recv:%s\n", buffer);
                        strcat(buffer, "+ACK");
                        send(array_fd[i], buffer, sizeof(buffer) - 1, 0);
                    }
                }
            }
        }
    }
 
    //关闭套接字
    close(m_sockfd);
 
    printf("server socket closed!!!\n");
 
    return 0;
}

2.1、客户端代码:

#include <stdio.h>
#include <string.h>
#include <stdlib.h>
#include <unistd.h>
#include <arpa/inet.h>
#include <sys/socket.h>
 
#define BUF_SIZE 512
#define ERR_EXIT(m)         \
    do                      \
    {                       \
        perror(m);          \
        exit(EXIT_FAILURE); \
    } while (0)
 
int main()
{
    //创建套接字
    int m_sockfd = socket(AF_INET, SOCK_STREAM, 0);
    if (m_sockfd < 0)
    {
        ERR_EXIT("create socket fail");
    }
 
    //服务器的ip为本地,端口号
    struct sockaddr_in server_addr;
    memset(&server_addr, 0, sizeof(server_addr));
    server_addr.sin_family = AF_INET;
    server_addr.sin_addr.s_addr = inet_addr("81.68.140.74");
    server_addr.sin_port = htons(39002);
 
    //向服务器发送连接请求
    int m_connectfd = connect(m_sockfd, (struct sockaddr *)&server_addr, sizeof(server_addr));
    if (m_connectfd < 0)
    {
        ERR_EXIT("connect server fail");
    }
 
    //发送并接收数据
    char buffer[BUF_SIZE];
    while (1)
    {
        memset(buffer, 0, sizeof(buffer)); //重置缓冲区
        printf("client send:");
        scanf("%s", buffer);
        send(m_sockfd, buffer, sizeof(buffer) - 1, MSG_NOSIGNAL);
        recv(m_sockfd, buffer, sizeof(buffer) - 1, 0);
        printf("client recv:%s\n", buffer);
    }
 
    //断开连接
    close(m_sockfd);
 
    printf("client socket closed!!!\n");
 
    return 0;
}

3、select结构刨析

说到select的IO多路复用就不得不提fd_set这个变量类型,首先我们打开Linux的fd_set数据结构的源码我们可以看到,就是一个长度为32的long int类型的数组(要注意,windows的源码和Linux的不一样)。每一位可以代表一个文件描述符,所以fd_set最多表示1024个文件描述符!

这里为啥是1024个描述符呢?long int长度是32bit,数组长度是32,32*32=1024!

如果知道epoll用法的童鞋,可能就会知道,最多只能表示1024个文件描述符恰恰也成为了select的缺陷!

言归正传,fd_set中的每一bit可以对应一个文件描述符fd,则1字节长的fd_set最大可以对应8个fd。现在我们来看看fd_set定义的几个宏

#include <sys/select.h>   
int FD_ZERO(fd_set *fdset);    
int FD_SET(int fd, fd_set *fd_set);   
int FD_ISSET(int fd, fd_set *fdset);
int FD_CLR(int fd, fd_set *fdset);  

我们假设fdset就一个字节,就是8位,那么

(1)执行FD_ZERO(&fdset),则set用位表示是00000000,就是所有位都清空成0,一般刚开始的时候就需要清空。 (2)执行FD_SET(fd,&fdset),若fd=5,后set变为00010000,第5位置为1,就是将客户端连接的描述字(一般就是一个整数啦)放入到set当中。 (3)执行FD_ISSET(fd,&fdset),若fd=5,则就是判断set的第5位是否是1,一般用来判断是否客户端的连接。 (4)执行FD_CLR(fd,&fdset),若fd=5,则就是将第5位置成0,在断开客户端连接的时候,一定要记得调用这个。

以上的铺垫都做完之后,我们将要引出重量级的选手select,首先我们先来看下select的函数定义。

int select(int maxfdp, fd_set *readset, fd_set *writeset, fd_set *exceptset,struct timeval *timeout);

参数说明:

maxfdp:被监听的文件描述符的总数,它比所有文件描述符集合中的文件描述符的最大值大1,因为文件描述符是从0开始计数的;

fd_set *readset: 该参数是我们所关心的文件是否可读的文件描述符的集合,如果这个集合中有个文件可读了,那select返回一个大于0的数,表示有文件可读了,比如说服务端接收到客户端的数据,服务端都是读的状态,所以正常读的文件都放在这里。 fd_set *writeset:那这个大家就比较好理解了,服务端发到客户端的数据,要写入到缓冲区,那么所有正常写的文件都放在这里。 fd_set *exceptset:在所有正常读和正常写的时候,产生了异常情况,那么异常文件就放在这里。 timeval *timeout:用于设置select函数的超时时间,即告诉内核select等待多长时间之后就放弃等待。这个参数使select处于三种状态:

(1)timeout传入NULL,则select一直等到文件状态有变化时才返回,这段时间一直处于阻塞状态。 (2):timeout传入0,则select会立即返回(非阻塞),如果文件状态有变化则返回一个大于0的值没有变化则返回0; (3)timeout传入一个大于0的数,则select在timeout时间内阻塞,一旦文件状态有变化就会返回,超时后不管怎样都会返回值同样是文件状态右边话就返回一个大于0的值,无变化则返回0;

timeval结构体定义如下:

struct timeval
{      
    long tv_sec;   /*秒 */
    long tv_usec;  /*微秒 */   
};

说完了用到的知识点,我来解释一下代码的部分实现。首先定义了一个array_fd的整形数据,数组的最长长度是MAX_FD_NUM,数组中存放的就是客户端连接的描述符,说白了就是客户端的连接,初始化的时候置成-1,只要客户端连接上了,就是描述符插入数组(实际上就是将其中的一个-1置成描述符)。最后遍历所有的客户端连接,找到发送数据的那个客户端描述符。

刚开始看这些代码的时候可能有点难,但是只要掌握了以上知识点,那么再看这些代码就很简单了。

4、新的问题,千万级的并发

我们刚才说到了select的IO多路复用最多只能支持1024个连接,超过了就不支持了,这个最大值用宏FD_SETSIZE定义的。可是我们实际的有些大的应用,连接数很容易超过这个数字,那如果还用这个就需要更改linux内核的select.h文件,然后重新编译内核了,这是一个问题。另一个是我们select的原理是遍历所有的连接,找到需要的那个,一旦连接数越多,就耗费资源,这是一对相互的矛盾体。最后假设我们的服务器需要支持100万的并发连接,则在FD_SETSIZE为1024的情况下,则我们至少需要开辟1k个进程才能实现100万的并发连接。除了进程间上下文切换的时间消耗外,从内核/用户空间大量的无脑内存拷贝、数组轮询等,是系统难以承受的。因此,基于select模型的服务器程序,要达到10万级别的并发访问,是一个很难完成的任务。

那么在高并发下,我们又该怎么做呢?你能想的到解决方法吗?

更多精彩内容,请关注同名公众:一点sir(alittle-sir)

标签:addr,多路复用,int,client,fd,FD,select,socket
From: https://blog.51cto.com/jtime/6594031

相关文章

  • .net6搭建websocket
    当使用.NET6构建WebSocket微服务时,可以按照以下步骤进行操作:1.创建新的.NET6项目:打开适用于.NET6的IDE(如VisualStudio2022或VisualStudioCode),创建一个新的空白项目。.net6默认引入了Microsoft.AspNetCore.WebSockets2,3步骤省略2.添加WebSocket支持:确保项目引用了`Mi......
  • ErrorCode17410(No more data to read from socket)错误
    系统运行的过程中莫名其妙出现ErrorCode17410(Nomoredatatoreadfromsocket)错误,只是某一个功能的sql执行出现,但是把sql语句复制到plsql执行又没问题,后面尝试对数据库的进程都清理就好了,应该是进程占用出了问题,具体命令如下ps-ef|grepLOCAL=NO|grep-vgrep|awk'{pri......
  • 内网使用postman测试websocket接口(无法登录的情况下)
    postman测试websocket接口。但是发现老版本的postman不支持websocket接口的测试。于是直接上最新版本postman。打开postman,new,选择websocket。发现选不了,提示:youneedtobeinaworkspacetoperformthisaction.然后我去工作台,发现强制要登录!!!但是问题在于:我这公司电脑不......
  • Tips: How to Get the Currently Selected HTML Content in Major Browsers
    functiongetSelectionHtml(){constsel=window.getSelection();if(sel.rangeCount){varcontainer=document.createElement("div");for(vari=0,len=sel.rangeCount;i<len;++i){container.appendCh......
  • 在linq select中使用AutoMapper映射的写法
    1.linq查询语法写法vardata1=(fromlinlistselect_mapper.Map<T>(l)).ToList();2.linq方法语法写法vardata=(list.Skip((currentPage-1)*pageSize).Take(pageSize).Select((p)=>_mapper.Map<T>(p))).ToList();优秀的程序员一......
  • 微信小程序连接websocket随记
    微信小程序需要上报经纬度到服务器,采用workman作为Websocket服务,记录一下步骤:1、修改start_gateway.php文件//$gateway=newGateway("tcp://0.0.0.0:8282");$gateway=newGateway("websocket://0.0.0.0:8282");2、在小程序后台配置socket域名(开发-> 开发管理-> 开发设......
  • jmeter测试websocket接口
    Jmeter测试websocket接口一.Websocket接口原理1.打开网页:从http协议,升级到websocket协议,请求简历websocket连接2.服务器返回建立成功成功3.客户端向服务端发送匹配请求4.服务端选择一个客服上线5.服务器返回客服id6.客户端向服务器发送消息7.服务器推送消息给指定的客服8.服务器向......
  • go:(三)web编程:socket
    引用:08.1.Socket编程|第八章.Web服务|《GoWeb编程》|Go技术论坛(learnku.com)1.什么是socket: 2.socket如何通信: 3.Socket基础知识:类型:TCPSocket和UDPSocket......
  • TreeSelect 树形选择 选中子级显示所有父级及本身
    由于需求的需要,需要在选中二级的时候,将全部路径完整的在输入框显示:如图所示 看了一下,tree自带的属性没有此功能,经过一番思考,直接可以给绑定的model赋值的操作实现,代码如下:<template><el-tree-select:disabled='props.disabled'ref='treeRef'node-key='value':props="t......
  • 176. Spring Boot WebSocket:汇总篇
     前言:       我们通过几节博客对于websocket有了一个基本的认识,本篇博客进行个汇总。说明:(1)编码中使用的SpringBoot版本是: 1.5.8;(2)使用WebSocket有两种方式: 第一种方式使用socketJS,第二种方式是使用H5的标准。实例中使用的是第二种方式;(3)源代码:源代码下载地址htt......