虽然写了很多代码,但select我就从没有完整理解过,要用时不过copy paste而已。惭愧!
今天决定要对select()参数fdset有一个完整理解。Go!
先上一段代码(代码1-1),这段代码做的事情是
1. 创建一个socket来listen请求
2. 调用select等待新请求、等待已有请求的数据收发状态READY
3. 当有新连接请求来的时候就调用accpet接受请求
4. 当有数据可读可写的时候就调用do_read/do_write执行数据收发
5. loop回去
注意:上面所有的操作都是在一个线程上做的。
看完代码,再看for循环内几个细节。
细节1. select前每次都要对三个fdset进行初始化。具体初始化策略就是:
- listen fd总是要set,这表明希望select关心listen fd的变化
- 已经accept了的fd总是要set,这表明希望select关心这些fd上是否可读可写
细节2. select后会对三个fdset的状态进行检查。具体检查结果是:
- listen fd如果被set了,表明有新的连接请求来了,需要调用accept
- readfdset中如果有fd被set了,表明那个fd上有新数据可读
- writefdset中如果有fd被set了,表明那个fd上可以写数据进去
从上面两个细节中可以发现
if (select(maxfd+1, &readset, &writeset, &exset, NULL) < 0) {
select的三个fdset参数是in/out型的参数,既负责输入、也负责输出。select内部只关心fdset上被置位为1的操作符状态,对于为0的它一概不关心。
想一下,既然fdset上置位为0,表明应用根本不关心,应用都不关心,内核何必死乞白赖的去查一下那个为0的状态位对应的fd的状态呢?
我之前之所以对select函数存在疑惑,就是对这一点不理解。我原来的理解方式是:
1. 应用只需要跟内核说:喂兄弟,我这个进程内哪些fd的状态变了呢?我也不知道我关心哪些fd,你帮我看着办吧,别漏掉了就行。
2. 内核就把系统中所有状态变了的fd都收集到一起,全部奉送给应用
3. 应用就根据这个集合来进行数据处理
现实世界的处理方式是:
1. 应用跟内核说:为兄弟,我关心a、b、c、d这几个fd的状态,您帮我查查?
2. 内核乖乖把a、b、c、d这几个fd的状态查了一把,其余fd统统忽略,反正查了也没用,还是省省吧
3. 应用拿到a、b、c、d这几个fd的状态后,根据他们的状态就行对应处理。
因此,应用需要关心这么两个问题:
1. 知道自己需要关心哪些fd,这需要用一个数据结构来跟踪。
2. 应用需要关心的fd有两类:一是自己的listen fd,二是自己accept过的fd,没有其它的了。
总算是明白select的猫腻了。
代码1-1 (来自http://www.wangafu.net/~nickm/libevent-book/01_intro.html)
void run(void)
{
int listener;
struct fd_state *state[FD_SETSIZE];
struct sockaddr_in sin;
int i, maxfd;
fd_set readset, writeset, exset;
sin.sin_family = AF_INET;
sin.sin_addr.s_addr = 0;
sin.sin_port = htons(40713);
for (i = 0; i < FD_SETSIZE; ++i)
state[i] = NULL;
listener = socket(AF_INET, SOCK_STREAM, 0);
make_nonblocking(listener);
if (bind(listener, (struct sockaddr*)&sin, sizeof(sin)) < 0) {
perror("bind");
return;
}
if (listen(listener, 16)<0) {
perror("listen");
return;
}
FD_ZERO(&readset);
FD_ZERO(&writeset);
FD_ZERO(&exset);
while (1) {
maxfd = listener;
FD_ZERO(&readset);
FD_ZERO(&writeset);
FD_ZERO(&exset);
FD_SET(listener, &readset);
for (i=0; i < FD_SETSIZE; ++i) {
if (state[i]) {
if (i > maxfd)
maxfd = i;
FD_SET(i, &readset);
if (state[i]->writing) {
FD_SET(i, &writeset);
}
}
}
if (select(maxfd+1, &readset, &writeset, &exset, NULL) < 0) {
perror("select");
return;
}
if (FD_ISSET(listener, &readset)) {
struct sockaddr_storage ss;
socklen_t slen = sizeof(ss);
int fd = accept(listener, (struct sockaddr*)&ss, &slen);
if (fd < 0) {
perror("accept");
} else if (fd > FD_SETSIZE) {
close(fd);
} else {
make_nonblocking(fd);
state[fd] = alloc_fd_state();
assert(state[fd]);/*XXX*/
}
}
for (i=0; i < maxfd+1; ++i) {
int r = 0;
if (i == listener)
continue;
if (FD_ISSET(i, &readset)) {
r = do_read(i, state[i]); //ref http://www.wangafu.net/~nickm/libevent-book/01_intro.html
}
if (r == 0 && FD_ISSET(i, &writeset)) {
r = do_write(i, state[i]); // ref same as above
}
if (r) {
free_fd_state(state[i]);
state[i] = NULL;
close(i);
}
}
}
}
我对于select的理解,离不开对内核源码的了解。是看了源码之后才豁然开朗。也贴一下内核源码(一些无关细节被省略了,更完整的代码参考http://bbs.chinaunix.net/thread-1926858-1-1.html),我在代码中另外加了一些注释,呼应上面的分析。
int do_select(int n, fd_set_bits *fds, struct timespec *end_time)
{
ktime_t expire, *to = NULL;
struct poll_wqueues table;
poll_table *wait;
int retval, i, timed_out = 0;
unsigned long slack = 0;
rcu_read_lock();
retval = max_select_fd(n, fds);
rcu_read_unlock();
if (retval < 0)
return retval;
n = retval;
poll_initwait(&table);
[color=Red]wait = &table.pt;[/color]
if (end_time && !end_time->tv_sec && !end_time->tv_nsec) {
wait = NULL;
timed_out = 1;
}
if (end_time && !timed_out)
slack = estimate_accuracy(end_time);
retval = 0;
for (;;) {
unsigned long *rinp, *routp, *rexp, *inp, *outp, *exp;
// fdset的输入参数,表明关心哪些fd
inp = fds->in; outp = fds->out; exp = fds->ex;
// fdset的输出参数,表明哪些关心的fd状态变成了可读可写可连接
rinp = fds->res_in; routp = fds->res_out; rexp = fds->res_ex;
// 这里看看n,就是外面传进来的max_fd,就很能理解为什么max_fd需要加1了
for (i = 0; i < n; ++rinp, ++routp, ++rexp) {
unsigned long in, out, ex, all_bits, bit = 1, mask, j;
unsigned long res_in = 0, res_out = 0, res_ex = 0;
const struct file_operations *f_op = NULL;
struct file *file = NULL;
in = *inp++; out = *outp++; ex = *exp++;
all_bits = in | out | ex;
if (all_bits == 0) {
// 性能优化代码。一次判断4个字节,32个fd,如果都不关心,则可以一次跳过
i += __NFDBITS;
continue;
}
// 32个fd中至少有一个fd是被用户关心的,得瞧瞧
for (j = 0; j < __NFDBITS; ++j, ++i, bit <<= 1) {
int fput_needed;
if (i >= n)
break;
if (!(bit & all_bits))
continue;
file = fget_light(i, &fput_needed);
if (file) {
f_op = file->f_op;
mask = DEFAULT_POLLMASK;
if (f_op && f_op->poll) //调用pool看这个fd是否ready
mask = (*f_op->poll)(file, retval ? NULL : wait);
fput_light(file, fput_needed);
if ((mask & POLLIN_SET) && (in & bit)) {
res_in |= bit;
retval++;
}
if ((mask & POLLOUT_SET) && (out & bit)) {
res_out |= bit;
retval++;
}
if ((mask & POLLEX_SET) && (ex & bit)) {
res_ex |= bit;
retval++;
}
}
}
if (res_in)
*rinp = res_in;
if (res_out)
*routp = res_out;
if (res_ex)
*rexp = res_ex;
cond_resched();
}
return retval;
}
对select的理解欲是被昨晚看的《编程人生》第一篇文章激发的, Jamie Zawinski:好奇心是驱动一个程序员的终极原动力,唯有好奇心才能让你对code了如指掌。