Linux异步IOio_uring 与 libaio

我们可以先整体看一下 linux 的 IO 模型大体有哪些类型。

linux 的 IO 主要可以分为两个大类，而我们今天要介绍的 io_uring 就属于其中的 kernel IO 模型中的 async IO 模式的一种。

作为存储系统的开发者，高带宽和高 IOPS 是我们不断的性能追求，相比于通过 kernel bypass 的方式和硬件相结合来实现这种目标，kernel native IO 的方式似乎是一种更加友好通用的实现方式。

从 linux 的 IO 接口的发展看，async IO 是对于普通应用程序来说，实现高性能的必然选择，它通过异步方式来和 linux kernel 进行交互，减少了对用户态应用程序的阻塞过程，可以让应用程序有更多的机会去处理其他任务，提高了并发度

io_uring 简介

从上面的分析中看出，io_uring 是 kernel natvie aio 的一种，它是 Linux Kernel 5.1 版本加入一个特性。通过设计 io_uring 这套全新的 aysnc IO 系统调用接口，让应用程序可以获得更高的性能，更好的兼容性。

libaio 的局限

在 io_uring 出现之前，主流的使用 kernel aio 模式的接口是使用 libaio 接口，这种接口存在着如下一些局限：

(1) 仅支持 direct IO。在采用 aysnc IO 的时候，只能使用 O_DIRECT，不能借助文件系统缓存来缓存当前的 IO 请求，还存在 size 对齐（直接操作磁盘，所有写入内存块数量必须是文件系统块大小的倍数，而且要与内存页大小对齐）等限制，这直接影响了 aio 在很多场景的使用。

从图中流程看，例如 read 请求来说，direct IO 的模式会把从盘上读取的数据直接返回给了用户态的内存空间，不会在 kernel 中缓存，当存在多次重复读取的场景，每次都需要读盘，大大增加了 kernel 的负担。

(2) 仍然可能被阻塞。即使应用层主观上，希望系统层采用异步 IO，但是客观上，有时候还是可能会被阻塞。

(3) 拷贝开销大。每个 IO 提交需要拷贝 64+8 字节，每个 IO 完成需要拷贝 32 字节，总共 104 字节的拷贝。这个拷贝开销是否可以承受，和单次 IO 大小有关：如果需要发送的 IO 本身就很大，相较之下，这点消耗可以忽略，而在大量小 IO 的场景下，这样的拷贝影响比较大。

(4) API 不友好。每一个 IO 至少需要两次系统调用才能完成（submit 和 wait-for-completion），需要非常小心地使用完成事件以避免丢事件。

io_uring 的优势

io_uring 围绕高效进行设计，其设计了一对共享的 ring buffer 用于应用和内核之间的通信，通过该设计实现了如下的三个好处：

（1）避免在提交和完成事件中存在内存拷贝；

（2）避免了 libaio 中在提交和完成任务的时候系统调用过程；

（3）该队列采用了无锁的访问模式，通过内存屏障减少了竞争；

在共享的 ring buffer 设计中，针对提交队列（SQ），应用是 IO 提交的生产者（producer），内核是消费者（consumer）；反过来，针对完成队列（CQ），内核是完成事件的生产者，应用是消费者。（类似rdma）

另外，io_uring 还存在如下的优势：
（1）提交和完成不需要经过系统调用，而且减少了对用户态线程的阻塞；该部分的支持主要通过共享的 ring buffer 和设置 polling 模式来实现。

（2）支持 Block 层的 polling 模式

（3）支持 buffered IO，充分利用缓存，减少数据碰盘产生的系统延迟；

io_uring 的实现

名称解释：

用户态接口：
io_uring 的实现仅仅使用了三个用户态的系统调用接口：

（1）io_uring_setup：初始化一个新的 io_uring 上下文，内核通过一块和用户共享的内存区域进行消息的传递。

（2）io_uring_enter：提交任务以及收割任务。

（3）io_uring_register：注册用户态和内核态的共享 buffer。

使用前两个系统调用已经足够使用 io_uring 接口了。

io_uring 的接口虽然简单，但操作起来有些复杂，需要手动 mmap 来映射内存。可以看到，io_uring 是完全为性能而生的新一代 native async IO 模型，比 libaio 高级不少。通过全新的设计，共享内存，IO 过程不需要系统调用，由内核完成 IO 的提交， 以及 IO completion polling 机制，实现了高 IOPS，高 Bandwidth。相比 kernel bypass(spdk nvme)，这种 native 的方式显得友好一些。

参考资料

(存储大师班|Linux IO 模式之 io_uring)[https://zhuanlan.zhihu.com/p/389978597]