Linux PCI设备驱动代码必须扫描系统中所有的PCI总线,寻找系统中所有的PCI设备(包括PCI-PCI桥设备)。系统中的每条PCI总线都有个编号number,根PCI总线的编号为0。
一、总线链表
1、根总线链表( pci_root_buses )
- 系统当前存在的所有根总线(因为可能存在不止一个Host/PCI桥,那么就可能存在多条根总线) 都通过其pci_bus结构体中的node成员链接成一个全局的根总线链表,其表头由struct list_head类型的全局变量pci_root_buses描述。
我们在/linux-2.4.18/linux/drivers/pci/pci.c的38行可以看到如下定义:
LIST_HEAD(pci_root_buses)
;
2、子总线链表(children)
- 根总线下面的所有下级总线则都通过其pci_bus结构体中的node成员链接到其父总线的children链表中。
这样,通过这两种PCI总线链表,Linux内核就将所有的pci_bus结构体以一种倒置树的方式组织起来。
二、PCI设备链表
每个PCI设备都由一个pci_dev结构体表示,每个pci_dev结构体都同时连入两个队列:
- 一方面通过其成员global_list挂入一个总的pci_dev结构队列(队列头是pci_devices);
- 另一方面又通过成员bus_list挂入其所在总线的pci_dev结构队列devices(队列头是pci_bus.devices,即该pci设备所在的pci总线的devices队列),并且使指针bus(指pci_dev结构体里的bus成员)指向代表着其所在总线的pci_bus结构。
- 如果设备是PCI-PCI桥,则还要使其指针subordinate指向代表着另一条PCI总线的pci_bus结构。同样我们在/linux-2.4.18/linux/drivers/pci/pci.c的39行可以看到如下定义:
LIST_HEAD(pci_devices)
;
对于PCI设备链表,我们可以对照在"PCI设备驱动(二)"中贴出的PCI系统结构示意图,具体理解Linux内核中对应的数据结构。 图片发自简书App
三、PCI驱动程序初始化
1、深度优先算法构建设备树
Linux PCI初始化代码从PCI总线0开始扫描,它通过读取"Vendor ID"和"Device ID"来试图发现每一个插槽上的设备。
-
如果发现了一个PCI-PCI桥,则创建一个pci_bus数据结构并且连入到由pci_root_buses指向的pci_bus和pci_dev数据结构组成的树中。PCI初始化代码通过设备类代码0x060400来判断一个PCI设备是否是PCI-PCI桥。
-
然后Linux核心开始构造这个桥设备另一端的PCI总线和其上的设备。如果还发现了桥设备,就以同样的步骤来进行构建。
这个处理过程称之为深度优先算法。
PCI-PCI桥横跨在两条总线之间,寄存器PCI_PRIMARY_BUS和PCI_SECONDARY_BUS的内容就说明了其上下两端的总线号:
- PCI_SECONDARY_BUS就是该PCI-PCI桥所连接和控制的总线,
- PCI_SUBORDINATE_BUS则说明自此以下、在以此为根的子树中最大的总线号是什么。
我们可以在/linux-2.4.18/linux/include/linux/pci.h
看到如下定义:
112: /* Header type 1 (PCI-to-PCI bridges) */
113: #define PCI_PRIMARY_BUS 0x18 /* Primary bus number */
114: #define PCI_SECONDARY_BUS 0x19 /* Secondary bus number */
115: #define PCI_SUBORDINATE_BUS 0x1a /* Highest bus number behind the bridge */
2、内核对设备的寻址方式
-
由于在枚举阶段做的是深度优先扫描,所以子树中的总线号总是连续递增的。当CPU往I/O寄存器0xCF8中写入一个综合地址以后,从0号总线开始,每个PCI-PCI桥会把综合地址中的总线号与自身的总线号相比,如果相符就用逻辑设备号在本总线上寻访目标设备;
-
如果综合地址中的总线号与自己不相符,就进一步把这个总线号与PCI_SUBORDINATE_BUS中的内容相比,如果目标总线号落在当前子树范围中,就把综合地址传递给其下的各个次层PCI-PCI桥,要不然就不予理睬。
这样,最终就会找到目标设备。
当然,这个过程只是在PCI设备的配置阶段需要这样做,一旦配置完成,CPU就直接通过有关的总线地址访问目标设备了。
3、PCI桥的窗口
PCI-PCI桥要想正确传递对PCI I/O,PCI Memory或PCI Configuration地址空间的读和写请求,必须知道下列信息:
- Primary Bus Number(主总线号)
该PCI-PCI桥所处的PCI总线称为主总线。 - Secondary Bus Number(子总线号)
该PCI-PCI桥所连接的PCI总线称为子总线/次总线号。 - Subordinate Bus Number
PCI总线的下属PCI总线的总线编号最大值。
(1)什么是PCI桥窗口
PCI桥的配置寄存器与一般的PCI设备不同。
- 一般PCI设备可以有6个地址区间,外加一个ROM区间,代表着设备上实际存在的存储器或寄存器区间。
- PCI桥设备,本身并不一定有存储器或寄存器区间,但是却有三个用于地址过滤的区间。每个地址过滤区间决定了一个地址窗口,从CPU一侧发出的地址,如果落在PCI桥的某个窗口内,就可以穿过PCI桥而到达其所连接的总线上。
(2)PCI桥窗口的开关
- PCI桥的命令寄存器中有”memory access enable”和”I/O access enable”的两个控制位,当这两个控制位为0时,这些窗口就全都关上了。
(3)PCI桥窗口的作用
在未完成对PCI总线的初始化之前,还没有为PCI设备上的各个区间分配合适的总线地址时,正是因为这两个控制位为0,才不会对CPU一侧造成干扰。
- 对于PCI设备驱动(一)中的 PCI系统示意图 ,仅当读和写请求中的PCI I/O或PCI memory地址属于SCSI或Ethernet设备时,PCI-PCI桥才将这些总线上的请求从PCI总线0传递到PCI总线1。这种过滤机制可以避免地址在系统中没必要的繁衍。
- 为了做到这点,每个PCI-PCI桥必须正确地被设置好它所负责的PCI I/O或PCI memory的起始地址和大小。当一个读或写请求地址落在其负责的范围之内,这个请求将被映射到次级的PCI总线上。系统中的PCI-PCI桥一旦设置完毕,如果Linux中的设备驱动程序存取的PCI I/O和PCI memory地址落在在这些窗口之内,那么这些PCI-PCI桥就是透明的。
- 这是个很重要的特性,使得Linux PCI设备驱动程序开发者的工作容易些。
4、PCI桥的窗口的配置
问题:配置一个PCI-PCI桥的时候,并不知道这个PCI-PCI桥的subordinate bus number。那么就不知道该PCI桥下面是否还有其他的PCI-PCI桥。即使你知道,也不清楚如何对它们赋值。
方法:利用上述的深度扫描算法来扫描每个总线。每当发现PCI-PCI桥就对它进行赋值。当发现一个PCI-PCI桥时,可以确定它的secondary bus number。然后我们暂时先将其subordinate bus number赋值为0xFF。紧接着,开始扫描该PCI-PCI桥的downstream桥。
过程:这个过程看起来有点复杂,下面的例子将给出清晰的解释:
(1)第一步
以下图的拓扑结构为例:
- 扫描时首先发现的桥是Bridge1。Bridge 1的downstream PCI总线号码被赋值1。自然该桥的secondary bus number也是1。其subordinate bus number暂时赋值为0xFF。上述赋值的含义是所有类型1的含有PCI总线1或更高(<255)的号码的PCI配置地址将被Bridge 1传递到PCI总线1上。
-
(2)第二步
- 由于Linux PCI设备驱动使用深度优先算法进行扫描,所以初始化代码开始扫描总线1。从而Bridge 2被发现。
-
(3)第三步
- Linux PCI设备驱动代码从总线2的扫描中回来接着进行扫描总线1,发现Bridge 3。
- 它的primary bus number被赋值为1,secondary bus number为3。因为总线3上还发现了PCI-PCI桥,所以Bridge 3的subordinate bus number暂时赋值0xFF。
-
(4)第四步
- 现在Linux开始扫描PCI总线3,Bridge 3的downstream。PCI总线3上有另外一个PCI-PCI桥,Bridge 4。因此Bridge 4的primary bus number的值为3,secondary bus number为4。
- 由于Bridge 4下面没有别的桥设备,所以Bridge 4的subordinate bus number为4。
- 然后回到PCI-PCI Bridge 3。这时就将Bridge 3的subordinate bus number从0xFF改为4,表示总线4是从Bridge 3往下走的最远的PCI-PCI桥。
-