Linux內核驅動與單個PCI設備的綁定和解綁定
一、前言
在Linux內核2.6.13-rc3以前，驅動和設備之間的綁定和解綁只能通過insmod(modprobe)和rmmod來實現，但是這種實現方法有一個弊端，就是一旦綁定或者解綁定都是針對驅動與其所支持的所有設備之間進行，無法實現驅動單獨綁定或者解綁定一個設備。然而，在Linux內核2.6.13-rc3以后，提供了在用戶空間動態(tài)的綁定和解綁定驅動與設備之間關系的功能，這樣就解決了前面提到的無法實現驅動單獨綁定或者解綁定一個設備的問題。
二、PCI總線
PCI(peripheral component interconnect，外圍設備互聯)總線由PCI Host Bridge（PCI主橋）或者PCI Bus Bridge（PCI橋）管理，用來連接各類PCI設備，如聲卡、網卡和PCI橋等。在一個處理器系統(tǒng)中，可以通過PCI橋擴展PCI總線，形成PCI總線樹型結構，如下圖：Bus0上的Device2是一個PCI橋，由該橋拓展出Bus1。
在處理器系統(tǒng)中有幾個HOST主橋，就有幾棵PCI總線樹，而每一棵PCI總線樹都與一個PCI Domain（PCI總線域）對應，上圖就是一個總線域。每個PCI設備都有一個vendor ID（供應商號）和device ID（設備號）。
lspci用來顯示所有的PCI總線和連接在PCI總線上的設備，在一臺Linux設備上敲一敲lspci，通常得到類似如下信息：
[root@localhost ~]# lspci
00:00.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Root Complex
00:00.2 IOMMU: Advanced Micro Devices, Inc. [AMD] Starship/Matisse IOMMU
00:01.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
00:01.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse GPP Bridge
00:02.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
00:03.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
00:04.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
00:05.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
00:07.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
00:07.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B]
00:08.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse PCIe Dummy Host Bridge
00:08.1 PCI bridge: Advanced Micro Devices, Inc. [AMD] Starship/Matisse Internal PCIe GPP Bridge 0 to bus[E:B]
00:14.0 SMBus: Advanced Micro Devices, Inc. [AMD] FCH SMBus Controller (rev 61)
00:14.3 ISA bridge: Advanced Micro Devices, Inc. [AMD] FCH LPC Bridge (rev 51)
00:18.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 0
00:18.1 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 1
00:18.2 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 2
00:18.3 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 3
00:18.4 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 4
00:18.5 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 5
00:18.6 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 6
00:18.7 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 7
00:19.0 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 0
00:19.1 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 1
00:19.2 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 2
00:19.3 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 3
00:19.4 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 4
00:19.5 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 5
00:19.6 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 6
00:19.7 Host bridge: Advanced Micro Devices, Inc. [AMD] Starship Device 24; Function 7
01:00.0 Ethernet controller: Corigine, Inc. Device 4000
......
01:00.0 Ethernet controller: Corigine, Inc. Device 4000
- 01:00.0 ：表示
PCI總線域為0000，bus總線號為02，槽位號為01，功能號為0(lspci默認省略總線域0000，可以加參數-D顯示）。 - Ethernet controller ：指設備類型，設備類型包括
Device classes，Device subclasses，Program interfaces（一般省略），通過加參數-nn可以看到Ethernet controller對應的設備類型號為0200，其中02指Device classes，00指Device subclasses，通過The PCI ID Repository(http://pci-ids.ucw.cz/read/PD/02/00)在線網站也可以查看。
[root@localhost ~]# lspci -nn -D -s 01:00.0
0000:01:00.0 Ethernet controller [0200]: Corigine, Inc. Device [1da8:4000]
- Corigine, Inc. ：表示
Corigine公司，如上面所示，對應了供應商號1da8和設備號4000，可通過如下方式查看，也可以通過device hunt``(https://devicehunt.com/)在線網站查看。
[root@localhost ~]# lspci -nvmms 01:00.0
Slot: 01:00.0
Class: 0200
Vendor: 1da8
Device: 4000
SVendor: 1da8
SDevice: 0bf9
PhySlot: 2
NUMANode: 0
IOMMUGroup: 13
注意 ：在
Linux中，PCI設備的設備名稱（Device Name）通常以domain:bus:slot:function的形式來表示，如圖所示：
其中冒號分隔開的各個數字具有以下含義：
domain：表示PCI設備所在的PCI總線域（Domain），通常為一個16位的十六進制數，用于區(qū)分不同的PCI總線域。在大多數情況下，這個值為0000。bus：表示PCI設備所在的總線（Bus），通常為一個8位的十六進制數，用于區(qū)分不同的總線。一個系統(tǒng)可以具有多個總線。slot：表示PCI設備所在的插槽（Slot），通常為一個5位的十六進制數，用于區(qū)分不同的插槽。一個總線上可以有多個插槽。function：表示PCI設備的功能（Function），通常為一個3位的十六進制數，用于區(qū)分同一插槽上的不同功能。一個插槽上可以有多個功能。一個PCI物理設備可以實現多個功能設備，且邏輯功能相互獨立，其實就是 硬件虛擬化 。通過這種編號方式，可以唯一標識一個
PCI設備的位置信息。在上述示例中，"0000:01:00.0" 表示該設備位于 PCI 總線域 0000，總線 01，插槽 00，功能 0 。請注意，這些數字可能會因系統(tǒng)配置而有所不同，具體取決于你的系統(tǒng)和相應的
PCI設備。
三、驅動與單個PCI設備的綁定和解綁定
此處，我們以PCI總線的Corigine網卡設備及其驅動為例，講述網卡設備及其驅動的綁定和解綁定過程。首先，執(zhí)行lspci顯示所用機器上的所有網卡設備：
[root@localhost ~]# lspci | grep Eth
01:00.0 Ethernet controller: Corigine, Inc. Device 4000
21:00.0 Ethernet controller: Corigine, Inc. Network Flow Processor 3800
41:00.0 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)
41:00.1 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)
41:00.2 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)
41:00.3 Ethernet controller: Intel Corporation I350 Gigabit Network Connection (rev 01)
對于所有的Corigine網卡設備，都可以在nfp驅動下看到。其中，bind和unbind文件就是涉及到綁定和解綁的關鍵文件。
[root@localhost ~]# ls -l /sys/bus/pci/drivers/nfp
total 0
lrwxrwxrwx 1 root root 0 Nov 14 05:17 0000:01:00.0 - > ../../../../devices/pci0000:00/0000:00:01.1/0000:01:00.0
lrwxrwxrwx 1 root root 0 Nov 14 05:17 0000:21:00.0 - > ../../../../devices/pci0000:20/0000:20:03.2/0000:21:00.0
--w------- 1 root root 4096 Nov 14 05:17 bind
lrwxrwxrwx 1 root root 0 Jun 28 07:58 module - > ../../../../module/nfp
--w------- 1 root root 4096 Nov 14 05:17 new_id
--w------- 1 root root 4096 Nov 14 05:17 remove_id
--w------- 1 root root 4096 Jun 8 17:34 uevent
--w------- 1 root root 4096 Nov 14 05:17 unbind
1、解綁定
這里我們以PCI總線BDF號為01:00.0的Corigine網卡為例，解綁該設備，只需將設備的帶PCI總線域的BDF號寫入/sys/bus/pci/drivers/nfp/unbind（不同的設備，驅動不同，即這里的nfp）即可：
[root@localhost ~]# echo 0000:01:00.0 > /sys/bus/pci/drivers/nfp/unbind
# 解除綁定成功，再查看目錄下文件，該驅動下不再有對應的設備。
[root@localhost ~]# ls -l /sys/bus/pci/drivers/nfp
total 0
lrwxrwxrwx 1 root root 0 Nov 14 05:17 0000:21:00.0 - > ../../../../devices/pci0000:20/0000:20:03.2/0000:21:00.0
--w------- 1 root root 4096 Nov 14 05:17 bind
lrwxrwxrwx 1 root root 0 Jun 28 07:58 module - > ../../../../module/nfp
--w------- 1 root root 4096 Nov 14 05:17 new_id
--w------- 1 root root 4096 Nov 14 05:17 remove_id
--w------- 1 root root 4096 Jun 8 17:34 uevent
--w------- 1 root root 4096 Nov 14 05:23 unbind
執(zhí)行解綁定操作以后，我們可以通過lshw命令查看PCI設備：
[root@localhost ~]# lshw -c network -businfo
Bus info Device Class Description
=======================================================
pci@0000:01:00.0 /dev/fb0 network Corigine, Inc.
pci@0000:21:00.0 ens1np0 network Corigine, Inc.
pci@0000:41:00.0 eno1 network I350 Gigabit Network Connection
pci@0000:41:00.1 ens16f1 network I350 Gigabit Network Connection
pci@0000:41:00.2 ens16f2 network I350 Gigabit Network Connection
pci@0000:41:00.3 ens16f3 network I350 Gigabit Network Connection
pci@0000:21:00.0 ens1np1 network Ethernet interface
通過上述結果可知，BDF號為01:00.0的設備，在解綁定nfp驅動和該設備以后，該設備接口名稱已無法正常顯示，而同樣使用nfp 驅動的其他PCI設備，如上面BDF號為21:00.0的設備，則接口名稱正常顯示，說明驅動和該設備正常綁定。另外，也可通過如下方式對比兩個PCI設備此時的區(qū)別：
[root@localhost ~]# echo 0000:01:00.0 > /sys/bus/pci/drivers/nfp/unbind
[root@localhost ~]# lspci -s 01:00.0 -v
01:00.0 Ethernet controller: Corigine, Inc. Device 4000
Subsystem: Corigine, Inc. Device 0bf9
Physical Slot: 2
Flags: fast devsel, IRQ 117, NUMA node 0, IOMMU group 13
Memory at 340a0000000 (64-bit, prefetchable) [size=128M]
Memory at 340a8000000 (64-bit, prefetchable) [size=64M]
Memory at 340ac000000 (64-bit, prefetchable) [size=16M]
Expansion ROM at f5000000 [disabled] [size=16M]
Capabilities: [80] Power Management version 3
Capabilities: [b0] MSI-X: Enable- Count=256 Masked-
Capabilities: [c0] Express Endpoint, MSI 00
Capabilities: [100] Advanced Error Reporting
Capabilities: [140] Alternative Routing-ID Interpretation (ARI)
Capabilities: [150] Device Serial Number 88-3c-c5-a0-18-6d-10-ff
Capabilities: [200] Single Root I/O Virtualization (SR-IOV)
Capabilities: [300] Secondary PCI Express
Kernel modules: nfp
[root@localhost ~]# lspci -s 21:00.0 -v
21:00.0 Ethernet controller: Corigine, Inc. Network Flow Processor 3800
Subsystem: Corigine, Inc. Device 7feb
Physical Slot: 1
Flags: bus master, fast devsel, latency 0, IRQ 213, NUMA node 0, IOMMU group 29
Memory at 2c070000000 (64-bit, prefetchable) [size=128M]
Memory at 2c078000000 (64-bit, prefetchable) [size=64M]
Memory at 2c07c000000 (64-bit, prefetchable) [size=16M]
Expansion ROM at b0000000 [disabled] [size=16M]
Capabilities: [88] Power Management version 3
Capabilities: [b0] MSI-X: Enable+ Count=64 Masked-
Capabilities: [c0] Express Endpoint, MSI 00
Capabilities: [100] Advanced Error Reporting
Capabilities: [140] Alternative Routing-ID Interpretation (ARI)
Capabilities: [150] Device Serial Number 88-3c-c5-a0-32-1e-10-ff
Capabilities: [160] Power Budgeting ? >
Capabilities: [1b8] Latency Tolerance Reporting
Capabilities: [200] Single Root I/O Virtualization (SR-IOV)
Capabilities: [300] Secondary PCI Express
Capabilities: [400] Vendor Specific Information: ID=0001 Rev=1 Len=010 < ? >
Kernel driver in use: nfp
Kernel modules: nfp
根據上述結果可知，BDF號為01:00.0的PCI設備較BDF號為21:00.0的PCI設備明顯少了一行Kernel driver in use: nfp，說明BDF號為01:00.0的PCI設備已與nfp驅動解綁定，即nfp驅動未在使用中。而BDF號為21:00.0的PCI設備則正在與nfp驅動綁定中，即nfp驅動正在使用中。
2、綁定
綁定一個網卡設備，和解綁類似，將設備的帶PCI總線域的BDF號寫入/sys/bus/pci/drivers/nfp/bind（不同的設備，驅動不同，即這里的nfp）：
[root@localhost ~]# echo 0000:01:00.0 > /sys/bus/pci/drivers/nfp/bind
[root@localhost ~]# ls -l /sys/bus/pci/drivers/nfp
total 0
lrwxrwxrwx 1 root root 0 Nov 14 05:28 0000:01:00.0 - > ../../../../devices/pci0000:00/0000:00:01.1/0000:01:00.0
lrwxrwxrwx 1 root root 0 Nov 14 05:17 0000:21:00.0 - > ../../../../devices/pci0000:20/0000:20:03.2/0000:21:00.0
--w------- 1 root root 4096 Nov 14 05:27 bind
lrwxrwxrwx 1 root root 0 Jun 28 07:58 module - > ../../../../module/nfp
--w------- 1 root root 4096 Nov 14 05:17 new_id
--w------- 1 root root 4096 Nov 14 05:17 remove_id
--w------- 1 root root 4096 Jun 8 17:34 uevent
--w------- 1 root root 4096 Nov 14 05:23 unbind
執(zhí)行綁定操作以后，我們可以通過lshw命令查看PCI設備：
[root@localhost ~]# lshw -c network -businfo
Bus info Device Class Description
=======================================================
pci@0000:01:00.0 ens2np0 network Corigine, Inc.
pci@0000:21:00.0 ens1np0 network Corigine, Inc.
pci@0000:41:00.0 eno1 network I350 Gigabit Network Connection
pci@0000:41:00.1 ens16f1 network I350 Gigabit Network Connection
pci@0000:41:00.2 ens16f2 network I350 Gigabit Network Connection
pci@0000:41:00.3 ens16f3 network I350 Gigabit Network Connection
pci@0000:21:00.0 ens1np1 network Ethernet interface
pci@0000:01:00.0 ens2np1 network Ethernet interface
通過上述結果可知，BDF號為01:00.0的設備，在綁定nfp驅動和該設備以后，該設備接口名稱已正常顯示，且使用如下命令時，也顯示nfp驅動正在使用中。
[root@localhost ~]# echo 0000:01:00.0 > /sys/bus/pci/drivers/nfp/bind
[root@localhost ~]# lspci -s 01:00.0 -v
01:00.0 Ethernet controller: Corigine, Inc. Device 4000
Subsystem: Corigine, Inc. Device 0bf9
Physical Slot: 2
Flags: bus master, fast devsel, latency 0, IRQ 117, NUMA node 0, IOMMU group 13
Memory at 340a0000000 (64-bit, prefetchable) [size=128M]
Memory at 340a8000000 (64-bit, prefetchable) [size=64M]
Memory at 340ac000000 (64-bit, prefetchable) [size=16M]
Expansion ROM at f5000000 [disabled] [size=16M]
Capabilities: [80] Power Management version 3
Capabilities: [b0] MSI-X: Enable+ Count=256 Masked-
Capabilities: [c0] Express Endpoint, MSI 00
Capabilities: [100] Advanced Error Reporting
Capabilities: [140] Alternative Routing-ID Interpretation (ARI)
Capabilities: [150] Device Serial Number 88-3c-c5-a0-18-6d-10-ff
Capabilities: [200] Single Root I/O Virtualization (SR-IOV)
Capabilities: [300] Secondary PCI Express
Kernel driver in use: nfp
Kernel modules: nfp
四、總結
bind是PCI設備綁定驅動過程中會使用到的文件，unbind 是解綁PCI設備與驅動過程中會使用到的文件。具體的綁定與解綁的過程就是向這兩個文件中寫入規(guī)定格式的數據完成的。
對 bind 文件寫入每一個接口的 PCI 號意味著我們可以將一個網卡上的不同口綁定到不同的驅動上。對unbind 文件寫入接口的 PCI 號就會解除當前綁定的驅動。一個接口可以不綁定到任何驅動上面，不過我們常常不會這樣去做。
這里，我們只講了bind和unbind文件，其實PCI設備接口綁定驅動可能還會與new_id文件有關，new_id主要用于動態(tài)的向PCI設備驅動中添加一個新的設備ID，這種功能允許驅動添加更多的硬件而非僅包含在編譯時驅動靜態(tài)支持設備 ID 列表中的硬件。 寫入這個文件的格式中，Vendor Id 與 Device ID 字段是必須的，其它的字段可以不指定 。格式如下：
[root@localhost ~]# echo "1da8 4000" > /sys/bus/pci/drivers/nfp/new_id
成功添加一個設備 ID 時，驅動會嘗試 probe 系統(tǒng)中匹配到的設備并嘗試綁定到它之上。
既然有添加新的PCI設備的文件，那一定有移除新的PCI設備的文件，即與new_id位于同一目錄下的remove_id。
remove_id 的寫入格式與 new_id 的寫入格式相同。寫入 remove_id 可以用來確保內核不會自動 probe 匹配到這個驅動的設備。格式如下：
[root@localhost ~]# echo "1da8 4000" > /sys/bus/pci/drivers/nfp/remove_id
至此，關于驅動與單個PCI設備的綁定和解綁定就介紹完了。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規(guī)問題，請聯系本站處理。
舉報投訴
-
處理器
+關注
關注
68文章
19432瀏覽量
231260 -
Linux
+關注
關注
87文章
11350瀏覽量
210464 -
總線
+關注
關注
10文章
2904瀏覽量
88421 -
LINUX內核
+關注
關注
1文章
316瀏覽量
21749
發(fā)布評論請先 登錄
相關推薦
如何綁定域名
訪問空間了。我公司采用了自主開發(fā)的虛擬主機管理系統(tǒng)，提供實時的域名綁定和解析。qq在線了解：783650457電話：0511-85299368-801
發(fā)表于 11-29 14:52
“綁定”成功后，請問怎么通過綁定的設備向被綁定的設備發(fā)送控制命令？
。抓包都正常響應了響應的respone。但是，我不知道怎么通過綁定的設備向被綁定的設備發(fā)送控制命令。比如，一個開關和燈實現了綁定，這個
發(fā)表于 05-22 00:08
如何實現一個設備對多個設備的綁定
各位大師：
你們好！
我之前應用的都是一對一的設備間端點的綁定，對一個都綁定不了。我現在需要實現一對多，或者多對一設備間的綁定，程序需要改哪
發(fā)表于 06-01 07:44
Linux系統(tǒng)PCI設備驅動程序開發(fā)
為了促進“Linux+PCI”技術在工控領域中的應用，通過對Linux系統(tǒng)中PCI局部總線規(guī)范實現機制和Linux設備
發(fā)表于 07-16 09:55
?17次下載
Linux系統(tǒng)雙網卡綁定技術的介紹
兩塊物理網卡虛擬成一塊邏輯網卡，使其具有相同的IP地址，合成一個邏輯鏈路進行工作。這項技術在Sun和Cisco的設備中早已存在，分別被稱為Trunking和Etherchannel，在Linux中這種技術被稱為Bonding。Bonding技術最早應用在集群Beowulf
發(fā)表于 10-20 10:11
?13次下載
Linux下PCI設備驅動程序開發(fā)
PCI是一種廣泛采用的總線標準，它提供了許多優(yōu)于其它總線標準（如EISA）的新特性，目前已經成為計算機系統(tǒng)中應用最為廣泛，并且最為通用的總線標準。Linux的內核能較好地支持PCI總線
發(fā)表于 04-26 17:00
?1078次閱讀
Linux設備與驅動的手動解綁與手動綁定
但是有時候，這種自動匹配并不一定是我們想要的。比如我們有時候就是希望XXX設備用YYY驅動，而不是用XXX驅動。工程中有手動匹配的需求，最典型的場景是VFIO的場景，想讓設備與
無縫綁定和非綁定支持
自動獲取并同步來自任何應用程序的綁定數據。NET源代碼，包括交錯數組、任何實現IListSource或IList的對象，以及任何ADO。NET數據集、DataTable、DataView或DataViewManager對象。
comboBox控件的數據綁定方法是什么
首先創(chuàng)建數據綁定方法，在方法中創(chuàng)建一個string類型的List集合。并將集合賦值給控件的DataSource（數據源）完成數據綁定。
機智云智家APP的設備掃描與綁定限制
在使用機智云的智家APP時，用戶可能會遇到無法掃描和綁定設備的問題。這一現象的根本原因在于智家APP的使用限制和付費策略。Q智家APP的功能概述是什么？智家APP是機智云平臺為用戶提供的公
工商網監(jiān)
評論