Linux I/O 接口

Linux I/O 接口可以分為以下幾種類型：

文件 I/O 接口：用于對文件進行讀寫操作的接口，包括 open()、read()、write()、close()、lseek() 等。

網(wǎng)絡 I/O 接口：用于網(wǎng)絡通信的接口，包括 socket()、connect()、bind()、listen()、accept() 等。

設備 I/O 接口：用于對設備（e.g. 字符設備、塊設備）進行讀寫操作的接口，包括 ioctl()、mmap()、select()、poll()、epoll() 等。

其他 I/O 接口：如管道接口、共享內(nèi)存接口、信號量接口等。

Linux I/O 處理流程

下面以最常用的 read() 和 write() 函數(shù)來介紹 Linux 的 I/O 處理流程。

read() 和 write()

read() 和 write() 函數(shù)，是最基本的文件 I/O 接口，也可用于在 TCP Socket 中進行數(shù)據(jù)讀寫，屬于阻塞式 I/O（Blocking I/O），即：如果沒有可讀數(shù)據(jù)或者對端的接收緩沖區(qū)已滿，則函數(shù)將一直等待直到有數(shù)據(jù)可讀或者對端緩沖區(qū)可寫。

函數(shù)原型：

fd 參數(shù)：指示 fd 文件描述符。

buf 參數(shù)：指示 read/write 緩沖區(qū)的入口地址。

count 參數(shù)：指示 read/write 數(shù)據(jù)的大小，單位為 Byte。

函數(shù)返回值：

• 返回實際 read/write 的字節(jié)數(shù)。
• 返回 0，表示已到達文件末尾。
• 返回 -1，表示操作失敗，可以通過 errno 全局變量來獲取具體的錯誤碼。

處理流程

下面以同時涉及了 Storage I/O 和 Network I/O 的一次網(wǎng)絡文件下載操作來展開 read() 和 write() 的處理流程。

read() 的處理流程：

1. Application 調(diào)用 read()，CPU 模式從用戶態(tài)切換到內(nèi)核態(tài)。
2. Kernel 根據(jù) file fd 查表（進程文件符表），找到對應的 file 結構體（普通文件），從而找到此文件的 inode 編號。
3. Kernel 將 buf 和 count 參數(shù)、以及文件指針位置等信息傳遞給 Device Driver（磁盤驅(qū)動程序）。
4. Driver 將請求的數(shù)據(jù)從 Disk Device 中 DMA Copy 到 Kernel PageCache Buffer 中。
5. Kernel 將數(shù)據(jù)從 Kernel PageCache Buffer 中 CPU Copy 到 Userspace Buffer 中（Application 不能直接訪問 Kernel space）。
6. read() 最終返回讀取的字節(jié)數(shù)或錯誤代碼給 Application，CPU 模式從內(nèi)核態(tài)切換到用戶態(tài)。

write() 的處理流程：

1. Application 調(diào)用 write()，CPU 模式從用戶態(tài)切換到內(nèi)核態(tài)。
2. Kernel 根據(jù) socket fd 查表，找到對應的 file 結構體（套接字文件），從而找到該 Socket 的 sock 結構體。
3. Kernel 將 buf 和 count 參數(shù)、以及文件指針位置等信息傳遞給 Device Driver（網(wǎng)卡驅(qū)動程序）。
4. Driver 將請求的數(shù)據(jù)從 Userspace Buffer 中 CPU Copy 到 Kernel Socket Buffer 中。
5. Kernel 將數(shù)據(jù)從 Kernel Socket Buffer 中 DMA Copy 到 NIC Device。
6. write() 最終返回寫入的字節(jié)數(shù)或錯誤代碼給 Application，CPU 模式從內(nèi)核態(tài)切換到用戶態(tài)。

可見，在一次常規(guī)的 I/O（read/write）操作流程中 處理流程中，總共需要涉及到：

• 4 次 CPU 模式切換：當 Application 調(diào)用 SCI 時，CPU 從用戶態(tài)切換到內(nèi)核態(tài)；當 SCI 返回時，CPU 從內(nèi)核態(tài)切換回用戶態(tài)。
• 2 次 CPU Copy：CPU 執(zhí)行進程數(shù)據(jù)拷貝指令，將數(shù)據(jù)從 User Process 虛擬地址空間 Copy 到 Kernel 虛擬地址空間。
• 2 次 DMA Copy：CPU 向 DMA 控制器下達設備數(shù)據(jù)拷貝指令，將數(shù)據(jù)從 DMA 物理內(nèi)存空間 Copy 到 Kernel 虛擬地址空間。

I/O 性能優(yōu)化機制

I/O buff/cache

Linux Kernel 為了提高 I/O 性能，劃分了一部分物理內(nèi)存空間作為 I/O buff/cache，也就是內(nèi)核緩沖區(qū)。當 Kernel 接收到 read() / write() 等讀寫請求時，首先會到 buff/cache 查找，如果找到，則立即返回。如果沒有則通過驅(qū)動程序訪問 I/O 外設。

查看 Linux 的 buff/cache：

實際上，Cache（緩存）和 Buffer（緩沖）從嚴格意義上講是 2 個不同的概念，Cache 側重加速 “讀”，而 Buffer 側重緩沖 “寫”。但在很多場景中，由于讀寫總是成對存在的，所以并沒有嚴格區(qū)分兩者，而是使用 buff/cache 來統(tǒng)一描述。

Page Cache

Page Cache（頁緩存）是最常用的 I/O Cache 技術，以頁為單位的，內(nèi)容就是磁盤上的物理塊，用于減少 Application 對 Storage 的 I/O 操作，能夠令 Application 對文件進行順序讀寫的速度接近于對內(nèi)存的讀寫速度。

頁緩存讀策略：當 Application 發(fā)起一個 Read() 操作，Kernel 首先會檢查需要的數(shù)據(jù)是否在 Page Cache 中：

• 如果在，則直接從 Page Cache 中讀取。
• 如果不在，則按照原 I/O 路徑從磁盤中讀取。同時，還會根據(jù)局部性原理，進行文件預讀，即：將已讀數(shù)據(jù)隨后的少數(shù)幾個頁面（通常是三個）一同緩存到 Page Cache 中。

頁緩存寫策略：當 Application 發(fā)起一個 write() 操作，Kernel 首先會將數(shù)據(jù)寫到 Page Cache，然后方法返回，即：Write back（寫回）機制，區(qū)別于 Write Through（寫穿）。此時數(shù)據(jù)還沒有真正的寫入到文件中去，Kernel 僅僅將已寫入到 Page Cache 的這一個頁面標記為 “臟頁（Dirty Page）”，并加入到臟頁鏈表中。然后，由 flusher（pdflush，Page Dirty Flush）kernel thread（回寫內(nèi)核線程）周期性地將臟頁鏈表中的頁寫到磁盤，并清理 “臟頁” 標識。在以下 3 種情況下，臟頁會被寫回磁盤：

1. 當空閑內(nèi)存低于一個特定的閾值時，內(nèi)核必須將臟頁寫回磁盤，以便釋放內(nèi)存。
2. 當臟頁在內(nèi)存中駐留時間超過一個特定的閾值時，內(nèi)核必須將超時的臟頁寫回磁盤。
3. 當 Application 主動調(diào)用 sync、fsync、fdatasync 等 SCI 時，內(nèi)核會執(zhí)行相應的寫回操作。

flusher 刷新策略由以下幾個內(nèi)核參數(shù)決定（數(shù)值單位均為 1/100 秒）：

綜上可見，Page Cache 技術在理想的情況下，可以在一次 Storage I/O 的流程中，減少 2 次 DMA Copy 操作（不直接訪問磁盤）。

Buffered I/O

下圖展示了一個 C 程序通過 stdio 庫中的 printf() 或 fputc() 等輸出函數(shù)來執(zhí)行數(shù)據(jù)寫入的操作處理流程。過程中涉及到了多處 I/O Buffer 的實現(xiàn)：

1. stdio buffer：在 Userspace 實現(xiàn)的 Buffer，因為 SCI 的成本昂貴，所以，Userspace Buffer 用于 “積累“ 到更多的待寫入數(shù)據(jù)，然后再通過一次 SCI 來完成真正的寫入。另外，stdio 也支持 fflush() 強制刷新函數(shù)。
2. Kernel buffer cache：處理包括上文以及提到的 Page Cache 技術之外，磁盤設備驅(qū)動程序也提供塊級別的 Buffer 技術，用于 “積累“ 更多的文件系統(tǒng)元數(shù)據(jù)和磁盤塊數(shù)據(jù)，然后在合適的時機完成真正的寫入。

零拷貝技術（Zero-Copy）

零拷貝技術（Zero-Copy），是通過盡量避免在 I/O 處理流程中使用 CPU Copy 和 DMA Copy 的技術。實際上，零拷貝并非真正做到了沒有任何拷貝動作，它更多是一種優(yōu)化的思想。

下列表格從 CPU Copy 次數(shù)、DMA Copy 次數(shù)以及 SCI 次數(shù)這 3 個方面來對比了幾種常見的零拷貝技術。可以看見，2 次 DMA Copy 是不可避免的，因為 DMA 是外設 I/O 的基本行為。零拷貝技術主要從減少 CPU Copy 和 CPU 模式切換這 2 個方面展開。

1、Userspace Direct I/O

Userspace Direct I/O（用戶態(tài)直接 I/O）技術的底層原理由 Kernel space 中的 ZONE_DMA 支持。ZONE_DMA 是一塊 Kernel 和 User Process 都可以直接訪問的 I/O 外設 DMA 物理內(nèi)存空間?；诖?， Application 可以直接讀寫 I/O 外設，而 Kernel 只會輔助執(zhí)行必要的虛擬存儲配置工作，不直接參與數(shù)據(jù)傳輸。因此，該技術可以減少 2 次 CPU Copy。

Userspace Direct I/O 的缺點：

1. 由于旁路了 要求 Kernel buffer cache 優(yōu)化，就需要 Application 自身實現(xiàn) Buffer Cache 機制，稱為自緩存應用程序，例如：數(shù)據(jù)庫管理系統(tǒng)。
2. 由于 Application 直接訪問 I/O 外設，會導致 CPU 阻塞，浪費 CPU 資源，這個問題需要結合異步 I/O 技術來規(guī)避。

具體流程看下圖：Using Direct I/O with DMA

2、mmap() + write()

mmap() SCI 用于將 I/O 外設（e.g. 磁盤）中的一個文件、或一段內(nèi)存空間（e.g. Kernel Buffer Cache）直接映射到 User Process 虛擬地址空間中的 Memory Mapping Segment，然后 User Process 就可以通過指針的方式來直接訪問這一段內(nèi)存，而不必再調(diào)用傳統(tǒng)的 read() / write() SCI。

申請空間函數(shù)原型：

• addr 參數(shù)：分配 MMS 映射區(qū)的入口地址，由 Kernel 指定，調(diào)用時傳入 NULL。
• length 參數(shù)：指示 MMS 映射區(qū)的大小。
• prot 參數(shù)：指示 MMS 映射區(qū)的權限，可選：PROT_READ、PROT_WRITE、PROT_READ|PROT_WRITE 類型。
• flags 參數(shù)：標志位參數(shù)，可選：
• MAP_SHARED：映射區(qū)所做的修改會反映到物理設備（磁盤）上。
• MAP_PRIVATE：映射區(qū)所做的修改不會反映到物理設備上。
• fd 參數(shù)：指示 MMS 映射區(qū)的文件描述符。
• offset 參數(shù)：指示映射文件的偏移量，為 4k 的整數(shù)倍，可以映射整個文件，也可以只映射一部分內(nèi)容。
• 函數(shù)返回值：
• 成功：更新 addr 入口地址。
• 失?。焊?MAP_FAILED 宏。

釋放空間函數(shù)原型：

• addr 參數(shù)：分配 MMS 映射區(qū)的入口地址，由 Kernel 指定，調(diào)用時傳入 NULL。
• length 參數(shù)：指示 MMS 映射區(qū)的大小。
• 函數(shù)返回值：
• 成功：返回 0。
• 失敗：返回 -1。

可見，mmap() 是一種高效的 I/O 方式。通過 mmap() 和 write() 結合的方式，可以實現(xiàn)一定程度的零拷貝優(yōu)化。

mmap() + write() 的 I/O 處理流程如下。

mmap() 映射：

1. Application 發(fā)起 mmap() 調(diào)用，進行文件操作，CPU 模式從用戶態(tài)切換到內(nèi)核態(tài)。
2. mmap() 將指定的 Kernel Buffer Cache 空間映射到 Application 虛擬地址空間。
3. mmap() 返回，CPU 模式從內(nèi)核態(tài)切換到用戶態(tài)。
4. 在 Application 后續(xù)的文件訪問中，如果出現(xiàn) Page Cache Miss，則觸發(fā)缺頁異常，并執(zhí)行 Page Cache 機制。通過已經(jīng)建立好的映射關系，只使用一次 DMA Copy 就將文件數(shù)據(jù)從磁盤拷貝到 Application User Buffer 中。

write() 寫入：

1. Application 發(fā)起 write() 調(diào)用，CPU 模式從用戶態(tài)切換到內(nèi)核態(tài)。
2. 由于此時 Application User Buffer 和 Kernel Buffer Cache 的數(shù)據(jù)是一致的，所以直接從 Kernel Buffer Cache 中 CPU Copy 到 Kernel Socket Buffer，并最終從 NIC 發(fā)出。
3. write() 返回，CPU 模式從內(nèi)核態(tài)切換到用戶態(tài)。

可見，mmap() + write() 的 I/O 處理流程減少了一次 CPU Copy，但沒有減少 CPU 模式切換的次數(shù)。另外，由于 mmap() 的進程間共享特性，非常適用于共享大文件的 I/O 場景。

mmap() + write() 的缺點：當 mmap 映射一個文件時，如果這個文件被另一個進程所截獲，那么 write 系統(tǒng)調(diào)用會因為訪問非法地址被 SIGBUS 信號終止，SIGBUS 默認會殺死進程并產(chǎn)生一個 coredump。解決這個問題通常需要使用文件租借鎖實現(xiàn)。在 mmap 之前加鎖，操作完之后解鎖。即：首先為文件申請一個租借鎖，當其他進程想要截斷這個文件時，內(nèi)核會發(fā)送一個實時的 RT_SIGNAL_LEASE 信號，告訴當前進程有進程在試圖破壞文件，這樣 write 在被 SIGBUS 殺死之前，會被中斷，返回已經(jīng)寫入的字節(jié)數(shù)，并設置 errno 為 success。

3、sendfile()

Linux Kernel 從 v2.1 開始引入了 sendfile()，用于在 Kernel space 中將一個 in_fd 的內(nèi)容復制到另一個 out_fd 中，數(shù)據(jù)無需經(jīng)過 Userspace，所以應用在 I/O 流程中，可以減少一次 CPU Copy。同時，sendfile() 比 mmap() 方式更具安全性。

函數(shù)原型：

• out_fd 參數(shù)：目標文件描述符，數(shù)據(jù)輸入文件。
• in_fd 參數(shù)：源文件描述符，數(shù)據(jù)輸出文件。該文件必須是可以 mmap 的。
• offset 參數(shù)：指定從源文件的哪個位置開始讀取數(shù)據(jù)，若不需要指定，傳遞一個 NULL。
• count 參數(shù)：指定要發(fā)送的數(shù)據(jù)字節(jié)數(shù)。
• 函數(shù)返回值：
• 成功：返回復制的字節(jié)數(shù)。
• 失?。悍祷?-1，并設置 errno 全局變量來指示錯誤類型。

sendfile() 處理流程：

1. Application 調(diào)用 sendfile()，CPU 從用戶態(tài)切換到內(nèi)核態(tài)。
2. Kernel 將數(shù)據(jù)通過 DMA Copy 從磁盤設備寫入 Kernel Buffer Cache。
3. Kernel 將數(shù)據(jù)從 Kernel Buffer Cache 中 CPU Copy 到 Kernel Socket Buffer。
4. Kernel 將數(shù)據(jù)從 Kernel Socket Buffer 中 DMA Copy 到 I/O 網(wǎng)卡設備。
5. sendfile() 返回，CPU 從內(nèi)核態(tài)切換到用戶態(tài)。

4、sendfile() + DMA Gather Copy

上文知道 sendfile() 還具有一次 CPU Copy，通過結合 DMA Gather Copy 技術，可以進一步優(yōu)化它。

DMA Gather Copy 技術，底層有 I/O 外設的 DMA Controller 提供的 Gather 功能支撐，所以又稱為 “DMA 硬件輔助的 sendfile()“。借助硬件設備的幫助，在數(shù)據(jù)從 Kernel Buffer Cache 到 Kernel Socket Buffer 之間，并不會真正的數(shù)據(jù)拷貝，而是僅拷貝了緩沖區(qū)描述符（fd + size）。待完成后，DMA Controller，可以根據(jù)這些緩沖區(qū)描述符找到依舊存儲在 Kernel Buffer Cache 中的數(shù)據(jù)，并進行 DMA Copy。

顯然，DMA Gather Copy 技術依舊是 ZONE_DMA 物理內(nèi)存空間共享性的一個應用場景。

sendfile() + DMA Gather Copy 的處理流程：

1. Application 調(diào)用 sendfile()，CPU 從用戶態(tài)切換到內(nèi)核態(tài)模式。
2. Kernel 將數(shù)據(jù)通過 DMA Copy 從磁盤設備寫入 Kernel Buffer Cache。
3. Kernel 將數(shù)據(jù)的緩沖區(qū)描述符從 Kernel Buffer Cache 中 CPU Copy 到 Kernel Socket Buffer（幾乎不費資源）。
4. 基于緩沖區(qū)描述符，CPU 利用 DMA Controller 的 Gather / Scatter 操作直接批量地將數(shù)據(jù)從 Kernel Buffer Cache 中 DMA Copy 到網(wǎng)卡設備。
5. sendfile() 返回，CPU 從內(nèi)核態(tài)切換到用戶態(tài)。

5、splice()

splice() 與 sendfile() 的處理流程類似，但數(shù)據(jù)傳輸方式有本質(zhì)不同。

• sendfile() 的傳輸方式是 CPU Copy，且具有數(shù)據(jù)大小限制；
• splice() 的傳輸方式是 Pipeline，打破了數(shù)據(jù)范圍的限制。但也要求 2 個 fd 中至少有一個必須是管道設備類型。

函數(shù)原型：

• fd_in 參數(shù)：源文件描述符，數(shù)據(jù)輸出文件。
• off_in 參數(shù)：輸出偏移量指針，表示從源文件描述符的哪個位置開始讀取數(shù)據(jù)。
• fd_out 參數(shù)：目標文件描述符，數(shù)據(jù)輸入文件。
• off_out 參數(shù)：輸入偏移量指針，表示從目標文件描述符的哪個位置開始寫入數(shù)據(jù)。
• len 參數(shù)：指示要傳輸?shù)臄?shù)據(jù)長度。
• flags：控制數(shù)據(jù)傳輸?shù)男袨榈臉酥疚弧?/li>

splice() 的處理流程如下：

1. Application 調(diào)用 splice()，CPU 從用戶態(tài)切換到內(nèi)核態(tài)。
2. Kernel 將數(shù)據(jù)通過 DMA Copy 從磁盤設備寫入 Kernel Buffer Cache。
3. Kernel 在 Kernel Buffer Cache 和 Kernel Socket Buffer 之間建立 Pipeline 傳輸。
4. Kernel 將數(shù)據(jù)從 Kernel Socket Buffer 中 DMA Copy 到 I/O 網(wǎng)卡設備。
5. splice() 返回，CPU 從內(nèi)核態(tài)切換到用戶態(tài)。

6、緩沖區(qū)共享技術

緩沖區(qū)共享技術，是對 Linux I/O 的一種顛覆，所以往往需要由 Application 和設備來共同實現(xiàn)。

其核心思想是：每個 Applications 都維護著一個 Buffer Pool，并且這個 Buffer Pool 可以同時映射到 Kernel 虛擬地址空間，這樣 Userspace 和 Kernel space 就擁有了一塊共享的空間。以此來規(guī)避掉 CPU Copy 的行為。