NVIDIA Zero Touch RoCE （ ZTR ）使數(shù)據(jù)中心能夠無縫部署 聚合以太網(wǎng)上的 RDMA （ RoCE ） ，而無需任何特殊交換機配置。直到最近， ZTR 還僅適用于中小型數(shù)據(jù)中心。同時，大規(guī)模部署傳統(tǒng)上依賴于顯式擁塞通知（ ECN ）來啟用 RoCE 網(wǎng)絡傳輸，這需要交換機配置。

新的 NVIDIA 擁塞控制算法往返時間擁塞控制（ RTTCC ） – 允許 ZTR 在不影響性能的情況下擴展到數(shù)千臺服務器。通過使用 ZTR 和 RTTCC ，數(shù)據(jù)中心運營商可以在無需任何交換機配置的情況下，享受部署和操作的便利性，以及大規(guī)模遠程直接內(nèi)存訪問（ RDMA ）的卓越性能。

這篇文章描述了以前在大規(guī)模和小型 RoCE 部署中推薦的 RoCE 擁塞控制。然后介紹了一種新的擁塞控制算法，該算法允許 ZTR 的無配置大規(guī)模實現(xiàn)，其性能類似于支持 ECN 的 RoCE 。

具有數(shù)據(jù)中心量化擁塞通知的 RoCE 部署

在典型的基于 TCP 的環(huán)境中，分布式內(nèi)存請求需要許多步驟和 CPU 周期，這會對應用程序性能產(chǎn)生負面影響。 RDMA 消除了服務器之間內(nèi)存數(shù)據(jù)傳輸?shù)乃?CPU 參與，大大加快了對存儲數(shù)據(jù)的訪問和應用程序性能。

RoCE 在以太網(wǎng)環(huán)境中提供 RDMA ，這是數(shù)據(jù)中心的主要網(wǎng)絡結(jié)構。以太網(wǎng)需要高級擁塞控制機制來支持 RDMA 網(wǎng)絡傳輸。數(shù)據(jù)中心量化擁塞通知（ DCQCN ）是一種擁塞控制算法，能夠響應擁塞通知并動態(tài)調(diào)整流量傳輸速率。

DCQCN 的實現(xiàn)需要啟用顯式擁塞通知（ ECN ），這需要配置網(wǎng)絡交換機。 ECN 將交換機配置為設置擁塞經(jīng)歷（ CE ）位，以指示即將發(fā)生的擁塞。

具有無功擁塞控制的零接觸 RoCE

NVIDIA 開發(fā)的 ZTR 技術允許 RoCE 部署，無需配置交換機基礎設施。 ZTR 根據(jù) InfiniBand Trade Association （ IBTA ） RDMA 標準構建，完全符合 RoCE specifications ，支持 RoCE 的無縫部署。 ZTR 還擁有與傳統(tǒng)交換機啟用的 RoCE 相當?shù)男阅埽⑶颐黠@優(yōu)于傳統(tǒng)的基于 TCP 的內(nèi)存訪問。此外，通過 ZTR ， RoCE 網(wǎng)絡傳輸服務在普通 TCP / IP 環(huán)境中與非 RoCE 通信并行運行。

正如 NVIDIA 零接觸 RoCE 技術為 Microsoft Azure Stack HCI 實現(xiàn)了云經(jīng)濟 文章中所指出的，微軟已經(jīng)為其 Azure Stack HCI 平臺驗證了 ZTR ，該平臺通?？蓴U展到幾十個節(jié)點。在這樣的環(huán)境中， ZTR 依賴于隱式丟包通知，這對于小規(guī)模部署來說已經(jīng)足夠了。通過添加新的基于往返計時器（ RTT ）的擁塞控制算法， ZTR 變得更加健壯和可擴展，而無需依賴丟包來通知服務器網(wǎng)絡擁塞。

引入往返時間擁塞控制

新的 NVIDIA 擁塞控制算法 RTTCC 主動監(jiān)控網(wǎng)絡 RTT ，以便在丟棄數(shù)據(jù)包之前主動檢測并適應擁塞的發(fā)生。 RTTCC 使用基于硬件的反饋環(huán)路實現(xiàn)動態(tài)擁塞控制，與基于軟件的擁塞控制算法相比，該反饋環(huán)路提供了顯著優(yōu)越的性能。 RTTCC 還支持更快的傳輸速率，可以在更大范圍內(nèi)部署 ZTR 。帶有 RTTCC 的 ZTR 現(xiàn)在作為測試版功能提供， GA 計劃在 2022 年下半年推出。

ZTR-RTTCC 的工作原理

ZTR-RTTCC 通過基于硬件 RTT 的擁塞控制算法擴展了 RoCE 網(wǎng)絡中的 DCQCN 。

圖 1 服務器之間的往返計時

定時數(shù)據(jù)包（上圖中的綠色網(wǎng)絡數(shù)據(jù)包）定期從啟動器發(fā)送到目標。立即返回定時數(shù)據(jù)包，從而能夠測量往返延遲。 RTTCC 測量數(shù)據(jù)包發(fā)送和啟動器接收數(shù)據(jù)包之間的時間間隔。差異（接收時間–發(fā)送時間）衡量往返延遲，這表明路徑擁塞。未壓縮流繼續(xù)傳輸數(shù)據(jù)包，以最佳利用可用網(wǎng)絡路徑帶寬。延遲增加的流意味著路徑擁塞， RTTCC 會對流量進行節(jié)流，以避免緩沖區(qū)溢出和數(shù)據(jù)包丟失。

隨著擁塞的減少或增加，網(wǎng)絡流量可以實時地向上或向下調(diào)整。主動監(jiān)控和應對擁塞的能力對于使 ZTR 能夠主動管理擁塞至關重要。這種主動速率控制還可以減少數(shù)據(jù)包的重新傳輸，提高 RoCE 性能。使用 ZTR-RTTCC ，數(shù)據(jù)中心節(jié)點不會等待數(shù)據(jù)包丟失的通知；相反，它們主動識別擁塞 prior to 數(shù)據(jù)包丟失并作出相應反應，通知啟動器調(diào)整傳輸速率。

如前所述， ZTR 的一個關鍵優(yōu)勢是能夠提供 RoCE 功能，同時在普通 TCP / IP 流量中與非 RoCE 通信同時運行。 ZTR 提供 RoCE 網(wǎng)絡功能的無縫部署。通過添加 RTTCC 主動監(jiān)控擁塞， ZTR 提供數(shù)據(jù)中心范圍內(nèi)的操作，無需交換機配置。請繼續(xù)閱讀，看看它的性能如何。

具有 RTTCC 性能的 ZTR

如圖 2 所示，當通過網(wǎng)絡結(jié)構配置 ECN 和 PFC 時，帶有 RTTCC 的 ZTR 提供了與 RoCE 相當?shù)膽贸绦蛐阅堋＿@些測試是在最壞的多對一（ in-cast ）情況下進行的，以模擬擁擠條件下的吞吐量。

結(jié)果表明，具有 RTTCC 的 ZTR 不僅可以擴展到數(shù)千個節(jié)點，而且其性能與目前可用的最快 RoCE 解決方案相當。

在小規(guī)模（ 256 個連接及以下）下，具有 RTTCC 的 ZTR 在啟用 ECN 擁塞控制（傳統(tǒng) RoCE ）的 RoCE 的 99% 范圍內(nèi)執(zhí)行。

通過 16000 多個連接，具有 RTTCC 吞吐量的 ZTR 是傳統(tǒng) RoCE 吞吐量的 98% 。

帶有 RTTCC 的 ZTR 在不需要任何開關配置的情況下，提供了與傳統(tǒng) RoCE 幾乎相同的性能。

圖 2 連接不斷增加的應用程序帶寬

配置 ZTR

要使用新的 RTTCC 算法配置 ZTR ， 下載 并為 NVIDIA 網(wǎng)絡接口卡安裝最新固件和工具，請執(zhí)行以下步驟。

配置 ZTR

要使用新的 RTTCC 算法配置 ZTR ， 下載 并為 NVIDIA 網(wǎng)絡接口卡安裝最新固件和工具，請執(zhí)行以下步驟。

使用mlxconfig（持續(xù)配置）啟用可編程擁塞控制：

mlxconfig -d /dev/mst/mt4125_pciconf0 -y s
ROCE_CC_LEGACY_DCQCN=0

使用mlxfwreset重置設備或重新啟動主機：

mlxfwreset -d /dev/mst/mt4125_pciconf0 -l 3 -y r

完成這些步驟后，當 RDMA-CM 用于增強連接建立（ ECE ， MLNX _ OFED 版本 5.1 支持）時，將使用 ZTR-RTTCC 。

如果出現(xiàn)錯誤，無論 RDMA-CM 同步狀態(tài)如何，都可以強制使用 ZTR-RTTCC ：

mlxreg -d /dev/mst/mt4125_pciconf0 --reg_id 0x506e --reg_len
0x40 --set "0x0.0:8=2,0x4.0:4=15" -y

總結(jié)

NVIDIA RTTCC 是 ZTR 的新?lián)砣刂扑惴?，在?shù)據(jù)中心范圍內(nèi)提供卓越的 RoCE 性能，無需對交換機基礎設施進行任何特殊配置。此增強功能使數(shù)據(jù)中心能夠在現(xiàn)有和新的數(shù)據(jù)中心基礎架構中無縫實現(xiàn) RoCE ，并從即時的應用程序性能改進中獲益。

關于作者

Aviv Barnea 是 NVIDIA 網(wǎng)絡軟件工程的高級主管。他監(jiān)督網(wǎng)絡適配器 RDMA 軟件和擁塞控制機制的開發(fā)，實現(xiàn)高速、低延遲的數(shù)據(jù)中心連接。 Aviv 是 RDMA 和 RoCE 通信協(xié)議方面的專家，擁有該領域的多項專利，在推動 RDMA / RoCE 在業(yè)界的發(fā)展方面發(fā)揮了重要作用，在客戶和合作伙伴大規(guī)模部署加速網(wǎng)絡解決方案時與他們密切合作，并實現(xiàn)了無與倫比的性能和易用性。 Aviv 擁有特拉維夫大學工商管理碩士學位和理工學院物理與電氣工程學士學位。

Itay Ozery 是 NVIDIA 網(wǎng)絡產(chǎn)品營銷總監(jiān)。他為 Mellanox 的云網(wǎng)絡解決方案推動戰(zhàn)略性產(chǎn)品營銷和產(chǎn)品管理計劃。 Itay 在網(wǎng)絡安全領域領導了大規(guī)模的業(yè)務和項目，并與數(shù)據(jù)中心和電信服務提供商在 IT 系統(tǒng)和網(wǎng)絡工程領域擔任過多個職位。

審核編輯：郭婷