? 流行的GPU/TPU集群網(wǎng)絡(luò)組網(wǎng)，包括：NVLink、InfiniBand、ROCE以太網(wǎng)Fabric、DDC網(wǎng)絡(luò)方案等，深入了解它們之間的連接方式以及如何在LLM訓(xùn)練中發(fā)揮作用。為了獲得良好的訓(xùn)練性能，GPU網(wǎng)絡(luò)需要滿足以下條件：

1、端到端延遲：由于GPU間通信頻繁，降低節(jié)點(diǎn)間數(shù)據(jù)傳輸?shù)目傮w延遲有助于縮短整體訓(xùn)練時(shí)間。

2、無丟包傳輸：對(duì)于AI訓(xùn)練至關(guān)重要，因?yàn)槿魏翁荻然蛑虚g結(jié)果的丟失都會(huì)導(dǎo)致訓(xùn)練回退到內(nèi)存中存儲(chǔ)的前一個(gè)檢查點(diǎn)并重新開始，嚴(yán)重影響訓(xùn)練性能。

3、有效的端到端擁塞控制機(jī)制：在樹形拓?fù)渲?，?dāng)多個(gè)節(jié)點(diǎn)向單個(gè)節(jié)點(diǎn)傳輸數(shù)據(jù)時(shí)，瞬態(tài)擁塞不可避免。持久性擁塞會(huì)增加系統(tǒng)尾延遲。由于GPU之間存在順序依賴關(guān)系，即使一個(gè)GPU的梯度更新受到網(wǎng)絡(luò)延遲影響，也可能導(dǎo)致多個(gè)GPU停運(yùn)。一個(gè)慢速鏈路就足以降低訓(xùn)練性能。

除了以上因素，還需要綜合考慮系統(tǒng)的總成本、功耗和冷卻成本等方面。在這些前提下，我們將探討不同的GPU架構(gòu)設(shè)計(jì)選擇及其優(yōu)缺點(diǎn)。

一、NVLink 交換系統(tǒng)

用于連接 GPU 服務(wù)器中的 8 個(gè) GPU 的 NVLink 交換機(jī)也可以用于構(gòu)建連接 GPU 服務(wù)器之間的交換網(wǎng)絡(luò)。Nvidia 在 2022 年的 Hot Chips 大會(huì)上展示了使用 NVswitch 架構(gòu)連接 32 個(gè)節(jié)點(diǎn)（或 256 個(gè) GPU）的拓?fù)浣Y(jié)構(gòu)。由于 NVLink 是專門設(shè)計(jì)為連接 GPU 的高速點(diǎn)對(duì)點(diǎn)鏈路，所以它具有比傳統(tǒng)網(wǎng)絡(luò)更高的性能和更低的開銷。

第三代 NVswitch 配備 64 個(gè) NVLink 端口，提供高達(dá) 12.8Tbps 的交換容量，同時(shí)支持多播和網(wǎng)絡(luò)內(nèi)聚合功能。網(wǎng)絡(luò)內(nèi)聚合能夠在 NVswitches 內(nèi)部匯集所有工作 GPU 生成的梯度，并將更新后的梯度反饋給 GPU，以便進(jìn)行下一次迭代。這一特點(diǎn)有助于減少訓(xùn)練迭代過程中 GPU 之間的數(shù)據(jù)傳輸量。

據(jù) Nvidia 介紹，在訓(xùn)練 GPT-3 模型時(shí)，NVswitch 架構(gòu)的速度是 InfiniBand 交換網(wǎng)絡(luò)的 2 倍，展現(xiàn)出了令人矚目的性能。然而，值得注意的是，這款交換機(jī)的帶寬相較于高端交換機(jī)供應(yīng)商提供的 51.2Tbps 交換機(jī)來說，要少 4 倍。

若嘗試使用 NVswitches 構(gòu)建包含超過 1000 個(gè) GPU 的大規(guī)模系統(tǒng)，不僅成本上不可行，還可能受到協(xié)議本身的限制，從而無法支持更大規(guī)模的系統(tǒng)。此外，Nvidia 不單獨(dú)銷售 NVswitches，這意味著如果數(shù)據(jù)中心希望通過混合搭配不同供應(yīng)商的 GPU 來擴(kuò)展現(xiàn)有集群，他們將無法使用 NVswitches，因?yàn)槠渌?yīng)商的 GPU 不支持這些接口。

二、InfiniBand 網(wǎng)絡(luò)

InfiniBand（簡稱IB），這項(xiàng)技術(shù)自1999年推出以來，一直作為高速替代方案，有效替代了PCI和PCI-X總線技術(shù)，廣泛應(yīng)用于連接服務(wù)器、存儲(chǔ)和網(wǎng)絡(luò)。雖然由于經(jīng)濟(jì)因素，其最初的宏大設(shè)想有所縮減，但I(xiàn)nfiniBand仍在高性能計(jì)算、人工智能/機(jī)器學(xué)習(xí)集群和數(shù)據(jù)中心等領(lǐng)域得到了廣泛應(yīng)用。這主要?dú)w功于其卓越的速度、低延遲、無丟失傳輸以及遠(yuǎn)程直接內(nèi)存訪問（RDMA）功能。

更多InfiniBand技術(shù)，請(qǐng)參考文章“英偉達(dá)Quantum-2 Infiniband技術(shù)A&Q”，“InfiniBand高性能網(wǎng)絡(luò)設(shè)計(jì)概述”，“關(guān)于InfiniBand和RDMA網(wǎng)絡(luò)配置實(shí)踐”，“高性能計(jì)算：RoCE v2 vs. InfiniBand網(wǎng)絡(luò)該怎么選？”，“收藏：InfiniBand與Omni-Path架構(gòu)淺析”，“InfiniBand網(wǎng)絡(luò)設(shè)計(jì)和研究（電子書更新）”，“200G HDR InfiniBand有啥不同？”，“Infiniband架構(gòu)和技術(shù)實(shí)戰(zhàn)(第二版)”，“關(guān)于InfiniBand架構(gòu)和知識(shí)點(diǎn)漫談”等等。

InfiniBand（IB）協(xié)議旨在實(shí)現(xiàn)高效且輕量化的設(shè)計(jì)，有效避免了以太網(wǎng)協(xié)議中常見的開銷。它支持基于通道和基于內(nèi)存的通信，可以高效處理各種數(shù)據(jù)傳輸場(chǎng)景。

通過發(fā)/收設(shè)備之間的基于信用的流量控制，IB實(shí)現(xiàn)了無丟包傳輸（隊(duì)列或虛擬通道級(jí)別）。這種逐跳的流量控制確保不會(huì)由于緩沖區(qū)溢出而造成數(shù)據(jù)丟失。此外，它還支持端點(diǎn)之間的擁塞通知（類似于 TCP/IP 協(xié)議棧中的 ECN）。IB提供卓越的服務(wù)質(zhì)量，允許優(yōu)先處理某些類型的流量以降低延遲和防止丟包。

值得一提的是，所有的IB交換機(jī)都支持RDMA協(xié)議，這使得數(shù)據(jù)可以直接從一個(gè)GPU的內(nèi)存?zhèn)鬏數(shù)搅硪粋€(gè)GPU的內(nèi)存，無需CPU操作系統(tǒng)的介入。這種直接傳輸方式提高了吞吐量，并顯著降低了端到端的延遲。

然而，盡管具有諸多優(yōu)點(diǎn)，InfiniBand交換系統(tǒng)并不像以太網(wǎng)交換系統(tǒng)那樣流行。這是因?yàn)镮nfiniBand交換系統(tǒng)在配置、維護(hù)和擴(kuò)展方面相對(duì)困難。InfiniBand的控制平面通常通過一個(gè)單一的子網(wǎng)管理器進(jìn)行集中控制。雖然在小型集群中可以運(yùn)行良好，但對(duì)于擁有32K或更多GPU的網(wǎng)絡(luò)，其擴(kuò)展性可能會(huì)成為一項(xiàng)挑戰(zhàn)。此外，IB網(wǎng)絡(luò)還需要專門的硬件，如主機(jī)通道適配器和InfiniBand電纜，這使得其擴(kuò)展成本比以太網(wǎng)網(wǎng)絡(luò)更高。

目前，Nvidia是唯一一家提供高端IB交換機(jī)供HPC和AI GPU集群使用的供應(yīng)商。例如，OpenAI在Microsoft Azure云中使用了10,000個(gè)Nvidia A100 GPU和IB交換網(wǎng)絡(luò)來訓(xùn)練他們的GPT-3模型。而Meta最近構(gòu)建了一個(gè)包含16K GPU的集群，該集群使用Nvidia A100 GPU服務(wù)器和Quantum-2 IB交換機(jī)（英偉達(dá)GTC 2021大會(huì)上發(fā)布全新的InfiniBand網(wǎng)絡(luò)平臺(tái)，具有25.6Tbps的交換容量和400Gbps端口）。這個(gè)集群被用于訓(xùn)練他們的生成式人工智能模型，包括LLaMA。值得注意的是，當(dāng)連接10,000個(gè)以上的GPU時(shí)，服務(wù)器內(nèi)部GPU之間的切換是通過服務(wù)器內(nèi)的NVswitches完成的，而IB/以太網(wǎng)網(wǎng)絡(luò)則負(fù)責(zé)將服務(wù)器連接在一起。

為了應(yīng)對(duì)更大參數(shù)量的訓(xùn)練需求，超大規(guī)模云服務(wù)提供商正在尋求構(gòu)建具有32K甚至64K GPU的GPU集群。在這種規(guī)模上，從經(jīng)濟(jì)角度來看，使用以太網(wǎng)網(wǎng)絡(luò)可能更有意義。這是因?yàn)橐蕴W(wǎng)已經(jīng)在許多硅/系統(tǒng)和光模塊供應(yīng)商中形成了強(qiáng)大的生態(tài)系統(tǒng)，并且以開放標(biāo)準(zhǔn)為目標(biāo)，實(shí)現(xiàn)了供應(yīng)商之間的互操作性。

三、ROCE無損以太網(wǎng)

以太網(wǎng)的應(yīng)用廣泛，從數(shù)據(jù)中心到骨干網(wǎng)絡(luò)都有其身影，速度范圍從1Gbps到800Gbps，未來甚至有望達(dá)到1.6Tbps。與Infiniband相比，以太網(wǎng)在互連端口速度和總交換容量上更勝一籌。此外，以太網(wǎng)交換機(jī)的價(jià)格相對(duì)較低，每單位帶寬的成本更具競爭力，這主要?dú)w功于高端網(wǎng)絡(luò)芯片供應(yīng)商之間的激烈競爭，推動(dòng)了廠商將更多帶寬集成到ASIC中，從而降低了每千兆位的成本。

高端以太網(wǎng)交換機(jī)ASIC的主要供應(yīng)商可以提供高達(dá)51.2Tbps的交換容量，配備800Gbps端口，其性能是Quantum-2（（英偉達(dá)GTC 2021大會(huì)上發(fā)布全新的InfiniBand網(wǎng)絡(luò)平臺(tái)，具有25.6Tbps的交換容量和400Gbps端口））的兩倍。這意味著，如果交換機(jī)的吞吐量翻倍，構(gòu)建GPU網(wǎng)絡(luò)所需的交換機(jī)數(shù)量可以減少一半。

以太網(wǎng)還能提供無丟包傳輸服務(wù)，通過優(yōu)先流量控制（PFC）實(shí)現(xiàn)。PFC支持8個(gè)服務(wù)類別，每個(gè)類別都可以進(jìn)行流量控制，其中一些類別可以指定為無丟包類別。在處理和通過交換機(jī)時(shí)，無丟包流量的優(yōu)先級(jí)高于有丟包流量。在發(fā)生網(wǎng)絡(luò)擁塞時(shí)，交換機(jī)或網(wǎng)卡可以通過流量控制來管理上游設(shè)備，而不是簡單地丟棄數(shù)據(jù)包。

更多ROCE技術(shù)細(xì)節(jié)，請(qǐng)參考文章“RoCE、IB和TCP等網(wǎng)絡(luò)知識(shí)及差異對(duì)比”，“關(guān)于RoCE技術(shù)3種實(shí)現(xiàn)及應(yīng)用”，“高性能計(jì)算：RoCE技術(shù)分析及應(yīng)用”，“高性能計(jì)算：RoCE v2 vs. InfiniBand網(wǎng)絡(luò)該怎么選？”，“RoCE技術(shù)在HPC中的應(yīng)用分析”，“面向數(shù)據(jù)中心無損網(wǎng)絡(luò)技術(shù)（IP、RDMA、IB、RoCE、AI Fabric）”，“超算網(wǎng)絡(luò)演變：從TCP到RDMA，從IB到RoCE”等等。

此外，以太網(wǎng)還支持RDMA（遠(yuǎn)程直接內(nèi)存訪問）通過RoCEv2（RDMA over Converged Ethernet）實(shí)現(xiàn)，其中RDMA幀被封裝在IP/UDP內(nèi)。當(dāng)RoCEv2數(shù)據(jù)包到達(dá)GPU服務(wù)器中的網(wǎng)絡(luò)適配器（NIC）時(shí)，NIC可以直接將RDMA數(shù)據(jù)傳輸?shù)紾PU的內(nèi)存中，無需CPU介入。同時(shí)，可以部署如DCQCN等強(qiáng)大的端到端擁塞控制方案，以降低RDMA的端到端擁塞和丟包。

在負(fù)載均衡方面，路由協(xié)議如BGP使用等價(jià)路徑多路徑路由（ECMP）來在多條具有相等“代價(jià)”的路徑上分發(fā)數(shù)據(jù)包。當(dāng)數(shù)據(jù)包到達(dá)具有多條到達(dá)目標(biāo)的等價(jià)路徑的交換機(jī)時(shí)，交換機(jī)使用哈希函數(shù)來決定數(shù)據(jù)包的發(fā)送路徑。然而，哈希不總是完美的，可能會(huì)導(dǎo)致某些鏈路負(fù)載不均，造成網(wǎng)絡(luò)擁塞。

為了解決這個(gè)問題，可以采用一些策略，例如預(yù)留輕微過量的帶寬，或者實(shí)現(xiàn)自適應(yīng)負(fù)載均衡，當(dāng)某條路徑擁塞時(shí)，交換機(jī)可以將新流的數(shù)據(jù)包路由到其他端口。許多交換機(jī)已經(jīng)支持此功能。此外，RoCEv2的數(shù)據(jù)包級(jí)負(fù)載均衡可以將數(shù)據(jù)包均勻地分散在所有可用鏈路上，以保持鏈路平衡。但這可能導(dǎo)致數(shù)據(jù)包無序到達(dá)目的地，需要網(wǎng)卡支持在RoCE傳輸層上處理這些無序數(shù)據(jù)，確保GPU接收到的數(shù)據(jù)是有序的。這需要網(wǎng)卡和以太網(wǎng)交換機(jī)的額外硬件支持。

另外部分廠商的ROCE以太網(wǎng)交換機(jī)，也可以在交換機(jī)內(nèi)部聚合來自GPU的梯度，有助于減少訓(xùn)練過程中的GPU間流量，如Nvidia的高端以太網(wǎng)交換機(jī)等。

總的來說，高端太網(wǎng)交換機(jī)和網(wǎng)卡具備強(qiáng)大的擁塞控制、負(fù)載均衡功能和RDMA支持，可以擴(kuò)展到比IB交換機(jī)更大的設(shè)計(jì)。一些云服務(wù)提供商和大規(guī)模集群的公司已經(jīng)開始使用基于以太網(wǎng)的GPU網(wǎng)絡(luò)，以連接超過32K的GPU。

四、DDC全調(diào)度網(wǎng)絡(luò)

近期，數(shù)家交換機(jī)/路由器芯片供應(yīng)商宣布推出支持全調(diào)度Fabric或AI Fabric的芯片。這種全調(diào)度網(wǎng)絡(luò)實(shí)際上已經(jīng)應(yīng)用于許多模塊化機(jī)箱設(shè)計(jì)中十多年，其中包括Juniper的PTX系列路由器，它們采用了虛擬出口隊(duì)列（VOQ）網(wǎng)絡(luò)。

在VOQ架構(gòu)中，數(shù)據(jù)包僅在入口葉子交換機(jī)中進(jìn)行一次緩沖，存放在與最終出口葉子交換機(jī)/WAN端口/輸出隊(duì)列相對(duì)應(yīng)的隊(duì)列中。這些隊(duì)列在入口交換機(jī)中被稱為虛擬輸出隊(duì)列（Virtual Output Queues, VOQs）。因此，每個(gè)入口葉子交換機(jī)為整個(gè)系統(tǒng)中的每個(gè)輸出隊(duì)列提供緩沖空間。該緩沖區(qū)的大小通常足以容納每個(gè)VOQ在40-70微秒內(nèi)遇到擁塞時(shí)的數(shù)據(jù)包。當(dāng)VOQ的數(shù)據(jù)量較少時(shí)，它保留在片上緩沖區(qū)中；當(dāng)隊(duì)列開始增長時(shí)，數(shù)據(jù)會(huì)轉(zhuǎn)移到外部存儲(chǔ)器中的深度緩沖區(qū)。

當(dāng)入口葉子交換機(jī)上的某個(gè)VOQ累積了多個(gè)數(shù)據(jù)包后，它會(huì)向出口交換機(jī)發(fā)送請(qǐng)求，要求在網(wǎng)絡(luò)中傳輸這些數(shù)據(jù)包。這些請(qǐng)求通過網(wǎng)絡(luò)傳送到出口葉子交換機(jī)。

出口葉子交換機(jī)中的調(diào)度器根據(jù)嚴(yán)格的調(diào)度層次以及其淺輸出緩沖區(qū)中的可用空間來批準(zhǔn)這些請(qǐng)求。這些批準(zhǔn)的速率受到限制，以避免過度訂閱交換機(jī)鏈路（超出隊(duì)列緩存接受范圍）。

一旦批準(zhǔn)到達(dá)入口葉子交換機(jī)，它就會(huì)將所收到批準(zhǔn)的一組數(shù)據(jù)包發(fā)送到出口，并通過所有可用的上行鏈路進(jìn)行傳輸。

發(fā)送到特定VOQ的數(shù)據(jù)包可以均勻地分散在所有可用的輸出鏈路上，以實(shí)現(xiàn)完美的負(fù)載均衡。這可能導(dǎo)致數(shù)據(jù)包的重新排序。然而，出口交換機(jī)具有邏輯功能，可以將這些數(shù)據(jù)包按順序重新排列，然后將它們傳輸?shù)紾PU節(jié)點(diǎn)。

由于出口調(diào)度器在數(shù)據(jù)進(jìn)入交換機(jī)之前就對(duì)已批準(zhǔn)的數(shù)據(jù)進(jìn)行了控制，從而避免了鏈路帶寬的超額使用，因此消除了以太網(wǎng)數(shù)據(jù)面中99%由incast引起的擁塞問題（當(dāng)多個(gè)端口嘗試向單個(gè)輸出端口發(fā)送流量時(shí)），并且完全消除了頭阻塞（HOL blocking）。需要指出的是，在這種架構(gòu)中，數(shù)據(jù)（包括請(qǐng)求和批準(zhǔn)）仍然是通過以太網(wǎng)進(jìn)行傳輸?shù)摹?/p>

頭阻塞（HOL blocking）是指在網(wǎng)絡(luò)傳輸中，一列數(shù)據(jù)包中的第一個(gè)數(shù)據(jù)包如果遇到阻礙，會(huì)導(dǎo)致后面所有的數(shù)據(jù)包也被阻塞，無法繼續(xù)傳輸，即使后面的數(shù)據(jù)包的目標(biāo)輸出端口是空閑的。這種現(xiàn)象會(huì)嚴(yán)重影響網(wǎng)絡(luò)的傳輸效率和性能。

一些架構(gòu)，如Juniper的Express和Broadcom的Jericho系列，通過其專有的分段化（cellified）數(shù)據(jù)面實(shí)現(xiàn)了虛擬輸出隊(duì)列（VOQ）。

在這種方法中，葉子交換機(jī)將數(shù)據(jù)包分割為固定大小的分段，并在所有可用的輸出鏈路上均勻分布它們。與在數(shù)據(jù)包級(jí)別進(jìn)行均勻分布相比，這可以提高鏈路利用率，因?yàn)榛旌鲜褂么笮秃托⌒蛿?shù)據(jù)包很難充分利用所有鏈路。通過分段轉(zhuǎn)發(fā)，我們還避免了輸出鏈路上的另一個(gè)存儲(chǔ)/轉(zhuǎn)發(fā)延遲（出口以太網(wǎng)接口）。在分段數(shù)據(jù)面中，用于轉(zhuǎn)發(fā)分段的spine交換機(jī)被定制交換機(jī)所替代，這些定制交換機(jī)能夠高效地進(jìn)行分段轉(zhuǎn)發(fā)。這些分段數(shù)據(jù)面交換機(jī)在功耗和延遲方面優(yōu)于以太網(wǎng)交換機(jī)，因?yàn)樗鼈儾恍枰С諰2交換的開銷。因此，基于分段的數(shù)據(jù)面不僅可以提高鏈路利用率，還可以減少VOQ數(shù)據(jù)面的總體延遲。

VOQ架構(gòu)確實(shí)存在一些局限性：

每個(gè)葉子交換機(jī)的入口端應(yīng)具有合理的緩沖區(qū)，以供系統(tǒng)中所有VOQ在擁塞期間緩沖數(shù)據(jù)包。緩沖區(qū)大小與GPU數(shù)量及每個(gè)GPU的優(yōu)先級(jí)隊(duì)列數(shù)量成正比。GPU規(guī)模較大直接導(dǎo)致更大的入口緩沖區(qū)需求。

出口隊(duì)列緩沖區(qū)應(yīng)具備足夠的空間，以覆蓋通過數(shù)據(jù)面的往返延遲，以防在請(qǐng)求-批準(zhǔn)握手期間這些緩沖區(qū)耗盡。在較大的GPU集群中，使用3級(jí)數(shù)據(jù)面時(shí)，由于光纜延遲和額外交換機(jī)的存在，此往返延遲可能會(huì)增加。如果出口隊(duì)列緩沖區(qū)未適當(dāng)調(diào)整以適應(yīng)增加的往返延遲，輸出鏈路將無法達(dá)到100%的利用率，從而降低系統(tǒng)的性能。

盡管VOQ系統(tǒng)通過出口調(diào)度減少了由于頭阻塞引起的尾延遲，但由于入口葉交換機(jī)必須在傳輸數(shù)據(jù)包之前進(jìn)行請(qǐng)求-批準(zhǔn)握手，因此一個(gè)數(shù)據(jù)包的最小延遲會(huì)增加額外的往返延遲。

盡管存在這些限制，全調(diào)度的VOQ(fabric)在減少尾延遲方面的性能要明顯優(yōu)于典型的以太網(wǎng)流量。如果通過增加緩沖區(qū)而使鏈路利用率提高到90%以上，則在GPU規(guī)模擴(kuò)大時(shí)帶來的額外開銷可能是值得投資的。

此外，供應(yīng)商鎖定是VOQ(fabric)面臨的一個(gè)問題。因?yàn)槊總€(gè)供應(yīng)商都使用自己的專有協(xié)議，所以在同一fabric中混合使用和匹配交換機(jī)變得非常困難。

總結(jié)：主流GPU集群組網(wǎng)技術(shù)應(yīng)用情況

NVLink交換系統(tǒng)雖然為GPU間通信提供了有效解決方案，但其支持的GPU規(guī)模相對(duì)有限，主要應(yīng)用于服務(wù)器內(nèi)部的GPU通信以及小規(guī)模跨服務(wù)器節(jié)點(diǎn)間的數(shù)據(jù)傳輸。

InfiniBand網(wǎng)絡(luò)作為一種原生的RDMA網(wǎng)絡(luò)，在無擁塞和低延遲環(huán)境下表現(xiàn)卓越。然而，由于其架構(gòu)相對(duì)封閉且成本較高，它更適用于中小規(guī)模且對(duì)有線連接有需求的客戶群體。

ROCE無損以太網(wǎng)則憑借其依托成熟的以太網(wǎng)生態(tài)、最低的組網(wǎng)成本以及最快的帶寬迭代速度，在中大型訓(xùn)練GPU集群的場(chǎng)景中展現(xiàn)出更高的適用性。

至于DDC全調(diào)度網(wǎng)絡(luò)，它結(jié)合了信元交換和虛擬輸出隊(duì)列（VOQ）技術(shù)，因此在解決以太網(wǎng)擁塞問題方面有著顯著的優(yōu)勢(shì)。作為一種新興技術(shù)，目前業(yè)界各家仍處于研究階段，以評(píng)估其長期潛力和應(yīng)用前景。

審核編輯：湯梓紅