任何單個GPU、XPU或其他AI加速器都無法滿足AI工作負載的巨大計算需求。為了滿足這一需求，需要成千上萬個，甚至不久的將來可能需要數(shù)十萬個這樣的加速器協(xié)同工作，共同分擔處理負載。

以Llama3為例，僅預(yù)訓(xùn)練階段就需要超過700TB的內(nèi)存和16,000個加速器。與其他AI模型一樣，其處理參數(shù)預(yù)計每四到六個月就會翻一番。

這種大規(guī)模并行處理和持續(xù)增長給支撐AI集群的網(wǎng)絡(luò)結(jié)構(gòu)帶來了巨大的壓力，更具體地說，給集群內(nèi)部所有加速器之間的數(shù)據(jù)傳輸通道（即互連）帶來了巨大的壓力。

為了滿足更大規(guī)模AI集群對更高帶寬和更低延遲互連的需求，超以太網(wǎng)和超加速器鏈路（UALink）等新興標準應(yīng)運而生。我們最近率先發(fā)布的超以太網(wǎng)和UALink IP解決方案，將支持大規(guī)模AI集群的橫向和縱向擴展。

AI基礎(chǔ)結(jié)構(gòu)的橫向和縱向擴展

為了滿足現(xiàn)代工作負載日益增長的計算需求，AI集群需要同時進行橫向擴展（通過網(wǎng)絡(luò)結(jié)構(gòu)）和縱向擴展（在機架內(nèi)）。

超以太網(wǎng)解決了橫向擴展問題，通過提供高性能、與供應(yīng)商無關(guān)的鏈路，它能夠?qū)⒍噙_百萬級的節(jié)點連接成一個龐大的AI網(wǎng)絡(luò)。UALink解決了縱向擴展問題，通過提供高速、低延遲的鏈路，可將一千個以上的AI加速器連接在一起。

采用這些開放的行業(yè)標準協(xié)議，可以避免供應(yīng)商鎖定，并靈活擴展處理性能和規(guī)模。這為構(gòu)建和升級超大規(guī)模數(shù)據(jù)中心及高性能計算（HPC）環(huán)境提供了靈活性，并保護了用戶的投資。

作為超級以太網(wǎng)聯(lián)盟（UEC）和UALink聯(lián)盟（UAC）的活躍成員，我們正在幫助塑造和推動這些新興標準，以促進下一代AI和HPC架構(gòu)的發(fā)展。

業(yè)界率先發(fā)布的超以太網(wǎng)和UALink IP解決方案

新思科技推出超以太網(wǎng)IP和UALink IP解決方案，以滿足高帶寬、低延遲互連的需求，這些解決方案提供了擴展當今和未來AI和HPC架構(gòu)所需的接口。

我們的超以太網(wǎng)IP解決方案基于經(jīng)驗證的技術(shù)，能夠提供1.6 Tbps的驚人帶寬和超低延遲，可用于橫向擴展大規(guī)模AI網(wǎng)絡(luò)。我們的UALink IP解決方案能夠提供每通道高達200 Gbps的傳輸速度，并支持內(nèi)存共享，可用于縱向擴展加速器連接。

這兩種解決方案都基于我們先進的以太網(wǎng)和PCIe IP（已成功助力客戶實現(xiàn)5,000多次流片），能有效降低采用超以太網(wǎng)和UALink互連開發(fā)新一代半導(dǎo)體、片上系統(tǒng)（SoC）及AI加速器的風險，并縮短產(chǎn)品上市時間。

新思科技處于AI和HPC設(shè)計創(chuàng)新的前沿，提供廣泛的高速接口IP組合。我們?yōu)镻CIe 7.0、1.6T以太網(wǎng)、CXL、HBM、UCIe以及最新的超以太網(wǎng)和UALink提供完整且安全的IP解決方案，進而推動AI和HPC在性能、可擴展性、效率和互操作性等方面達到新的高度。