NVIDIA Grace CPU是 NVIDIA 開發(fā)的第一款數(shù)據(jù)中心 CPU。通過將 NVIDIA 專業(yè)知識與 Arm 處理器、片上結(jié)構(gòu)、片上系統(tǒng) (SoC) 設(shè)計和彈性高帶寬低功耗內(nèi)存技術(shù)相結(jié)合。參考內(nèi)容“NVIDIA GraceCPU處理器合集”。

NVIDIA Grace CPU 從頭開始構(gòu)建，以創(chuàng)建世界上第一個用于計算的超級芯片（super chip)。超級芯片的核心是NVLink Chip-2-Chip (C2C)，它允許 NVIDIA Grace CPU 以 900 GB/s 的雙向帶寬與超級芯片中的另一個 NVIDIA Grace CPU 或NVIDIA Hopper GPU進行通信。

NVIDIA Grace Hopper Superchip將節(jié)能、高帶寬的 NVIDIA Grace CPU 與功能強大的 NVIDIA H100 Hopper GPU 結(jié)合使用 NVLink-C2C，以最大限度地提高強大的高性能計算 (HPC) 和巨型 AI 工作負載的能力。 NVIDIA Grace CPU 超級芯片是使用兩個通過 NVLink-C2C 連接的 Grace CPU 構(gòu)建的。該超級芯片建立在現(xiàn)有 Arm 生態(tài)系統(tǒng)的基礎(chǔ)上，為 HPC、要求苛刻的云工作負載以及高性能和高能效的密集基礎(chǔ)設(shè)施創(chuàng)建了首個毫不妥協(xié)的 Arm CPU。 在本文中，您將了解 NVIDIA Grace CPU 超級芯片以及提供 NVIDIA Grace CPU 性能和能效的技術(shù)。有關(guān)詳細信息。

圖 1. 與雙插槽 Milan 7763 CPU 相比，NVIDIA Grace CPU Superchip 上應(yīng)用程序的性能和節(jié)能效果

專為 HPC 和 AI 工作負載打造的超級芯片

NVIDIA Grace CPU 超級芯片通過將旗艦雙路 x86-64 服務(wù)器或工作站平臺提供的性能水平集成到單個超級芯片中，代表了計算平臺設(shè)計的一場革命。高效的設(shè)計可在較低的功率范圍內(nèi)實現(xiàn) 2 倍的計算密度。

NVIDIA Grace CPU 旨在提供高單線程性能、高內(nèi)存帶寬和出色的數(shù)據(jù)移動能力，每瓦性能領(lǐng)先。NVIDIA Grace CPU Superchip 結(jié)合了兩個連接超過 900 GB/s 雙向帶寬 NVLink-C2C 的 NVIDIA Grace CPU，提供 144 個高性能 Arm Neoverse V2 內(nèi)核和高達 1 TB/s 帶寬的數(shù)據(jù)中心級 LPDDR5X 內(nèi)存，帶糾錯碼（ ECC）內(nèi)存。

圖2. 具有 900 GB/s NVLink-C2C 的 NVIDIA Grace CPU 超級芯片

使用 NVLink-C2C 互連緩解瓶頸

為了擴展到 144 個 Arm Neoverse V2 內(nèi)核并在兩個 CPU 之間移動數(shù)據(jù)，NVIDIA Grace CPU Superchip 需要在 CPU 之間建立高帶寬連接。NVLink C2C 互連在兩個 NVIDIA Grace CPU 之間提供高帶寬直接連接，以創(chuàng)建 NVIDIA Grace CPU 超級芯片。

使用 NVIDIA Scalable Coherency Fabric 擴展內(nèi)核和帶寬

現(xiàn)代 CPU 工作負載需要快速的數(shù)據(jù)移動。由 NVIDIA 設(shè)計的可擴展一致性結(jié)構(gòu) (SCF) 是一種網(wǎng)狀結(jié)構(gòu)和分布式緩存架構(gòu)，旨在擴展內(nèi)核和帶寬（圖 3）。SCF 提供超過 3.2 TB/s 的總二分帶寬，以保持數(shù)據(jù)在 CPU 內(nèi)核、NVLink-C2C、內(nèi)存和系統(tǒng) IO 之間流動。 CPU 核心和 SCF 緩存分區(qū)分布在整個網(wǎng)格中，而緩存交換節(jié)點通過結(jié)構(gòu)路由數(shù)據(jù)并充當 CPU、緩存內(nèi)存和系統(tǒng) IO 之間的接口。NVIDIA Grace CPU 超級芯片在兩個芯片上具有 234 MB 的分布式三級緩存。

圖3. NVIDIA Grace CPU 和可擴展一致性結(jié)構(gòu)

LPDDR5X

能效和內(nèi)存帶寬都是數(shù)據(jù)中心 CPU 的關(guān)鍵組成部分。NVIDIA Grace CPU Superchip 使用高達 960 GB 的服務(wù)器級低功耗 DDR5X (LPDDR5X) 內(nèi)存和 ECC。此設(shè)計為大規(guī)模 AI 和 HPC 工作負載實現(xiàn)了帶寬、能效、容量和成本的最佳平衡。 與八通道 DDR5 設(shè)計相比，NVIDIA Grace CPU LPDDR5X 內(nèi)存子系統(tǒng)以每千兆字節(jié)每秒八分之一的功率提供高達 53% 的帶寬，同時成本相似。HBM2e 內(nèi)存子系統(tǒng)本可以提供大量內(nèi)存帶寬和良好的能效，但每 GB 成本是其 3 倍多，并且僅為 LPDDR5X 可用最大容量的八分之一。 LPDDR5X 較低的功耗降低了整體系統(tǒng)功率要求，并使更多資源能夠用于 CPU 內(nèi)核。緊湊的外形使基于 DIMM 的典型設(shè)計的密度提高了 2 倍。

NVIDIA Grace CPU I/O

NVIDIA Grace CPU Superchip 支持多達 128 條用于 IO 連接的 PCIe Gen 5 通道。8 個 PCIe Gen 5 x16 鏈路中的每一個都支持高達 128 GB/s 的雙向帶寬，并且可以分為 2x8 個以提供額外的連接，并且可以支持各種 PCIe 插槽形狀因數(shù)，開箱即用地支持NVIDIA GPU和NVIDIA DPU、NVIDIA ConnectX SmartNIC、E1.S 和 M.2 NVMe 設(shè)備、模塊化 BMC 選項等。?

NVIDIA Grace CPU 核心架構(gòu)

為了實現(xiàn)最大的工作負載加速，快速高效的 CPU 是系統(tǒng)設(shè)計的重要組成部分。Grace CPU 的核心是 Arm Neoverse V2 CPU 內(nèi)核。Neoverse V2 是 Arm V 系列基礎(chǔ)架構(gòu) CPU 內(nèi)核中的最新產(chǎn)品，經(jīng)過優(yōu)化可提供領(lǐng)先的每線程性能，同時與傳統(tǒng) CPU 相比提供領(lǐng)先的能效。

圖4. NVIDIA Grace CPU 的 Arm Neoverse V2 內(nèi)核

Arm架構(gòu)

NVIDIA Grace CPU Neoverse V2 核心實現(xiàn)了 Armv9-A 架構(gòu)，它將 Armv8-A 架構(gòu)中定義的架構(gòu)擴展到 Armv8.5-A。為 Armv8.5-A 之前的 Armv8 架構(gòu)構(gòu)建的任何應(yīng)用程序二進制文件都將在 NVIDIA Grace CPU 上執(zhí)行。這包括針對 Ampere Altra、AWS Graviton2 和AWS Graviton3等 CPU 的二進制文件。

SIMD指令

Neoverse V2 在 4×128 位配置中實現(xiàn)了兩個單指令多數(shù)據(jù) (SIMD) 向量指令集：可擴展向量擴展版本 2 (SVE2) 和高級 SIMD (NEON)。四個 128 位功能單元中的每一個都可以退出 SVE2 或 NEON 指令。這種設(shè)計使更多代碼能夠充分利用 SIMD 性能。SVE2 通過高級指令進一步擴展了 SVE ISA，這些指令可以加速機器學(xué)習(xí)、基因組學(xué)和密碼學(xué)等關(guān)鍵 HPC 應(yīng)用程序。

原子操作(Atomic operation)

NVIDIA Grace CPU 支持在 Armv8.1 中首次引入的大型系統(tǒng)擴展 (LSE)。LSE 提供低成本的原子操作，可以提高 CPU 到 CPU 通信、鎖和互斥鎖的系統(tǒng)吞吐量。這些指令可以對整數(shù)數(shù)據(jù)進行操作。所有支持 NVIDIA Grace CPU 的編譯器都將在同步函數(shù)中自動使用這些指令，例如 GNU 編譯器集合__atomic內(nèi)置函數(shù)和std::atomic. 當使用 LSE 原子而不是加載/存儲獨占時，改進可以達到一個數(shù)量級。

Armv9 附加功能

NVIDIA Grace CPU實現(xiàn)了Armv9 產(chǎn)品組合的多項關(guān)鍵功能，可在通用數(shù)據(jù)中心 CPU 中提供實用程序，包括但不限于加密加速、可擴展分析擴展、虛擬化擴展、全內(nèi)存加密、安全啟動等。

NVIDIA Grace CPU 軟件

NVIDIA Grace CPU Superchip 旨在為軟件開發(fā)人員提供符合標準的平臺。 NVIDIA Grace CPU 符合 Arm 服務(wù)器基礎(chǔ)系統(tǒng)架構(gòu) (SBSA)，以支持符合標準的硬件和軟件接口。此外，為了在基于 Grace CPU 的系統(tǒng)上啟用標準引導(dǎo)流程，Grace CPU 被設(shè)計為支持 Arm 服務(wù)器基本引導(dǎo)要求 (SBBR)。所有主要的 Linux 發(fā)行版，以及它們提供的大量軟件包，都可以在 NVIDIA Grace CPU 上完美運行，無需修改。 編譯器、庫、工具、分析器、系統(tǒng)管理實用程序以及用于容器化和虛擬化的框架現(xiàn)已上市，并且可以像在任何其他數(shù)據(jù)中心 CPU 上一樣輕松地在 NVIDIA Grace CPU 上安裝和使用。 此外，整個 NVIDIA 軟件堆棧都可用于 NVIDIA Grace CPU。NVIDIA HPC SDK 和每個 CUDA 組件都有 Arm 原生安裝程序和容器。NVIDIA GPU Cloud (NGC) 還提供深度學(xué)習(xí)、機器學(xué)習(xí)和針對 Arm 優(yōu)化的 HPC 容器。NVIDIA Grace CPU 遵循主流 CPU 設(shè)計原則，并且與任何其他服務(wù)器 CPU 一樣進行編程。

圖 5. NVIDIA Grace CPU 軟件生態(tài)系統(tǒng)將用于 CPU、GPU 和 DPU 的全套 NVIDIA 軟件與完整的 Arm 數(shù)據(jù)中心生態(tài)系統(tǒng)相結(jié)合

審核編輯 ：李倩