對(duì)于每個(gè)多家的超算系統(tǒng)來說，能占據(jù)TOP500超算榜單的前十是一項(xiàng)極大的榮譽(yù)。然而隨著美國(guó)、日本、歐洲與中國(guó)的E級(jí)超算計(jì)劃紛紛提上日程，超算系統(tǒng)功耗墻的問題也開始顯現(xiàn)，一臺(tái)E級(jí)超算系統(tǒng)帶來的功耗已經(jīng)再也無法被忽視了。而早在2013年開始發(fā)布的榜單GREEN500，則開始按能效比進(jìn)行排名，為的就是鼓勵(lì)各國(guó)各廠商開始高能效比的超算設(shè)計(jì)。

國(guó)產(chǎn)超算面臨的功耗問題

在面臨功耗墻的挑戰(zhàn)時(shí)，國(guó)內(nèi)超算又是如何解決的呢？這個(gè)問題尤其困擾著排名前列的幾大研究型超算，比如國(guó)家并行計(jì)算機(jī)工程技術(shù)研究中心研制的神威太湖之光超級(jí)計(jì)算機(jī)。畢竟如果只拼性能，不看功耗，與超算的設(shè)計(jì)理念其實(shí)是背道而馳的。

我們看前十的超算中，乃至前100的超算中，基本都是采購(gòu)AMD、英特爾和英偉達(dá)的硬件，再交由HPE、聯(lián)想、浪潮等廠商打造整個(gè)超算系統(tǒng)。這對(duì)于不涉及生產(chǎn)制造的一些研究中心來說，可以說是一個(gè)投入大成本但省去麻煩的選擇。對(duì)于他們來說，在功耗上也能收獲好處，那就是這些硬件廠商往往已經(jīng)在設(shè)計(jì)之初考慮到了低功耗，而且也有完備的電源、功耗管理方案。

但這些方案對(duì)于我國(guó)的研究型超算來說就不太適用了，且不說國(guó)內(nèi)各大超算中心已經(jīng)進(jìn)入實(shí)體清單，根本買不到這些處理器。再者此類方案也無法套用在自研的神威太湖之光上系統(tǒng)上，因?yàn)檫@臺(tái)超算所用的不是商業(yè)組件，也不是傳統(tǒng)的x86多核架構(gòu)，而是申威26010處理器的眾核架構(gòu)。

申威26010處理器在開發(fā)之初就用上了低功耗設(shè)計(jì)，比如其結(jié)構(gòu)就是通過集成眾多核心來提升性能，降低單核最高工作頻率的要求，從而避免了躥升的功率。而且在眾核架構(gòu)下，其核心還支持深度睡眠、淺睡眠和低功耗等運(yùn)行模式，避免了無工作負(fù)載的核心帶來額外的功耗。除了邏輯部分以外，其緩存、I/O也都采用了低功耗的設(shè)計(jì)，使得整個(gè)260核處理器的峰值功耗只有不到300W。

但單靠芯片上的低功耗設(shè)計(jì)是沒法將整個(gè)超算系統(tǒng)的能效提上去的，從最新一期的GREEN500榜單中，就展現(xiàn)了我國(guó)的超算在能效上明顯已經(jīng)開始落后于人了。使用申威26010處理器的神威太湖之光在TOP500的性能排行榜上排名第六，但在GREEN500上卻只有61名的成績(jī)。

同樣的還有天河2號(hào)，這臺(tái)超算作為曾經(jīng)的驕傲，如今仍在TOP500上占據(jù)了第九的席位，但在GREEN500上就已經(jīng)落到百余名之后了。難不成國(guó)內(nèi)的頂尖超算真的就無法高性能與低功耗兼得嗎？

下一代E級(jí)神威和E級(jí)天河

這兩臺(tái)超算背后的團(tuán)隊(duì)并不是沒有發(fā)現(xiàn)功耗問題，而他們將解決這些挑戰(zhàn)的手段都放在了下一代E級(jí)的超算開發(fā)上。在7月份的《計(jì)算機(jī)學(xué)報(bào)》中，國(guó)家并行計(jì)算機(jī)工程技術(shù)研究中心的幾名研究院發(fā)布了神威E級(jí)原型機(jī)所用到的功耗管理技術(shù)。而這一次，E級(jí)的神威系統(tǒng)用上了軟硬協(xié)同的多層級(jí)功耗管理，包括從基礎(chǔ)設(shè)施、編譯和細(xì)粒度上開展功耗優(yōu)化。

神威E級(jí)原型機(jī)換上了全新的申威26010+眾核處理器，同樣是4個(gè)運(yùn)算控制核心+256個(gè)運(yùn)算核心的260核配置。在神威的E級(jí)原型機(jī)上，兩個(gè)處理器構(gòu)成一個(gè)節(jié)點(diǎn)，整個(gè)系統(tǒng)由512個(gè)節(jié)點(diǎn)構(gòu)成，峰值性能達(dá)到了3.13PFlops。

神威E級(jí)原型機(jī)用上了低功耗編譯優(yōu)化技術(shù)，基于硬件低功耗指令，通過指令調(diào)度/指令插樁，針對(duì)低功耗循環(huán)優(yōu)化和調(diào)度優(yōu)化，來節(jié)能降耗，從測(cè)試結(jié)果來看，降低了10%的功耗。不僅是芯片，神威E級(jí)原型機(jī)還用上了節(jié)點(diǎn)級(jí)、作業(yè)級(jí)乃至系統(tǒng)級(jí)的功耗管理。比如在節(jié)點(diǎn)層面上，如果計(jì)算陣列無任務(wù)時(shí)，系統(tǒng)會(huì)選擇斷開陣列時(shí)鐘，實(shí)現(xiàn)陣列睡眠，節(jié)約節(jié)點(diǎn)功耗的63%。

至于基礎(chǔ)設(shè)施上的節(jié)能，還是在供電和冷卻上，文章中只提到了供電系統(tǒng)上的節(jié)能優(yōu)化，比如利用系統(tǒng)功耗量化監(jiān)測(cè)來完成高效電能變換等。而冷卻系統(tǒng)上的優(yōu)化我們已經(jīng)在神威太湖之光上看到了一部分，那就是增加水泵變頻器等自動(dòng)化控制系統(tǒng)，實(shí)時(shí)調(diào)整輸出保證高速運(yùn)轉(zhuǎn)。

至于E級(jí)的下一代天河超算“天河3號(hào)”，其實(shí)也早已通過原型機(jī)/驗(yàn)證系統(tǒng)在能效上展現(xiàn)了不錯(cuò)的成績(jī)，但并不是通用計(jì)算，而是大數(shù)據(jù)圖計(jì)算。在今年六月公布的大數(shù)據(jù)圖計(jì)算能效比排名Big Data Green Graph500上，天河E級(jí)原型機(jī)系統(tǒng)提交的新成績(jī)?cè)俣却蚱萍o(jì)錄，奪下了第一名的位置，甚至是在同樣的核心數(shù)量下，超過了第一次提交成績(jī)近50%。

僅僅只是高能效還不夠？

接著，我們來聊聊另一個(gè)超算的能耗問題，此次我會(huì)不以在GREEN500并列第一第二的Frontier單機(jī)柜/超算系統(tǒng)為例，而是帶大家看看排名第三，但硬件架構(gòu)與Frontier基本一致的歐洲超算LUMI，之所以選擇這臺(tái)超算，也是因?yàn)樗诠墓芾砩嫌兄恍┆?dú)到之處。

LUMI配備了AMD第三代EPYC 64核CPU和Instinct MI250X GPU，與Frontier相同，但在規(guī)模上還是不比后者。這臺(tái)由歐洲高性能計(jì)算聯(lián)盟（EuroHPC）和LUMI聯(lián)盟成員國(guó)出資打造的機(jī)器，將能效比做到了51.6GFlops/W的高度，略遜于52.227GFlops/W的Frontier，但這個(gè)第三名已經(jīng)足以自證實(shí)力了。

固然這些超算的能效比和PUE（數(shù)據(jù)中心能源效率指標(biāo)）結(jié)果都相當(dāng)驚艷，但如今圍繞這一榜單的爭(zhēng)論也開始出現(xiàn)，那就是供給超算系統(tǒng)的能源究竟從哪來？究其緣由，我們之所以想要提高超算的能效比，就是為了不斷減少其龐大系統(tǒng)帶來的碳足跡。但設(shè)想一下，如果一臺(tái)超算擁有極高的能效比，但其能源卻是完全來自煤電，這樣的話在減少碳足跡上起到的作用可以說微乎其微了，而這也是LUMI這臺(tái)超算區(qū)別于其他超算的地方。
LUMI超算選擇了芬蘭的卡亞尼市的一家舊造紙廠廢棄后的棕地開建，這是因?yàn)閷?duì)于嚴(yán)寒的北歐國(guó)家來說，如果重新選擇一塊綠地的話，短暫的夏日會(huì)使得建設(shè)時(shí)間縮短，進(jìn)而拖慢項(xiàng)目進(jìn)度，況且建設(shè)本身也是一個(gè)高碳排放的過程。還有一個(gè)原因，那就是該地區(qū)已經(jīng)接入了芬蘭國(guó)家電網(wǎng)的線路，可以為他們實(shí)現(xiàn)100%的純水電供應(yīng)，最高可達(dá)1000多MW，不僅如此，LUMI還有來自風(fēng)電場(chǎng)的額外饋電線路。

除去可再生能源，LUMI也能將散發(fā)的多余熱量出售給卡亞尼市，單靠LUMI的廢熱，就能解決卡亞尼市周邊20%的區(qū)域供熱，還能多賺一筆，降低了運(yùn)營(yíng)的凈成本。如果只算超算運(yùn)營(yíng)的話，LUMI超算甚至可以看成是“負(fù)碳足跡”的，這也是歐洲本土能源發(fā)展多年來的成果，LUMI在享受其能源福利的同時(shí)，也對(duì)本地的能源供應(yīng)做出了貢獻(xiàn)。

寫在最后

固然通過以上這些信息，讓我們對(duì)未來國(guó)內(nèi)E級(jí)超算的能效比有了信心。不過以上這些還只是基于原型機(jī)實(shí)現(xiàn)的能效比提升，多個(gè)節(jié)點(diǎn)組成的超算系統(tǒng)由于引入了額外的功耗，而且性能也不是單純的線性提升，所以在能耗比上還是會(huì)有些許下降的，這點(diǎn)從Frontier和富岳兩臺(tái)超算上也能看出。

單機(jī)柜的Frontier TDS在GREEN500上排名第一，能效比達(dá)到了62.684GFlops/W，而整個(gè)Frontier 超算系統(tǒng)位列第二，能效比降為52.227GFlops/W，能效比有了16.7%的下降。而富岳的A64FX原型機(jī)在2020榜單上的能效比為16.285GFlops/W，而整個(gè)富岳超算的能效比為14.665GFlops/W，降低了10%左右。雖然下降的幅度不多，但相較整個(gè)超算系統(tǒng)整年的功耗來看，還是相當(dāng)龐大的。

再者就是能源供給上的改造，無論是濟(jì)南超算中心，還是天津超算中心，都可以先在超算項(xiàng)目上先行開展光伏、風(fēng)能等可再生綠色能源的供電改造，為下一代神威、天河在基礎(chǔ)設(shè)施的節(jié)能減碳上做好鋪墊。