初創(chuàng)芯片設(shè)計公司 Cerebras Systems發(fā)布了第三代 WSE-3 AI 芯片，此款芯片利用臺積電5納米制程技術(shù)制造，晶體管數(shù)量較上一代 WSE-2 明顯提高，達到驚人的4萬億個。新一代 CS-3 系統(tǒng)搭載 WSE-3芯片，能耗不變的前提下，處理能力高達原版的2倍。據(jù)Cerebras執(zhí)行總裁 Andrew Feldman表明，此次突破是向?qū)崿F(xiàn)摩爾定律更近一步。

該款 WSE-3 AI 芯片幾乎完全由一塊12英寸晶圓構(gòu)成，形如邊長21.5厘米之正方體。這款芯片設(shè)有90萬個 AI 內(nèi)核，理論上可輸出每秒125百億次浮點運算（PFLOPS）的超強算力，其計算速度超過了大約62個 NVIDIA H100 GPU 的總和。

Cerebras主要分為三批推出芯片，分別于2019年、2021年以及即將到來的2024年初問世。三批均采用臺積電16nm、7nm及5nm工藝生產(chǎn)。具體來看，這些芯片中的晶體管數(shù)量不斷增長，其中FLOPS計算性能提升最快，AI核心數(shù)目、內(nèi)存儲器容量及內(nèi)部帶寬則保持較為平穩(wěn)的增勢。

單個 WSE-3芯片使得CS-3計算系統(tǒng)訓練達到24萬億參量的神經(jīng)網(wǎng)絡(luò)模型，相當于最強 LLM 規(guī)模的十倍，例如 OpenAI 的 GPT-4 以及谷歌的 Gemini。CS-3系統(tǒng)也具備卓越的可擴充性，最多能容納2048臺設(shè)備連接。這樣的大規(guī)模計算集群僅需一天便可完成訓練含有700億參量的 Llama 模型任務(wù)。

CS-3計算系統(tǒng)上市后受到廣泛關(guān)注與追捧，其企業(yè)客戶、云服務(wù)運營商甚至政府機構(gòu)紛紛下單預約。另外，鑒于此前成功合作開發(fā)的 Condor Galaxy 1（CG-1）和 CG-2，Cerebras 及阿拉伯聯(lián)合酋長國 G42 公司已經(jīng)著手建設(shè)最新款的 CG-3 超級計算機。坐落于德州達拉斯市的 CG-3計劃裝配64臺CS-3計算系統(tǒng)，共有5760萬個AI核心，預計AI計算能力達到8 ExaFLOPS（EFLOPS）。

一旦加入已經(jīng)在加州運行的 CG-1和 CG-2系統(tǒng)，整個 Condor Galaxy 計算網(wǎng)絡(luò)的性能預計能夠達到令人難以置信的16 EFLOPS。這個包含從 CG-1到CG-9共九臺超級計算機在內(nèi)的分布式計算網(wǎng)絡(luò)有望于2024年底正式投入使用，共同為 G42 公司內(nèi)部團隊及云服務(wù)團隊提供強大支持。G42公司首席技術(shù)官 Kiril Evtimov公開表示，現(xiàn)有的 Condor Galaxy 計算網(wǎng)絡(luò)已成功支持業(yè)內(nèi)不少尖端開源模型的深度學習訓練。