引言

2022年ChatGPT的推出推動(dòng)了人工智能應(yīng)用的快速發(fā)展，促使高性能計(jì)算系統(tǒng)需求不斷增長。隨著傳統(tǒng)晶體管縮放速度放緩，半導(dǎo)體行業(yè)已轉(zhuǎn)向通過異構(gòu)集成實(shí)現(xiàn)系統(tǒng)級(jí)縮放。異構(gòu)集成技術(shù)可將不同類型的芯片（chiplet）組合到統(tǒng)一封裝中，提供更好的性能、更低的互連延遲和更高的能源效率，這些對于數(shù)據(jù)密集型人工智能工作負(fù)載都非常重要[1]。

現(xiàn)有異構(gòu)集成技術(shù)

圖1展示了異構(gòu)集成技術(shù)的全面發(fā)展概況，從2D到3D架構(gòu)的演進(jìn)，包括MCM、中介層和先進(jìn)的3D集成方法。

多種異構(gòu)集成技術(shù)已經(jīng)出現(xiàn)，以滿足不同的系統(tǒng)要求：

多芯片模塊(MCM)：作為最早的2D集成方法之一，MCM將chiplet橫向放置在有機(jī)基板上以減少線長。雖然實(shí)施簡單，但由于使用傳統(tǒng)有機(jī)基板和粗糙的焊料基連接技術(shù)，MCM在互連密度方面存在限制。

中介層架構(gòu)：為克服MCM的局限性，采用玻璃或硅中介層的2.5D架構(gòu)可實(shí)現(xiàn)更高的互連密度。通過硅通孔(TSV)技術(shù)和細(xì)間距微凸點(diǎn)，可以在堆疊芯片之間實(shí)現(xiàn)更高的連接密度。但是，為大型人工智能系統(tǒng)擴(kuò)展中介層的成本較高。

橋接基解決方案：英特爾的嵌入式多芯片互連橋(EMIB)等技術(shù)在封裝基板中使用局部硅橋?qū)崿F(xiàn)細(xì)間距布線。這種方法無需TSV，同時(shí)能實(shí)現(xiàn)芯片間的高密度連接。

晶圓級(jí)封裝：晶圓級(jí)封裝技術(shù)通過扇出芯片I/O信號(hào)提供高互連密度和減少延遲。但在熱管理和熱膨脹系數(shù)(CTE)失配方面存在挑戰(zhàn)。

三維集成

圖2說明了不同的3D集成方法，展示了從傳統(tǒng)2D SoC到結(jié)合邏輯和存儲(chǔ)器集成的各種3D架構(gòu)的演進(jìn)。

3D集成是下一代人工智能系統(tǒng)的重要發(fā)展方向。使用TSV技術(shù)和混合鍵合等先進(jìn)鍵合技術(shù)，3D堆疊實(shí)現(xiàn)了超高的集成密度和帶寬。臺(tái)積電等公司通過系統(tǒng)級(jí)集成芯片(SoIC)技術(shù)已經(jīng)展示了支持超過20 Tbps帶寬的系統(tǒng)。

3D集成的主要優(yōu)勢：

與傳統(tǒng)方法相比，鍵合密度顯著提高

降低電氣寄生效應(yīng)和功耗

更高的金屬布線密度

通過更薄的鍵合層改善熱性能

但仍面臨一些挑戰(zhàn)：

更多堆疊管芯增加了assembly復(fù)雜性

熱管理更加困難

混合鍵合對表面處理要求嚴(yán)格

制造成本較高

人工智能硬件的工業(yè)應(yīng)用

圖3演示了3D-ICE技術(shù)工藝流程，展示了使用二氧化硅封裝和晶圓鍵合集成多個(gè)chiplet的步驟。

主要半導(dǎo)體公司已在人工智能加速器產(chǎn)品中采用異構(gòu)集成：

Cerebras：WSE-3晶圓級(jí)引擎使用臺(tái)積電5nm技術(shù)，在單個(gè)晶圓上集成4萬億晶體管。

系統(tǒng)可訓(xùn)練具有24萬億參數(shù)的模型。

NVIDIA：GB200 Grace Blackwell使用臺(tái)積電的CoWoS-L封裝技術(shù)組合兩個(gè)GPU和一個(gè)CPU。

目標(biāo)是處理超過十萬億參數(shù)的大型語言模型，具有384GB內(nèi)存。

AMD：MI300X封裝同時(shí)使用中介層技術(shù)和3D堆疊，結(jié)合GPU chiplet、I/O管芯和192GB HBM內(nèi)存。

英特爾：Gaudi-3加速器采用EMIB技術(shù)集成計(jì)算管芯和128GB HBM內(nèi)存。

新興玻璃封裝技術(shù)

玻璃封裝由于以下優(yōu)勢，在人工智能應(yīng)用中備受關(guān)注：

通過低介電常數(shù)實(shí)現(xiàn)優(yōu)異的信號(hào)完整性

支持高密度互連

出色的尺寸穩(wěn)定性

靈活的基板格式選項(xiàng)

與光電集成的兼容性

玻璃的光滑表面使其能夠?qū)崿F(xiàn)非常精細(xì)的線條和間距，而其Si-O表面結(jié)構(gòu)促進(jìn)了與各種材料的良好粘附。玻璃核心封裝還可以通過銅結(jié)構(gòu)和先進(jìn)的熱界面材料整合熱管理解決方案。

結(jié)論

異構(gòu)集成技術(shù)已超越傳統(tǒng)縮放限制，推進(jìn)人工智能硬件能力的發(fā)展。從2.5D中介層到先進(jìn)的3D堆疊和新興的玻璃封裝解決方案，這些方法實(shí)現(xiàn)了下一代人工智能系統(tǒng)所需的高帶寬、低延遲和能源效率。在熱管理和制造成本等方面仍存在挑戰(zhàn)，但異構(gòu)集成技術(shù)的持續(xù)創(chuàng)新將滿足人工智能應(yīng)用不斷增長的需求。

參考文獻(xiàn)

[1] M. Manley et al., "Heterogeneous Integration Technologies for Artificial Intelligence Applications," IEEE Journal on Exploratory Solid-State Computational Devices and Circuits, vol. 10, pp. 89-97, 2024, doi: 10.1109/JXCDC.2024.3484958.