在以前的文章里，筆者談到單核CPU無論在PC端還是服務(wù)器上基本上已經(jīng)退出歷史舞臺，目前主流的計算平臺是使用多核（multiple cores）的CPU以及眾核（many cores）的GPU。另外處理器與內(nèi)存訪問速度差距也不斷增大，為克服訪存瓶頸主要采用兩種方法。

其中多核CPU與單核CPU都是利用Cache來掩蓋訪問系統(tǒng)內(nèi)存的延遲，以減輕訪存帶寬的壓力，其芯片的較大面積也都貢獻給Cache。在另一端，GPU通過同時運行很多簡單的線程，不使用或者只利用相對較小的Cache。

而主要通過線程間的并行（Thread Level Parallelism， TLP）來隱藏內(nèi)存訪問延遲，當一部分線程因為訪存停滯的時候，另一部分線程會接著執(zhí)行，使得處理單元不會空閑下來。

目前的異構(gòu)計算平臺同時采用這兩種截然不同的架構(gòu)，使得性能預(yù)測和優(yōu)化都不太容易，面對一個給定的計算負載，我們應(yīng)該如何分發(fā)能夠達到性能最佳？對芯片架構(gòu)師而言，在面積受限的芯片上，怎樣合理部署處理單元、Register File和Cache等等也是讓人撓頭的事情。

希望能夠為理解優(yōu)化性能提供參考，論文作者定義了一個統(tǒng)一仿真模型可以容納延展這兩種不同特點的架構(gòu)設(shè)計。這個模型對應(yīng)一個想象的混合計算平臺，該平臺由很多簡單的處理單元以及較大的共享緩存構(gòu)成，通過靈活配置一系列參數(shù)，包括處理單元個數(shù)、緩存大小以及緩存和內(nèi)存的訪問延遲等等，可以觀察不同參數(shù)變化對計算性能的影響。

為保持模型簡單，論文假設(shè)所有線程相互不共享數(shù)據(jù)且系統(tǒng)內(nèi)存帶寬足夠大。如下圖所示，作者發(fā)現(xiàn)，當線程數(shù)量較少的時候，隨著線程數(shù)量增加，性能開始提升，而當線程數(shù)量到達轉(zhuǎn)折點，Cache不能夠容納所有線程的工作集的時候，性能反而下降。

之后，隨著線程數(shù)量越來越多，由于有足夠的線程來掩蓋Cache訪問不命中帶來內(nèi)存訪問延遲，性能又接著上升，直達到平臺可獲得的最大性能。我們可以認為MC Region對應(yīng)多核CPU的情形，而MT Region自然對應(yīng)有超多線程的GPU，MC Region和MT Region之間的性能波谷區(qū)域在我們的架構(gòu)設(shè)計和程序優(yōu)化中都是要努力避免的。

以下我們具體推導(dǎo)下參數(shù)曲線對應(yīng)的公式，下表列出計算模型涉及的參數(shù)，左邊是平臺相關(guān)的，右邊跟運算任務(wù)有關(guān)。

公式（1）為考慮Cache命中率的線程平均訪問內(nèi)存所需要的時鐘數(shù)。

這就是說，線程每運行1/rm條指令，就會因為訪存停滯tavg時鐘，如果沒有別的線程替換進來，對應(yīng)的處理單元就會處于空閑狀態(tài)，要讓該處理單元充分利用，額外需要的線程數(shù)為tavg/（CPIexe/rm）。所以要讓整個計算平臺滿負荷運轉(zhuǎn)，總共需要的線程數(shù)量為

NPE * （1 +tavg/（CPIexe/rm））。給定有n個線程的計算任務(wù)，計算平臺的利用率η可以計算如公式（2）。

在η=1的情況下，再添加多余的線程于性能無補。根據(jù)利用率η我們可以得到計算平臺的預(yù)期性能為NPE * （f/CPIexe）*η OPS（Operations Per Second，每秒鐘運算數(shù)）。通過該公式，我們可以觀察以下各種參數(shù)調(diào)節(jié)對性能曲線的影響。

值得注意的是以上計算中我們沒有考慮內(nèi)存帶寬受限的情況，如果把它納入考慮，對特定性能Performance，我們可以按公式（3）計算所要求帶寬。

所以在內(nèi)存帶寬也是約束條件的情況下，性能計算修正為公式（4）。

而下圖也反映了內(nèi)存帶寬對性能曲線的影響。值得提醒的是性能曲線水平頂表示計算任務(wù)在該平臺上已經(jīng)觸到了內(nèi)存帶寬墻（off-chip bandwidth wall），在這種情況下繼續(xù)增加線程有可能會惡化Cache命中率，使得帶寬問題更加嚴重反而有損性能，這也是為什么之前我們提到過的GPU顯存帶寬要遠大于CPU系統(tǒng)內(nèi)存帶寬。

主要參考資料：

Many-core vs many-thread machines： Stay away from the valley

The Interplay of Caches and Threads in Chip-MultiProcessors

編輯：jq