GPU，是Graphics ProcessingUnit的簡(jiǎn)寫，是現(xiàn)代顯卡中非常重要的一個(gè)部分，其地位與CPU在主板上的地位一致，主要負(fù)責(zé)的任務(wù)是加速圖形處理速度。

GPU是顯示卡的“大腦”，它決定了該顯卡的檔次和大部分性能，同時(shí)也是2D顯示卡和3D顯示卡的區(qū)別依據(jù)。2D顯示芯片在處理3D圖像和特效時(shí)主要依賴CPU的處理能力，稱為“軟加速”。3D顯示芯片是將三維圖像和特效處理功能集中在顯示芯片內(nèi)，也即所謂的“硬件加速”功能。

今天，GPU已經(jīng)不再局限于3D圖形處理了，GPU通用計(jì)算技術(shù)發(fā)展已經(jīng)引起業(yè)界不少的關(guān)注，事實(shí)也證明在浮點(diǎn)運(yùn)算、并行計(jì)算等部分計(jì)算方面，GPU可以提供數(shù)十倍乃至于上百倍于CPU的性能，如此強(qiáng)悍的性能已經(jīng)讓CPU廠商老大英特爾為未來而緊張。

GPU的誕生與發(fā)展

NVIDIA公司在1999年8月31日發(fā)布GeForce 256圖形處理芯片時(shí)首先提出GPU的概念。GPU之所以被稱為圖形處理器，最主要的原因是因?yàn)樗梢赃M(jìn)行幾乎全部與計(jì)算機(jī)圖形有關(guān)的數(shù)據(jù)運(yùn)算，而這些在過去是CPU的專利。

從GPU誕生那天開始，其發(fā)展腳步就沒有停止下來，由于其獨(dú)特的體系架構(gòu)和超強(qiáng)的浮點(diǎn)運(yùn)算能力，人們希望將某些通用計(jì)算問題移植到GPU上來完成以提升效率，出現(xiàn)了所謂的GPGPU（General Purpose Graphic Process Unit），但是由于其開發(fā)難度較大，沒有被廣泛接受。

2006年NVIDIA推出了第一款基于Tesla架構(gòu)的GPU（G80），GPU已經(jīng)不僅僅局限于圖形渲染，開始正式向通用計(jì)算領(lǐng)域邁進(jìn)。

2007年6月，NVIDIA推出了CUDA（ComputerUnified Device Architecture計(jì)算統(tǒng)一設(shè)備結(jié)構(gòu)）。

CUDA是一種將GPU作為數(shù)據(jù)并行計(jì)算設(shè)備的軟硬件體系。在CUDA的架構(gòu)中，不再像過去GPGPU架構(gòu)那樣將通用計(jì)算映射到圖形API中，對(duì)于開發(fā)者來說，CUDA的開發(fā)門檻大大降低了。

CUDA的編程語言基于標(biāo)準(zhǔn)C，因此任何有C語言基礎(chǔ)的用戶都很容易地開發(fā)CUDA的應(yīng)用程序。由于這些特性，CUDA在推出后迅速發(fā)展，被廣泛應(yīng)用于石油勘測(cè)、天文計(jì)算、流體力學(xué)模擬、分子動(dòng)力學(xué)仿真、生物計(jì)算、圖像處理、音視頻編解碼等領(lǐng)域。

GPU的結(jié)構(gòu)

GPU實(shí)際上是一組圖形函數(shù)的集合，而這些函數(shù)有硬件實(shí)現(xiàn)，只要用于3D游戲中物體移動(dòng)時(shí)的坐標(biāo)轉(zhuǎn)換及光源處理。以前，這些工作都是有CPU配合特定軟件進(jìn)行的，GPU從某種意義上講就是為了在圖形處理過程中充當(dāng)主角而出現(xiàn)的。

上圖就是一個(gè)簡(jiǎn)單的GPU結(jié)構(gòu)示意圖，一塊標(biāo)準(zhǔn)的GPU主要包括2D Engine、3D Engine、VideoProcessing Engine、FSAA Engine、顯存管理單元等。其中，3D運(yùn)算中起決定作用的是3DEngine，這是現(xiàn)代3D顯卡的靈魂，也是區(qū)別GPU等級(jí)的重要標(biāo)志。

GPU的工作原理

GPU中數(shù)據(jù)的處理流程

我們來看看第二代GPU是如何完整處理一個(gè)畫面。首先，來自CPU的各種物理參數(shù)進(jìn)入GPU，Vertex shader將對(duì)頂點(diǎn)數(shù)據(jù)進(jìn)行基本的判斷。如果沒有需要處理的Vertex效果，則頂點(diǎn)數(shù)據(jù)直接進(jìn)入T&L Unit進(jìn)行傳統(tǒng)的T&L操作以節(jié)約時(shí)間提高效率。如果需要處理各種Vertex效果，則Vertex shader將先對(duì)各種Vertex Programs的指令進(jìn)行運(yùn)算，一般的Vertex Programs中往往包含了過去轉(zhuǎn)換、剪切、光照運(yùn)算等所需要實(shí)現(xiàn)的效果，故經(jīng)由Vertexshader處理的效果一般不需要再進(jìn)行T&L操作。另外，當(dāng)遇到涉及到曲面鑲嵌(把曲面，比如弓形轉(zhuǎn)換成為多邊形或三角形)的場(chǎng)合時(shí)。CPU可以直接將數(shù)據(jù)交給Vertex shader進(jìn)行處理。

另外，在DiretX8.0的Transform過程中，Vertexshader可以完成Z值的剔除，也就是Back Face Culling――陰面隱去。這就意味粉除了視野以外的頂點(diǎn)，視野內(nèi)坡前面項(xiàng)點(diǎn)遮住的頂點(diǎn)也會(huì)被一并剪除，這大大減輕了需要進(jìn)行操作的頂點(diǎn)數(shù)目。

接下來，經(jīng)由VertexShader處理完成的各種數(shù)據(jù)將流入SetupEngine，在這里，運(yùn)算單元將進(jìn)行三角形的設(shè)置工作，這是整個(gè)繪圖過程中最重要的一個(gè)步驟，Setup Engine甚至直接影響著一塊GPU的執(zhí)行效能。三角形的設(shè)置過程是由一個(gè)個(gè)多邊形組成的，或者是用更好的三角形代替原來的三角形。在三維圖象中可能會(huì)有些三角形被它前面的三角形擋住，但是在這個(gè)階段3D芯片還不知道哪些三角形會(huì)被擋住，所以三角形建立單元接收到是一個(gè)個(gè)由3個(gè)頂點(diǎn)組成的完整三角形。三角形的每個(gè)角(或頂點(diǎn))都有對(duì)應(yīng)的X軸、Y軸、Z軸坐標(biāo)值，這些坐標(biāo)值確定了它們?cè)?D景物中的位置。同時(shí)，三角形的設(shè)置也確定了像素填充的范圍。，至此，VertexShader的工作就完成了。

在第一代GPU中，設(shè)置好的三角形本來應(yīng)該帶著各自所有的參數(shù)進(jìn)入像素流水線內(nèi)進(jìn)行紋理填充和演染，但現(xiàn)在則不同，在填充之前我們還播要進(jìn)行PiexlShader的操作。其實(shí)，PieXIShader并非獨(dú)立存在的，它位于紋理填充單元之后，數(shù)據(jù)流入像紊流水線后先進(jìn)入紋理填充單元進(jìn)行紋理填充，然后便是Piex!Shader單元，經(jīng)由PiexlShader單元進(jìn)行各種處理運(yùn)算之后再進(jìn)入像素填充單元進(jìn)行具體的粉色，再經(jīng)由霧化等操作后，一個(gè)完整的畫面就算完成了。值得注意的是，第二代GPU中普遮引入了獨(dú)立的顯示數(shù)據(jù)管理機(jī)制，它們位于VertexShader、SetuPEngine以及像素流水線之間，負(fù)資數(shù)據(jù)更有效率地傳輸和組合、各種無效值的剔除、數(shù)據(jù)的壓縮以及寄存器的管理等工作，這個(gè)單元的出現(xiàn)對(duì)整個(gè)GPU工作效率的保證起到了至關(guān)重要的作用。

簡(jiǎn)而言之，GPU的圖形（處理）流水線完成如下的工作：（并不一定是按照如下順序）

頂點(diǎn)處理：這階段GPU讀取描述3D圖形外觀的頂點(diǎn)數(shù)據(jù)并根據(jù)頂點(diǎn)數(shù)據(jù)確定3D圖形的形狀及位置關(guān)系，建立起3D圖形的骨架。在支持DX8和DX9規(guī)格的GPU中，這些工作由硬件實(shí)現(xiàn)的Vertex Shader（定點(diǎn)著色器）完成。

光柵化計(jì)算：顯示器實(shí)際顯示的圖像是由像素組成的，我們需要將上面生成的圖形上的點(diǎn)和線通過一定的算法轉(zhuǎn)換到相應(yīng)的像素點(diǎn)。把一個(gè)矢量圖形轉(zhuǎn)換為一系列像素點(diǎn)的過程就稱為光柵化。例如，一條數(shù)學(xué)表示的斜線段，最終被轉(zhuǎn)化成階梯狀的連續(xù)像素點(diǎn)。

紋理帖圖：頂點(diǎn)單元生成的多邊形只構(gòu)成了3D物體的輪廓，而紋理映射（texture mapping）工作完成對(duì)多變形表面的帖圖，通俗的說，就是將多邊形的表面貼上相應(yīng)的圖片，從而生成“真實(shí)”的圖形。TMU（Texture mapping unit）即是用來完成此項(xiàng)工作。

像素處理：這階段（在對(duì)每個(gè)像素進(jìn)行光柵化處理期間）GPU完成對(duì)像素的計(jì)算和處理，從而確定每個(gè)像素的最終屬性。在支持DX8和DX9規(guī)格的GPU中，這些工作由硬件實(shí)現(xiàn)的PixelShader（像素著色器）完成。

最終輸出：由ROP（光柵化引擎）最終完成像素的輸出，1幀渲染完畢后，被送到顯存幀緩沖區(qū)。

CPU與GPU的數(shù)據(jù)處理關(guān)系

如今的游戲，單單從圖象的生成來說大概需要下面四個(gè)步驟：

1、Homogeneouscoordinates（齊次坐標(biāo)）

2、Shading models（陰影建模）

3、Z-Buffering（Z-緩沖）

4、Texture-Mapping（材質(zhì)貼圖）

在這些步驟中，顯示部分（GPU）只負(fù)責(zé)完成第三、四步，而前兩個(gè)步驟主要是依靠CPU來完成。而且，這還僅僅只是3D圖象的生成，還沒有包括游戲中復(fù)雜的AI運(yùn)算。場(chǎng)景切換運(yùn)算等等……無疑，這些元素還需要CPU去完成，這就是為什么在運(yùn)行大型游戲的時(shí)候，當(dāng)場(chǎng)景切換時(shí)再?gòu)?qiáng)勁的顯卡都會(huì)出現(xiàn)停頓的現(xiàn)象。

接下來，讓我們簡(jiǎn)單的看一下CPU和GPU之間的數(shù)據(jù)是如何交互的。

首先從硬盤中讀取模型，CPU分類后將多邊形信息交給GPU，GPU再時(shí)時(shí)處理成屏幕上可見的多邊形，但是沒有紋理只有線框。

模型出來后，GPU將模型數(shù)據(jù)放進(jìn)顯存，顯卡同時(shí)也為模型貼材質(zhì)，給模型上顏色。CPU相應(yīng)從顯存中獲取多邊形的信息。然后CPU計(jì)算光照后產(chǎn)生的影子的輪廓。等CPU計(jì)算出后，顯卡的工作又有了，那就是為影子中填充深的顏色

這一點(diǎn)要注意的是，無論多牛的游戲家用顯卡，光影都是CPU計(jì)算的，GPU只有2個(gè)工作，1多邊形生成。2為多邊形上顏色。

傳統(tǒng)GPU指令的執(zhí)行

傳統(tǒng)的GPU基于SIMD的架構(gòu)。SIMD即Single Instruction Multiple Data，單指令多數(shù)據(jù)。

其實(shí)這很好理解，傳統(tǒng)的VS和PS中的ALU（算術(shù)邏輯單元，通常每個(gè)VS或PS中都會(huì)有一個(gè)ALU，但這不是一定的，例如G70和R5XX有兩個(gè)）都能夠在一個(gè)周期內(nèi)（即同時(shí)）完成對(duì)矢量4個(gè)通道的運(yùn)算。比如執(zhí)行一條4D指令，PS或VS中的ALU對(duì)指令對(duì)應(yīng)定點(diǎn)和像素的4個(gè)屬性數(shù)據(jù)都進(jìn)行了相應(yīng)的計(jì)算。這便是SIMD的由來。這種ALU我們暫且稱它為4D ALU。

需要注意的是，4D SIMD架構(gòu)雖然很適合處理4D指令，但遇到1D指令的時(shí)候效率便會(huì)降為原來的1/4。此時(shí)ALU 3/4的資源都被閑置。為了提高PSVS執(zhí)行1D 2D 3D指令時(shí)的資源利用率，DirectX9時(shí)代的GPU通常采用1D+3D或2D+2D ALU。這便是Co-issue技術(shù)。

這種ALU對(duì)4D指令的計(jì)算時(shí)仍然效能與傳統(tǒng)的ALU相同，但當(dāng)遇到1D 2D 3D指令時(shí)效率則會(huì)高不少，例如如下指令：

ADD R0.xyz , R0,R1 //此指令是將R0,R1矢量的x,y,z值相加結(jié)果賦值給R0

ADD R3.x , R2,R3 //此指令是將R2 R3矢量的w值相加結(jié)果賦值給R3

對(duì)于傳統(tǒng)的4D ALU，顯然需要兩個(gè)周期才能完成，第一個(gè)周期ALU利用率75%，第二個(gè)周期利用率25%。而對(duì)于1D+3D的ALU，這兩條指令可以融合為一條4D指令，因而只需要一個(gè)周期便可以完成，ALU利用率100%。

但當(dāng)然，即使采用co-issue，ALU利用率也不可能總達(dá)到100%，這涉及到指令并行的相關(guān)性等問題，而且，更直觀的，上述兩條指令顯然不能被2D+2D ALU一周期完成，而且同樣，兩條2D指令也不能被1D+3D ALU一周期完成。傳統(tǒng)GPU在對(duì)非4D指令的處理顯然不是很靈活。

GPU的多線程及并行計(jì)算

GPU的功能更新很迅速,平均每一年多便有新一代的GPU誕生，運(yùn)算速度也越來越快。GPU的運(yùn)算速度如此之快，主要得益于GPU是對(duì)圖形實(shí)時(shí)渲染量身定制的，具有兩點(diǎn)主要特征：超長(zhǎng)流水線與并行計(jì)算。

多線程機(jī)制

GPU的執(zhí)行速度很快，但是當(dāng)運(yùn)行從內(nèi)存中獲取紋理數(shù)據(jù)這樣的指令時(shí)（由于內(nèi)存訪問是瓶頸，此操作比較緩慢），整個(gè)流水線便出現(xiàn)長(zhǎng)時(shí)間停頓。在CPU內(nèi)部，使用多級(jí)Cache來提高訪問內(nèi)存的速度。GPU中也使用Cache，不過Cache命中率不高，只用Cache解決不了這個(gè)問題。所以，為了保持流水線保持忙碌，GPU的設(shè)計(jì)者使用了多線程機(jī)制(multi-threading)。當(dāng)像素著色器針對(duì)某個(gè)像素的線程A遇到存取紋理的指令時(shí)，GPU會(huì)馬上切換到另外一個(gè)線程B，對(duì)另一個(gè)像素進(jìn)行處理。等到紋理從內(nèi)存中取回時(shí)，可再切換到線程A。

例如：如果裝配一臺(tái)汽車需要，10個(gè)時(shí)間單元，將它分成10個(gè)流水線階段，每個(gè)階段分配一個(gè)時(shí)間單元，那么一條裝配線每一個(gè)時(shí)間單元就可以生產(chǎn)一輛汽車。顯然流水線模式的生產(chǎn)在理想狀況下要比串行方式快了十倍。

但是使用這種方法有一個(gè)前提，線程A與線程B沒有數(shù)據(jù)依賴性,也就是說兩線程之間無需通訊。如果線程B需要線程A提供某些數(shù)據(jù)，那么即使切換到線程B，線程B仍是無法運(yùn)行，流水線還是處于空閑狀態(tài)。不過幸運(yùn)的是，圖形渲染本質(zhì)上是一個(gè)并行任務(wù)。

并行計(jì)算

無論是CPU送給GPU的頂點(diǎn)數(shù)據(jù)，還是GPU光柵生成器產(chǎn)生的像素?cái)?shù)據(jù)都是互不相關(guān)的，可以并行地獨(dú)立處理。而且頂點(diǎn)數(shù)據(jù)（xyzw），像素?cái)?shù)據(jù)（RGBA）一般都用四元數(shù)表示，適合于并行計(jì)算。在GPU中專門設(shè)置了SIMD指令來處理向量，一次可同時(shí)處理四路數(shù)據(jù)。SIMD指令使用起來非常簡(jiǎn)潔。此外，紋理片要么只能讀取，要么只能寫入，不允許可讀可寫，從而解決了存貯器訪問的讀寫沖突。GPU這種對(duì)內(nèi)存使用的約束也進(jìn)一步保證了并行處理的順利完成。

為了進(jìn)一步提高并行度，可以增加流水線的條數(shù)。在GeForce 6800 Ultra中，有多達(dá)16組像素著色器流水線，6組頂點(diǎn)著色器流水線。多條流水線可以在單一控制部件的集中控制下運(yùn)行，也可以獨(dú)立運(yùn)行。在單指令多數(shù)據(jù)流（SIMD）的結(jié)構(gòu)中，GPU通過單指令多數(shù)據(jù)(SIMD)指令類型來支持?jǐn)?shù)據(jù)并行計(jì)算。『參見圖』在單指令多數(shù)據(jù)流的結(jié)構(gòu)中，單一控制部件向每條流水線分派指令，同樣的指令被所有處理部件同時(shí)執(zhí)行。例如NVIDIA8800GT顯卡中包含有14組多處理器(MultiProcessor)，每組處理器有8個(gè)處理單元（Processor)，但每組多處理器只包含一個(gè)指令單元(InstruetionUnit)。

另外一種控制結(jié)構(gòu)是多指令多數(shù)據(jù)流（MIMD），每條流水線都能夠獨(dú)立于其他流水線執(zhí)行不同的程序。GeForce 6800Ultra的頂點(diǎn)著色器流水線使用MIMD方式控制，像素著色器流水線使用SIMD結(jié)構(gòu)。MIMD能比較有效率地執(zhí)行分支程序，而SIMD體系結(jié)構(gòu)運(yùn)行條件語句時(shí)會(huì)造成很低的資源利用率。不過SIMD需要硬件少，這是一個(gè)優(yōu)勢(shì)。

CPU中大部分晶體管主要用于構(gòu)建控制電路和Cache，只有少部分的晶體管來完成實(shí)際的運(yùn)算工作。而GPU的控制相對(duì)簡(jiǎn)單，而且對(duì)Cache的需求小，所以大部分晶體管可以組成各類專用電路、多條流水線，使得GPU的計(jì)算速度有了突破性的飛躍，擁有了驚人的處理浮點(diǎn)運(yùn)算的能力?，F(xiàn)在CPU的技術(shù)進(jìn)步正在慢于摩爾定律，而GPU的運(yùn)行速度已超過摩爾定律，每6個(gè)月其性能加倍。

GPU在計(jì)算領(lǐng)域的應(yīng)用現(xiàn)狀

隨著CUDA的進(jìn)一步開發(fā)和完善，GPU的運(yùn)算能力也將得到進(jìn)一步的強(qiáng)化。研究人員也已經(jīng)開始使用CUDA，利用GPU數(shù)倍于CPU的浮點(diǎn)運(yùn)算能力，進(jìn)行各種各樣的科學(xué)模擬、運(yùn)算。

GPU專用于解決可表示為數(shù)據(jù)并行計(jì)算的問題——在許多數(shù)據(jù)元素上并行執(zhí)行的程序，具有極高的計(jì)算密度（數(shù)學(xué)運(yùn)算與存儲(chǔ)器運(yùn)算的比率）。

GPU計(jì)算的模式是，在異構(gòu)協(xié)同處理計(jì)算模型中將CPU與GPU結(jié)合起來加以利用。應(yīng)用程序的串行部分在CPU上運(yùn)行，而計(jì)算任務(wù)繁重的部分則由GPU來加速。從用戶的角度來看，應(yīng)用程序只是運(yùn)行得更快了。因?yàn)閼?yīng)用程序利用了GPU的高性能來提升性能。

在過去幾年里，GPU的浮點(diǎn)性能已經(jīng)上升到Teraflop級(jí)的水平。GPGPU的成功使CUDA并行編程模型相關(guān)的編程工作變得十分輕松。在這種編程模型中，應(yīng)用程序開發(fā)者可修改他們的應(yīng)用程序以找出計(jì)算量繁重的程序內(nèi)核，將其映射到GPU上，讓GPU來處理它們。應(yīng)用程序的剩余部分仍然交由CPU處理。想要將某些功能映射到GPU上，需要開發(fā)者重新編寫該功能，在編程中采用并行機(jī)制，加入“C”語言關(guān)鍵字以便與GPU之間交換數(shù)據(jù)。開發(fā)者的任務(wù)是同時(shí)啟動(dòng)數(shù)以萬計(jì)的線程。GPU硬件可以管理線程和進(jìn)行線程調(diào)度。

"GPU（圖形處理器）已經(jīng)發(fā)展到了頗為成熟的階段，可輕松執(zhí)行實(shí)際應(yīng)用程序并且其運(yùn)行速度已遠(yuǎn)遠(yuǎn)超過了使用多核系統(tǒng)時(shí)的速度。未來計(jì)算架構(gòu)將是并行核心GPU與多核CPU串聯(lián)運(yùn)行的混合型系統(tǒng)。"

中科院基因組研究所將在當(dāng)今生物信息學(xué)領(lǐng)域得到廣泛應(yīng)用的BLAST算法向GPU進(jìn)行了移植。這是一套針對(duì)DNA、蛋白序列數(shù)據(jù)庫的序列查詢算法和軟件包。盡管BLAST處理少量序列的速度不慢，但隨著DNA側(cè)序技術(shù)的飛速發(fā)展，研究人員可以在短短幾天內(nèi)得到海量序列數(shù)據(jù)，這樣，對(duì)這些數(shù)據(jù)的分析就成了瓶頸。通過從串行到并行的轉(zhuǎn)變，BLAST算法成功在GPU上得以實(shí)現(xiàn)，大大提升了效率。根據(jù)中科院的實(shí)踐結(jié)果，基于NVIDIA Tesla平臺(tái)的BLAST軟件中的一個(gè)關(guān)鍵模塊運(yùn)行速度比單個(gè)CPU快35倍。

基于GPU，中科院過程所建立了一臺(tái)自己的超級(jí)計(jì)算系統(tǒng)。與通用系統(tǒng)比較，運(yùn)營(yíng)系統(tǒng)成本從約2億元降到不到2000萬元，峰值能耗從約1.5兆瓦降至不到0.3兆瓦，占地面積也明顯減少，然而其效率卻很高。在對(duì)中石化清潔汽油工藝的放大和優(yōu)化模擬程序中，進(jìn)行內(nèi)部結(jié)構(gòu)優(yōu)化時(shí)，單CPU的處理效率為每天計(jì)算可以模擬4～5秒現(xiàn)實(shí)時(shí)間，而單GPU在一個(gè)小時(shí)內(nèi)就可模擬3～5秒現(xiàn)實(shí)時(shí)間。

國(guó)內(nèi)最快的超級(jí)計(jì)算機(jī)天河一號(hào)也采用了GPU處理器，其三分之二的計(jì)算能力由GPU處理器提供。