在過去的幾十年間，人們對并行計算產(chǎn)生了越來越多的興趣。并行計算的主要目標是提高運算速度。

　　從純粹的計算視角來看，并行計算可以被定義為計算的一種形式，在這種形式下，計算機可以同時進行許多運算，計算原則是一個大的問題往往可以被劃分為很多可以同時解決的小問題。

　　從程序員的角度來說，一個很自然的疑問，就是如何將并發(fā)計算映射到計算機上。假設(shè)你有許多計算資源，并行計算可以被定義為同時使用許多計算資源（核心或計算機）來執(zhí)行并發(fā)計算，一個大的問題可以被分解成多個小問題，然后在不同的計算資源上并行處理這些小問題。并行計算的軟件和硬件層面是緊密聯(lián)系的。事實上，并行計算通常涉及兩個不同的計算技術(shù)領(lǐng)域。

　　計算機架構(gòu)（硬件方面）

　　并行程序設(shè)計（軟件方面）

　　計算機架構(gòu)關(guān)注的是在結(jié)構(gòu)級別上支持并行性，而并行編程設(shè)計關(guān)注的是充分使用計算機架構(gòu)的計算能力來并發(fā)地解決問題。為了在軟件中實現(xiàn)并行執(zhí)行，硬件必須提供一個支持并行執(zhí)行多進程或多線程的平臺。大多數(shù)現(xiàn)代處理器都應(yīng)用了哈佛體系結(jié)構(gòu)（Harvard architecture），如圖1-1所示，它主要由3個部分組成。

　　內(nèi)存（指令內(nèi)存和數(shù)據(jù)內(nèi)存）

　　中央處理單元（控制單元和算術(shù)邏輯單元）

　　輸入/輸出接口

　　高性能計算的關(guān)鍵部分是中央處理單元（CPU），通常被稱為計算機的核心。在早期的計算機中，一個芯片上只有一個 CPU，這種結(jié)構(gòu)被稱為單核處理器?，F(xiàn)在，芯片設(shè)計的趨勢是將多個核心集成到一個單一的處理器上，以在體系結(jié)構(gòu)級別支持并行性，這種形式通常被稱為多核處理器。因此，并行程序設(shè)計可以看作是將一個問題的計算分配給可用的核心以實現(xiàn)并行的過程。當(dāng)實現(xiàn)一段串行算法時，你可能不需要為了編寫一個程序而特意去理解計算機架構(gòu)的細節(jié)。但是，當(dāng)在多核計算機上執(zhí)行算法時，對于程序員來說，了解基本的計算機架構(gòu)的特點就顯得非常重要了。要編寫一個既正確又高效的并行程序需要對多核體系結(jié)構(gòu)有一個基本的認識。以下介紹了并行計算的一些基本概念，以及這些概念與CUDA編程設(shè)計的聯(lián)系。