前言

?現(xiàn)今，日益完善的深度學(xué)習(xí)技術(shù)和-AI-服務(wù)愈加受到市場(chǎng)青睞。與此同時(shí)，數(shù)據(jù)集不斷擴(kuò)大，計(jì)算模型和網(wǎng)絡(luò)也變得越來越復(fù)雜，這對(duì)于硬件設(shè)備也提出了更為嚴(yán)苛的需求。如何利用有限的預(yù)算，最大限度升級(jí)系統(tǒng)整體的計(jì)算性能和數(shù)據(jù)傳輸能力成為了最為重要的問題。

GPU-的選擇

熟悉深度學(xué)習(xí)的人都知道，深度學(xué)習(xí)是需要訓(xùn)練的，所謂的訓(xùn)練就是在成千上萬個(gè)變量中尋找最佳值的計(jì)算。這需要通過不斷的嘗試識(shí)別，而最終獲得的數(shù)值并非是人工確定的數(shù)字，而是一種常態(tài)的公式。通過這種像素級(jí)的學(xué)習(xí)，不斷總結(jié)規(guī)律，計(jì)算機(jī)就可以實(shí)現(xiàn)像人一樣思考。因而，更擅長(zhǎng)并行計(jì)算和高帶寬的-GPU，則成了大家關(guān)注的重點(diǎn)。

數(shù)據(jù)并行的原理很簡(jiǎn)單，如下圖，其中-CPU-主要負(fù)責(zé)梯度平均和參數(shù)更新，而-GPU1和-GPU2-主要負(fù)責(zé)訓(xùn)練模型副本（model replica），這里稱作“模型副本”是因?yàn)樗鼈兌际腔谟?xùn)練樣例的子集訓(xùn)練得到的，模型之間具有一定的獨(dú)立性。具體的訓(xùn)練步驟如下

除了計(jì)算能力之外，GPU-另一個(gè)比較重要的優(yōu)勢(shì)就是他的內(nèi)存結(jié)構(gòu)。首先是共享內(nèi)存。在-NVIDIA-披露的性能參數(shù)中，每個(gè)流處理器集群末端設(shè)有共享內(nèi)存。相比于-CPU-每次操作數(shù)據(jù)都要返回內(nèi)存再進(jìn)行調(diào)用，GPU-線程之間的數(shù)據(jù)通訊不需要訪問全局內(nèi)存，而在共享內(nèi)存中就可以直接訪問。這種設(shè)置的帶來最大的好處就是線程間通訊速度的提高（速度：共享內(nèi)存》》全局內(nèi)存）。

而在傳統(tǒng)的CPU構(gòu)架中，盡管有高速緩存（Cache）的存在，但是由于其容量較小，大量的數(shù)據(jù)只能存放在內(nèi)存（RAM）中。進(jìn)行數(shù)據(jù)處理時(shí)，數(shù)據(jù)要從內(nèi)存中讀取然后在-CPU-中運(yùn)算最后返回內(nèi)存中。由于構(gòu)架的原因，二者之間的通信帶寬通常在-60GB/s-左右徘徊。與之相比，大顯存帶寬的-GPU-具有更大的數(shù)據(jù)吞吐量。在大規(guī)模深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中，必然帶來更大的優(yōu)勢(shì)。

另一方面，如果要充分利用-GPU-資源處理海量數(shù)據(jù)，需要不斷向-GPU-注入大量數(shù)據(jù)。目前，PCIe-的數(shù)據(jù)傳輸速度還無法跟上這一速度，如果想避免此類“交通擁堵”，提高數(shù)據(jù)傳輸速度可以選擇應(yīng)用-NVlink-技術(shù)的-GPU-卡片。

4-GPUs-with-PCIe

4-GPUs-with-NVLink

NVLink-是目前最快的-GPU-高速互聯(lián)技術(shù)，借助這種技術(shù)，GPU-和-CPU-彼此之間的數(shù)據(jù)交換速度要比使用PCIe 時(shí)快-5-到-12-倍，應(yīng)用程序的運(yùn)行速度可加快兩倍。通過-NVLink 連接兩個(gè)-GPU-可使其通信速度提高至-80-GB/s，比之前快了-5-倍。

其中-Nvidia-的-Volta-架構(gòu)計(jì)算卡使用的-NVLink-2.0-技術(shù)速度更快（20-25Gbps），單通道可提供-50-GB/S-的顯存帶寬。

P100-NVLink1.0-數(shù)據(jù)傳輸模式

V100-NVLink2.0-數(shù)據(jù)傳輸模式

而且就目前而言，越來越多的深度學(xué)習(xí)標(biāo)準(zhǔn)庫(kù)支持基于-GPU-的深度學(xué)習(xí)加速，通俗點(diǎn)描述就是深度學(xué)習(xí)的編程框架會(huì)自動(dòng)根據(jù)-GPU-所具有的線程/Core-數(shù)，去自動(dòng)分配數(shù)據(jù)的處理策略，從而達(dá)到優(yōu)化深度學(xué)習(xí)的時(shí)間。而這些軟件上的全面支持也是其它計(jì)算結(jié)構(gòu)所欠缺的。

簡(jiǎn)單來看，選擇-GPU-有四個(gè)重要參數(shù)：浮點(diǎn)運(yùn)算能力、顯存、數(shù)據(jù)傳輸與價(jià)格。

對(duì)于很多科學(xué)計(jì)算而言，服務(wù)器性能主要決定于-GPU-的浮點(diǎn)運(yùn)算能力。特別是對(duì)深度學(xué)習(xí)任務(wù)來說，單精浮點(diǎn)運(yùn)算以及更低的半精浮點(diǎn)運(yùn)算性能則更為重要。如果資金充足的情況下，可以選擇應(yīng)用-NVLink-技術(shù)單精計(jì)算性能高、顯存大的-GPU-卡片。如果資金有限的話，則要仔細(xì)考量核心需求，選擇性價(jià)比更高的-GPU-卡片。

內(nèi)存大小的選擇

心理學(xué)家告訴我們，專注力這種資源會(huì)隨著時(shí)間的推移而逐漸耗盡。內(nèi)存就是為數(shù)不多的，讓你保存注意力資源，以解決更困難編程問題的硬件之一。與其在內(nèi)存瓶頸上兜轉(zhuǎn)，浪費(fèi)時(shí)間，不如把注意力放在更加緊迫的問題上。如果你有更多的內(nèi)存，有了這一前提條件，你可以避免那些瓶頸，節(jié)約時(shí)間，在更緊迫問題上投入更多的生產(chǎn)力。

所以，如果資金充足而且需要做很多預(yù)處理工作，應(yīng)該選擇至少和-GPU-內(nèi)存大小相同的內(nèi)存。雖然更小的內(nèi)存也可以運(yùn)行，但是這樣就需要一步步轉(zhuǎn)移數(shù)據(jù)，整體效率上則大打則扣?？偟膩碚f內(nèi)存越大，工作起來越舒服。

硬盤驅(qū)動(dòng)器/SSD

在一些深度學(xué)習(xí)案例中，硬驅(qū)會(huì)成為明顯的瓶頸。如果數(shù)據(jù)組很大，通常會(huì)在硬驅(qū)上放一些數(shù)據(jù)，內(nèi)存中也放一些，GPU-內(nèi)存中也放兩-mini-batch。為了持續(xù)供給-GPU，我們需要以-GPU-能夠跑完這些數(shù)據(jù)的速度提供新的-mini-batch。

為此，可以采用和異步-mini-batch-分配一樣的思路，用多重-mini-batch-異步讀取文件。如果不異步處理，結(jié)果表現(xiàn)會(huì)被削弱很多（5-10%），而且讓認(rèn)真打造的硬件優(yōu)勢(shì)蕩然無存。那么，這時(shí)候就需要-SSD，因?yàn)?100-150MB/S-的硬驅(qū)會(huì)很慢，不足以跟上-GPU。

許多人買一個(gè)-SSD-是為了舒服：程序開始和響應(yīng)都快多了，大文件預(yù)處理也快很多，但是，對(duì)于深度學(xué)習(xí)來說，僅當(dāng)輸入維數(shù)很高，不能充分壓縮數(shù)據(jù)時(shí)，這才是必須的。如果買了-SSD，則應(yīng)該選擇能夠存下和使用者通常要處理的數(shù)據(jù)集大小相當(dāng)?shù)拇鎯?chǔ)容量，也額外留出數(shù)十-GB-的空間。另外用普通硬驅(qū)保存尚未使用的數(shù)據(jù)集的主意也不錯(cuò)。
#e#

目前哪里可以租用到GPU服務(wù)器？

現(xiàn)在的服務(wù)器絕大多數(shù)甚至連顯卡都沒有，那比如這樣的圖形處理網(wǎng)站（深度學(xué)習(xí)類）Login | Deep Dream Generator除了自己搭建外可以租用到這樣的服務(wù)器嗎？

自己搭建的話聯(lián)網(wǎng)問題很大，而且初期成本比較高，哪里可以像租用網(wǎng)站/游戲服務(wù)器一樣租用到這樣的GPU服務(wù)器？

google：https://cloud.google.com/gpu/

阿里云：高性能計(jì)算HPC_數(shù)據(jù)預(yù)測(cè)_數(shù)據(jù)分析-阿里云

騰訊云：GPU云服務(wù)器 - 騰訊云

百度云：GPU服務(wù)器-百度云

google資費(fèi)最低，百度處于內(nèi)側(cè)，阿里云資費(fèi)最高。配置上，google給的是K80，阿里云和騰訊給的是M40。

可以試試AWS的GPU實(shí)例，它是按小時(shí)算的，再加上競(jìng)價(jià)實(shí)例，比國(guó)內(nèi)包月制的gpu服務(wù)器劃算不少。

華為云，公測(cè)階段現(xiàn)在一小時(shí)一毛五左右，大概是p100的顯卡性能，16核心128g內(nèi)存。

?gpu服務(wù)器出租價(jià)格

跟配置有關(guān)，配置越高，費(fèi)用越高。 一般計(jì)算是全款/3年+少量的費(fèi)用=年租

計(jì)費(fèi)說明

包年包月：提前一次性支付一個(gè)月或多個(gè)月的費(fèi)用。購(gòu)買者具有 GPU 實(shí)例的使用及管理權(quán)限。

按量計(jì)費(fèi)：計(jì)費(fèi)時(shí)間粒度精確到秒，不需要提前支付費(fèi)用，每小時(shí)整點(diǎn)進(jìn)行一次結(jié)算。

GPU 實(shí)例包括網(wǎng)絡(luò)、存儲(chǔ)（系統(tǒng)盤、數(shù)據(jù)盤）、硬件（CPU 、 內(nèi)存 、 GPU）。了解相關(guān)網(wǎng)絡(luò)價(jià)格可參考 網(wǎng)絡(luò)價(jià)格總覽， 了解相關(guān)磁盤價(jià)格可參考 磁盤價(jià)格總覽 。

GPU 云服務(wù)器提供三種實(shí)例類型：計(jì)算型 GN2，GN8和 渲染型 GA2 ， 用戶可通過了解選型的配置與價(jià)格購(gòu)買適合實(shí)際需要的 GPU 實(shí)例。

計(jì)算型 GN2

計(jì)算性能：

GN2.large 單機(jī)峰值計(jì)算能力突破 7T Flops 單精度浮點(diǎn)運(yùn)算，0.2T Flops 雙精度浮點(diǎn)運(yùn)算。

GN2.2xlarge 單機(jī)峰值計(jì)算能力突破 14T Flops 單精度浮點(diǎn)運(yùn)算，0.4T Flops 雙精度浮點(diǎn)運(yùn)算。

?

計(jì)算性能：

GN8.LARGE56 單機(jī)峰值計(jì)算能力突破 12 TFLOS 單精度浮點(diǎn)運(yùn)算，47 TOPS 整數(shù)運(yùn)算能力（INT8）。

GN8.7XLARGE224 單機(jī)峰值計(jì)算能力突破 48 TFLOPS 單精度浮點(diǎn)運(yùn)算，188 TOPS 整數(shù)運(yùn)算能力（INT8）。

GN8.14XLARGE448 單機(jī)峰值計(jì)算能力突破 96 TFLOPS 單精度浮點(diǎn)運(yùn)算，376 TOPS 整數(shù)運(yùn)算能力（INT8）。

渲染型 GA2

注意：

GPU 渲染型 GA2 現(xiàn)處于內(nèi)測(cè)階段

?

計(jì)算性能：

單 GPU 最高可達(dá) 3.77T Flops 單精度浮點(diǎn)運(yùn)算。

續(xù)費(fèi)說明

包年包月類型 GPU 實(shí)例無法主動(dòng)銷毀，到期后 7 天，系統(tǒng)將自動(dòng)銷毀。

實(shí)例在到期當(dāng)日關(guān)機(jī)并自動(dòng)進(jìn)入回收站并保留 7 個(gè)自然日，期間可選擇續(xù)費(fèi)。7 個(gè)自然日后仍未續(xù)費(fèi)則該實(shí)例將被銷毀。

支持在購(gòu)買時(shí)設(shè)置自動(dòng)續(xù)費(fèi)。

建議到期前為實(shí)例進(jìn)行續(xù)費(fèi)，以防止其到期時(shí)關(guān)機(jī)導(dǎo)致服務(wù)中斷。有關(guān)續(xù)費(fèi)的更多操作請(qǐng)參考 如何續(xù)費(fèi)。

回收說明

GPU 實(shí)例回收，與云服務(wù)器 CVM 回收機(jī)制一致，具體可參考云服務(wù)器 CVM 實(shí)例回收。