機(jī)器學(xué)習(xí)，特別是深度學(xué)習(xí)，在計算機(jī)科學(xué)的許多領(lǐng)域都具有極大的破壞性。深度學(xué)習(xí)技術(shù)在解決眾所周知的困難的分類和回歸問題方面的成功，導(dǎo)致了它們在解決現(xiàn)實問題中的迅速采用。深度學(xué)習(xí)的出現(xiàn)被廣泛地歸因于一個良性循環(huán)，即大量數(shù)據(jù)集和高性能計算機(jī)硬件的可用性使深層模型訓(xùn)練取得了根本性進(jìn)展。本文作為一個新的和迅速發(fā)展的領(lǐng)域的計算機(jī)架構(gòu)師的入門。我們回顧了機(jī)器學(xué)習(xí)自20世紀(jì)60年代誕生以來是如何演變的，并跟蹤了導(dǎo)致在過去十年中出現(xiàn)的強(qiáng)大的深度學(xué)習(xí)技術(shù)出現(xiàn)的關(guān)鍵發(fā)展。接下來，我們將回顧具有代表性的工作負(fù)載，包括最常用的數(shù)據(jù)集和跨越各種域的開創(chuàng)性網(wǎng)絡(luò)。除了討論工作負(fù)載本身之外，我們還詳細(xì)介紹了最流行的深度學(xué)習(xí)工具，并展示了有抱負(fù)的實踐者如何使用這些工具來描述和優(yōu)化dnn。本書的其余部分致力于機(jī)器學(xué)習(xí)的硬件和體系結(jié)構(gòu)的設(shè)計和優(yōu)化。由于高性能硬件在機(jī)器學(xué)習(xí)成為一個實用解決方案的成功過程中起到了非常重要的作用，本章講述了最近為進(jìn)一步改進(jìn)未來設(shè)計而提出的各種優(yōu)化方案。最后，我們回顧了最近在該領(lǐng)域發(fā)表的研究，以及一個分類法，以幫助讀者理解不同的貢獻(xiàn)是如何在上下文中落下的。

　　這本書是打算為那些有計算機(jī)架構(gòu)，電路，或系統(tǒng)背景的神經(jīng)網(wǎng)絡(luò)的一般介紹。在引言（第1章）中，我們定義了關(guān)鍵詞匯表，回顧了這些技術(shù)的歷史和發(fā)展，并為在該領(lǐng)域提供額外的硬件支持提供了理由。然后，我們回顧神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識，從線性回歸到感知器，直到今天最先進(jìn)的深度神經(jīng)網(wǎng)絡(luò)（第2章）。范圍和語言的介紹應(yīng)該讓任何人都能跟上，目標(biāo)是讓社區(qū)站在同一頁上。雖然人們對這一領(lǐng)域的興趣激增，但有證據(jù)表明，許多術(shù)語被混為一談，而且在這一領(lǐng)域的理解上存在差距。我們希望這里所呈現(xiàn)的內(nèi)容能夠辟謠，并為非專家提供共同點。在回顧之后，我們將深入討論工具、工作負(fù)載和特性。對于從業(yè)者來說，這可能是最有用的一章。我們首先概述現(xiàn)代神經(jīng)網(wǎng)絡(luò)和機(jī)器學(xué)習(xí)軟件包（即TensorFlow、Torch、Keras和Theano），并解釋它們的設(shè)計選擇和差異，以指導(dǎo)讀者為其工作選擇正確的工具。在第三章的后半部分，我們介紹了一組常用的、開創(chuàng)性的工作負(fù)載，這些工作負(fù)載是我們在一個名為Fathom〔2〕的基準(zhǔn)套件中組裝起來的，這些工作負(fù)載被分為兩類：數(shù)據(jù)集和模型，并解釋了為什么工作負(fù)載和/或數(shù)據(jù)集是決定性的，以及應(yīng)該如何使用它。這一部分也有助于神經(jīng)網(wǎng)絡(luò)論文的評論者更好地判斷貢獻(xiàn)。通過更好地理解每一個工作負(fù)載，我們認(rèn)為可以對想法和貢獻(xiàn)進(jìn)行更深思熟慮的解釋?；鶞?zhǔn)測試包含了CPU和GPU上的工作負(fù)載特性。第4章是在第3章的基礎(chǔ)上建立起來的，對于希望研究使用定制硬件加速神經(jīng)網(wǎng)絡(luò)的架構(gòu)師來說，這可能是最感興趣的。在本章中，我們回顧了Minerva加速器設(shè)計和優(yōu)化框架［114］，并詳細(xì)介紹了如何將高級神經(jīng)網(wǎng)絡(luò)軟件庫與硬件CAD和仿真流結(jié)合起來，共同設(shè)計算法和硬件。我們特別關(guān)注Minerva方法，以及如何在神經(jīng)網(wǎng)絡(luò)精度和功耗、性能和區(qū)域硬件權(quán)衡方面進(jìn)行實驗。讀完本章后，研究生應(yīng)該有信心評估自己的加速器/定制硬件優(yōu)化。在第五章中，我們對神經(jīng)網(wǎng)絡(luò)論文的相關(guān)硬件進(jìn)行了全面的調(diào)查，并開發(fā)了一個分類法，以幫助讀者理解和對比不同的項目。我們主要關(guān)注過去十年，并根據(jù)論文所涉及的計算堆棧的級別（算法、軟件、體系結(jié)構(gòu)或電路）和優(yōu)化類型（稀疏性、量化、算術(shù)近似和容錯性）對論文進(jìn)行分組建筑和電路會議；這項調(diào)查試圖捕捉本書出版時該地區(qū)建筑師最相關(guān)的作品。事實上，有太多的出版物，不可能把它們都放在一個地方。我們希望這項調(diào)查能起到一個起點的作用；分類法提供了一個順序，讓感興趣的讀者知道到哪里去了解更多關(guān)于某個特定主題的信息；而神經(jīng)網(wǎng)絡(luò)硬件支持的偶然參與者在這里找到了一種比較和對比相關(guān)工作的方法。最后，我們通過指出還有哪些工作要做來消除深度學(xué)習(xí)研究硬件已經(jīng)達(dá)到飽和點的神話。盡管關(guān)于這個主題的論文很多，但我們還遠(yuǎn)遠(yuǎn)沒有完成，即使是在監(jiān)督學(xué)習(xí)中。本章介紹了需要注意的領(lǐng)域，并簡要介紹了機(jī)器學(xué)習(xí)的其他領(lǐng)域。此外，雖然硬件在很大程度上是機(jī)器學(xué)習(xí)社區(qū)的一個服務(wù)行業(yè)，但我們確實應(yīng)該開始考慮如何利用現(xiàn)代機(jī)器學(xué)習(xí)來改進(jìn)硬件設(shè)計。這是一項艱巨的任務(wù)，因為它需要對方法的真正理解，而不是實現(xiàn)現(xiàn)有的設(shè)計，但如果說過去十年的機(jī)器學(xué)習(xí)教會了我們什么，那就是這些模型運行良好。計算機(jī)體系結(jié)構(gòu)是計算機(jī)科學(xué)中最不正式的領(lǐng)域之一（幾乎完全基于經(jīng)驗和直覺）。機(jī)器學(xué)習(xí)在重新思考我們?nèi)绾卧O(shè)計硬件（包括貝葉斯優(yōu)化）方面可以提供最多的幫助，并展示了這些技術(shù)在硬件設(shè)計中的益處。