數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師的主要區(qū)別，可以用ETL和DAD的區(qū)別來(lái)解釋。

ETL（提取/變換/載入）是數(shù)據(jù)工程師，還有數(shù)據(jù)架構(gòu)師或數(shù)據(jù)庫(kù)管理員（DBA）的職責(zé)。

DAD（發(fā)現(xiàn)/獲取/提煉）是數(shù)據(jù)科學(xué)家的職責(zé)。

數(shù)據(jù)工程師往往把重點(diǎn)放在軟件工程、數(shù)據(jù)庫(kù)設(shè)計(jì)、生產(chǎn)環(huán)境代碼上，并確保數(shù)據(jù)在來(lái)源（在那里它被收集）和目的地之間平穩(wěn)地流動(dòng)（在目的地那里通過(guò)統(tǒng)計(jì)摘要提取和處理，或通過(guò)數(shù)據(jù)科學(xué)算法產(chǎn)生結(jié)果，并最終轉(zhuǎn)移到源或其他地方）。數(shù)據(jù)科學(xué)家卻需要了解數(shù)據(jù)的流動(dòng)和如何優(yōu)化（尤其是使用Hadoop時(shí)）。實(shí)際上不是優(yōu)化數(shù)據(jù)流本身，而是數(shù)據(jù)處理的步驟，從數(shù)據(jù)中提取出價(jià)值。數(shù)據(jù)科學(xué)家與工程師和商業(yè)人員一起工作，定義指標(biāo)、設(shè)計(jì)數(shù)據(jù)收集方案，并確保數(shù)據(jù)科學(xué)流程與企業(yè)數(shù)據(jù)系統(tǒng)（存儲(chǔ)、數(shù)據(jù)流）有效地集成。對(duì)于在小公司工作的數(shù)據(jù)科學(xué)家，尤其如此，這也是數(shù)據(jù)科學(xué)家應(yīng)該能編寫(xiě)可被工程師重復(fù)使用的代碼的原因。

有時(shí)數(shù)據(jù)工程師也操作DAD，有時(shí)數(shù)據(jù)科學(xué)家也操作ETL，但這并不常見(jiàn)，且他們通常是在公司內(nèi)部才這么做。例如，數(shù)據(jù)工程師可以做一些統(tǒng)計(jì)分析，以?xún)?yōu)化一些數(shù)據(jù)庫(kù)流程，而數(shù)據(jù)科學(xué)家可以做一些數(shù)據(jù)庫(kù)管理，以管理一個(gè)保存匯總信息的、小型的、本地的私有數(shù)據(jù)庫(kù)。

DAD包含以下內(nèi)容。

發(fā)現(xiàn)：識(shí)別良好的數(shù)據(jù)源和指標(biāo)。有時(shí)（與數(shù)據(jù)工程師和業(yè)務(wù)分析師一起工作），對(duì)應(yīng)該創(chuàng)建的數(shù)據(jù)提出需求。

獲?。韩@取數(shù)據(jù)，有時(shí)通過(guò)API、網(wǎng)絡(luò)爬蟲(chóng)、互聯(lián)網(wǎng)下載或數(shù)據(jù)庫(kù)，有時(shí)是從內(nèi)存數(shù)據(jù)庫(kù)獲取數(shù)據(jù)。

提煉：從數(shù)據(jù)中提取信息，做出決策，增加投資回報(bào)率，并采取行動(dòng)（比如，在自動(dòng)投標(biāo)系統(tǒng)中，確定最佳的投標(biāo)價(jià)格）。它包括以下內(nèi)容。

— 通過(guò)創(chuàng)建數(shù)據(jù)字典和進(jìn)行探索性分析，對(duì)數(shù)據(jù)進(jìn)行探索。

— 清洗數(shù)據(jù)雜質(zhì)。

— 通過(guò)數(shù)據(jù)匯總進(jìn)一步提煉數(shù)據(jù)，有時(shí)是通過(guò)多層匯總或分層匯總來(lái)實(shí)現(xiàn)的。

— 對(duì)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析（有時(shí)會(huì)采取像實(shí)驗(yàn)設(shè)計(jì)這樣的做法，所以在前面的“獲取”階段也可以進(jìn)行），自動(dòng)和手動(dòng)都可以。可能需要設(shè)計(jì)統(tǒng)計(jì)模型，也可能不需要。

— 在某些自動(dòng)過(guò)程中呈現(xiàn)結(jié)果或集成結(jié)果。

數(shù)據(jù)科學(xué)是計(jì)算機(jī)科學(xué)、商業(yè)工程、統(tǒng)計(jì)學(xué)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、運(yùn)籌學(xué)、六西格瑪、自動(dòng)化和行業(yè)知識(shí)的交叉點(diǎn)。這些不同的領(lǐng)域，加上業(yè)務(wù)的愿景和行動(dòng)，匯集了一系列的技術(shù)、流程和方法。數(shù)據(jù)科學(xué)是連接不同組件的過(guò)程，有助于業(yè)務(wù)優(yōu)化，并消除那些降低業(yè)務(wù)效率的孤島。它也有自己獨(dú)特的核心，（例如）包括以下主題。

高級(jí)可視化。

分析即服務(wù)（AaaS）和API服務(wù)。

大規(guī)模數(shù)據(jù)集的聚類(lèi)與分類(lèi)。

計(jì)算大數(shù)據(jù)的相關(guān)性和R平方。

任何數(shù)據(jù)庫(kù)、SQL或NoSQL都應(yīng)該有的11個(gè)特征。

快速特征選擇。

Hadoop/Map-Reduce。

網(wǎng)絡(luò)拓?fù)洹?/p>

大數(shù)據(jù)中關(guān)鍵詞的相關(guān)性。

在常規(guī)空間、超平面、球面上或單純形上的線性回歸。

無(wú)模型置信區(qū)間。

特征的預(yù)測(cè)能力。

無(wú)模型的統(tǒng)計(jì)建模。

大數(shù)據(jù)“詛咒”。

MapReduce不能做的事。

請(qǐng)記住，一些雇主尋找的是具備豐富統(tǒng)計(jì)知識(shí)的。然而，有時(shí)招聘經(jīng)理不知道他真正想要的是什么，如果你告訴他你的專(zhuān)業(yè)知識(shí)所帶來(lái)的附加價(jià)值，你可能會(huì)說(shuō)服他雇用你，哪怕欠缺他們預(yù)期的某些技能。對(duì)于雇主，招聘Java軟件工程師，再要他們學(xué)習(xí)統(tǒng)計(jì)學(xué)，比反過(guò)來(lái)更容易。

數(shù)據(jù)科學(xué)家與統(tǒng)計(jì)學(xué)家

許多統(tǒng)計(jì)學(xué)家認(rèn)為，數(shù)據(jù)科學(xué)是關(guān)于分析數(shù)據(jù)的，但它遠(yuǎn)不止分析數(shù)據(jù)。數(shù)據(jù)科學(xué)還涉及實(shí)現(xiàn)算法、自動(dòng)處理數(shù)據(jù)，并提供自動(dòng)化的預(yù)測(cè)和行動(dòng)，比如：

分析美國(guó)宇航局的照片，以尋找新的行星或小行星。

自動(dòng)報(bào)價(jià)系統(tǒng)。

自動(dòng)駕駛（飛機(jī)和汽車(chē)）。

在Amazon.com或Facebook上推薦書(shū)和朋友。

針對(duì)所有酒店客房的客戶(hù)定制（實(shí)時(shí)）定價(jià)系統(tǒng)。

在計(jì)算化學(xué)中模擬用于癌癥治療的新分子。

流行病的早期檢測(cè)。

（實(shí)時(shí)）估計(jì)美國(guó)所有房屋的價(jià)值（Zillow.com）。

高頻交易。

為用戶(hù)和網(wǎng)頁(yè)匹配谷歌廣告，以最大限度地提高轉(zhuǎn)化率。

為所有谷歌搜索返回高度相關(guān)的結(jié)果。

信用卡交易評(píng)分（欺詐檢測(cè)）。

稅收欺詐檢測(cè)與恐怖行為檢測(cè)。

天氣預(yù)報(bào)。

所有這些都涉及統(tǒng)計(jì)科學(xué)和TB級(jí)的數(shù)據(jù)。大多數(shù)做這些類(lèi)型的項(xiàng)目的人，并不稱(chēng)自己為統(tǒng)計(jì)學(xué)家。他們稱(chēng)自己為數(shù)據(jù)科學(xué)家。

幾個(gè)世紀(jì)以來(lái)，統(tǒng)計(jì)學(xué)家一直在收集數(shù)據(jù)并進(jìn)行線性回歸分析。300年前、20年前、現(xiàn)在或在2015年由統(tǒng)計(jì)學(xué)家進(jìn)行的DAD，跟如今數(shù)據(jù)科學(xué)家進(jìn)行的DAD大相徑庭。關(guān)鍵是，最終隨著越來(lái)越多的統(tǒng)計(jì)學(xué)家學(xué)會(huì)這些新技術(shù)，而更多的數(shù)據(jù)科學(xué)家學(xué)會(huì)統(tǒng)計(jì)科學(xué)知識(shí)（采樣、實(shí)驗(yàn)設(shè)計(jì)、置信區(qū)間——不只是第5章中描述的那些），數(shù)據(jù)科學(xué)家和統(tǒng)計(jì)學(xué)家之間的邊界將變得更加模糊。事實(shí)上，我可以看到另一種數(shù)據(jù)科學(xué)家正在興起：具備深厚統(tǒng)計(jì)知識(shí)的數(shù)據(jù)科學(xué)家。

數(shù)據(jù)科學(xué)家和計(jì)算機(jī)科學(xué)家的區(qū)別是，數(shù)據(jù)科學(xué)家有更強(qiáng)大的統(tǒng)計(jì)學(xué)背景，特別是在計(jì)算統(tǒng)計(jì)方面，但有時(shí)則是在實(shí)驗(yàn)設(shè)計(jì)、采樣和蒙特卡洛模擬方面。

數(shù)據(jù)科學(xué)家與業(yè)務(wù)分析師

業(yè)務(wù)分析師專(zhuān)注于數(shù)據(jù)庫(kù)設(shè)計(jì)（高層次的數(shù)據(jù)庫(kù)建模，包括指標(biāo)定義、儀表盤(pán)設(shè)計(jì)、檢索和生成管理報(bào)告，并設(shè)計(jì)報(bào)警系統(tǒng)）、評(píng)估各種業(yè)務(wù)項(xiàng)目和支出的投資回報(bào)率及預(yù)算問(wèn)題。一些業(yè)務(wù)分析師從事?tīng)I(yíng)銷(xiāo)或財(cái)務(wù)的規(guī)劃、優(yōu)化和風(fēng)險(xiǎn)管理工作。許多業(yè)務(wù)分析師從事高層次的項(xiàng)目管理工作，直接向公司主管匯報(bào)。

有些任務(wù)也由數(shù)據(jù)科學(xué)家完成，特別是在較小的公司：指標(biāo)的創(chuàng)建和定義、高層次的數(shù)據(jù)庫(kù)設(shè)計(jì)（收集什么樣的數(shù)據(jù)以及如何收集），或計(jì)算營(yíng)銷(xiāo)，甚至增長(zhǎng)黑客（最近創(chuàng)造的一個(gè)詞，來(lái)形容一種角色，它能夠快速增加公司互聯(lián)網(wǎng)訪問(wèn)流量，擴(kuò)大公司或產(chǎn)品的影響力，這種工作涉及較強(qiáng)的工程和分析技能）。

數(shù)據(jù)科學(xué)家讓業(yè)務(wù)分析師有提升空間，例如，幫助將報(bào)表制作過(guò)程自動(dòng)化，使數(shù)據(jù)提取速度更快。數(shù)據(jù)科學(xué)家還可以教給業(yè)務(wù)分析師FTP和基礎(chǔ)的UNIX指令知識(shí)：ls -l、rm -i、head、tail、cat、cp、mv、sort、grep、uniq -c及管道和重定向操作符（|， 》）。然后，可以在數(shù)據(jù)庫(kù)服務(wù)器上編程或安裝一段代碼（業(yè)務(wù)分析師通常是通過(guò)瀏覽器或工具，如Toad或Brio訪問(wèn)服務(wù)器），以檢索數(shù)據(jù)。所有的業(yè)務(wù)分析師都必須做的是：

1.創(chuàng)建SQL查詢(xún)（甚至要有可視化工具），并保存為SQL文本文件。

2.將它上傳到服務(wù)器并運(yùn)行程序（例如，一個(gè)Python腳本，讀取SQL文件并執(zhí)行它，檢索數(shù)據(jù)，并將結(jié)果存儲(chǔ)在CSV文件中）。

3.輸出結(jié)果（CSV文件）到業(yè)務(wù)分析師的電腦中，做進(jìn)一步分析。

對(duì)于業(yè)務(wù)分析師和數(shù)據(jù)科學(xué)家，這樣的合作是雙贏的。在實(shí)踐中，這樣的合作已經(jīng)幫助業(yè)務(wù)分析師提取的數(shù)據(jù)比他們過(guò)去所使用的數(shù)據(jù)要大100倍，而且提取速度快10倍。

總之，數(shù)據(jù)科學(xué)家并不是業(yè)務(wù)分析師，但前者可以極大地幫助后者，包括幫助業(yè)務(wù)分析師將任務(wù)自動(dòng)化。此外，如果數(shù)據(jù)科學(xué)家能帶來(lái)額外的價(jià)值，具備額外的經(jīng)驗(yàn)，他更容易找到工作，特別是在只有一個(gè)職位預(yù)算的公司，當(dāng)雇主不能確定是雇用業(yè)務(wù)分析師（開(kāi)展整體分析和數(shù)據(jù)任務(wù)）還是數(shù)據(jù)科學(xué)家（有商業(yè)頭腦，可以執(zhí)行一些通常分配給業(yè)務(wù)分析師的任務(wù)）時(shí)。在一般情況下，業(yè)務(wù)分析師是優(yōu)先聘請(qǐng)的，但如果數(shù)據(jù)和算法變得過(guò)于復(fù)雜，也會(huì)雇用數(shù)據(jù)科學(xué)家。如果你創(chuàng)建自己的創(chuàng)業(yè)公司，你需要扮演兩個(gè)角色：數(shù)據(jù)科學(xué)家和業(yè)務(wù)分析師。

13個(gè)真實(shí)世界情景中的數(shù)據(jù)科學(xué)應(yīng)用

現(xiàn)在讓我們看看13個(gè)在真實(shí)世界情景下的例子，了解現(xiàn)代數(shù)據(jù)科學(xué)家可以幫助我們做些什么。這些例子將有助于你學(xué)習(xí)如何專(zhuān)注于一個(gè)問(wèn)題和如何形式化一個(gè)問(wèn)題，以及如何仔細(xì)評(píng)估所有潛在問(wèn)題——總之，是學(xué)習(xí)數(shù)據(jù)科學(xué)家在提出解決方案之前，如何定位問(wèn)題和進(jìn)行戰(zhàn)略性思考。你也會(huì)看到為什么一些廣泛使用的技術(shù)，如標(biāo)準(zhǔn)回歸，可能并不適合所有情況。

數(shù)據(jù)科學(xué)家的思維方式不同于工程師、運(yùn)籌學(xué)專(zhuān)業(yè)人士、計(jì)算機(jī)科學(xué)家。雖然運(yùn)籌學(xué)涉及很多分析，但這一領(lǐng)域的焦點(diǎn)是具體業(yè)務(wù)優(yōu)化層面，如庫(kù)存管理和質(zhì)量控制。運(yùn)籌學(xué)涉及國(guó)防、經(jīng)濟(jì)、工程、軍事等領(lǐng)域。它采用馬爾可夫模型、蒙特卡洛模擬、排隊(duì)論、隨機(jī)過(guò)程，以及（由于歷史原因）Matlab和Informatica工具。

數(shù)據(jù)科學(xué)會(huì)遇到兩種基本類(lèi)型的問(wèn)題。

1.內(nèi)部數(shù)據(jù)科學(xué)問(wèn)題，如損壞的數(shù)據(jù)、粗心的分析或使用不恰當(dāng)?shù)募夹g(shù)。內(nèi)部問(wèn)題不是針對(duì)業(yè)務(wù)而言，而是針對(duì)數(shù)據(jù)科學(xué)社區(qū)。因此，解決辦法包括訓(xùn)練數(shù)據(jù)科學(xué)家更好地工作，要他們遵循最佳做法。

2.業(yè)務(wù)應(yīng)用問(wèn)題是現(xiàn)實(shí)世界中的問(wèn)題，因此要尋求解決方案，如欺詐檢測(cè)，或識(shí)別一個(gè)因素是原因還是結(jié)果。這些可能涉及內(nèi)部或外部（第三方）數(shù)據(jù)。