現(xiàn)如今，在更多情況下，我們是以比特和字節(jié)為生，而不是依靠交換情感。我們使用一種稱之為計(jì)算機(jī)的超級(jí)智能機(jī)器在互聯(lián)網(wǎng)上進(jìn)行交易和溝通。因此，我們覺(jué)得有必要讓機(jī)器明白我們?cè)谡f(shuō)話時(shí)是如何對(duì)其進(jìn)行理解的，并且試圖用人工智能，一種稱之為NLP——自然語(yǔ)言處理技術(shù)為它們提供語(yǔ)言。作為一種研究結(jié)果，聊天機(jī)器人正在成為一種可靠的聊天工具，使用這種非人為依賴的智能工具與人類進(jìn)行交流。

我強(qiáng)烈的感受到：

直到我們的機(jī)器學(xué)會(huì)了解行為和情緒，數(shù)據(jù)科學(xué)家和工程師的工作才完成了一半。與深度學(xué)習(xí)（ML學(xué)科領(lǐng)域）融合的NLP將對(duì)這種計(jì)算機(jī)語(yǔ)言的使用起到關(guān)鍵作用。

什么是NLP

這是一種人工智能方法，給定機(jī)器一些人類語(yǔ)言從而使得它們能夠與人類進(jìn)行溝通交流。它涉及使用NLP技術(shù)對(duì)書面語(yǔ)言進(jìn)行智能分析，以獲取對(duì)一組文本數(shù)據(jù)的見解，如：

1.情緒分析

2.信息提取和檢索

3.智能搜索等

它是人工智能和計(jì)算語(yǔ)言學(xué)的交匯點(diǎn)，能夠處理機(jī)器和人類自然語(yǔ)言之間的交互，即計(jì)算機(jī)需要對(duì)其進(jìn)行分析、理解、改變或生成自然語(yǔ)言。NLP幫助計(jì)算機(jī)機(jī)器以各種形式使用自然人類語(yǔ)言進(jìn)行交流，包括但不限于語(yǔ)音、印刷、寫作和簽名。

NLP機(jī)器學(xué)習(xí)和深度學(xué)習(xí)：它們是如何連接的

NLP與機(jī)器學(xué)習(xí)和深度學(xué)習(xí)密切相關(guān)，所有這些都是人工智能領(lǐng)域的分支，如下圖所示：它是一個(gè)致力于使機(jī)器智能化的計(jì)算機(jī)科學(xué)領(lǐng)域。深度學(xué)習(xí)是一種流行的機(jī)器學(xué)習(xí)技術(shù)之一，如回歸，K-means等。

機(jī)器學(xué)習(xí)的類型很多，像無(wú)監(jiān)督機(jī)器學(xué)習(xí)這樣的經(jīng)常用于NLP技術(shù)中，如LDA（潛在狄利克雷分布，一種主題模型算法）。

為了能夠執(zhí)行任何一個(gè)NLP，我們需要深入理解人類使如何處理語(yǔ)言的情感和分析方面。還有各種各樣像社交媒體這樣的語(yǔ)言數(shù)據(jù)源，人們直接或間接地分享他們感受到的內(nèi)容，而這必須通過(guò)使用NLP的機(jī)器進(jìn)行智能分析。NLP機(jī)器需要建立一個(gè)人類推理系統(tǒng)，借助ML技術(shù)，它們可以自動(dòng)執(zhí)行NLP過(guò)程并對(duì)其進(jìn)行擴(kuò)展。

簡(jiǎn)而言之，“深度學(xué)習(xí)與自然語(yǔ)言處理”是相互聯(lián)系、相互依存的，以構(gòu)建一個(gè)能夠像人類一樣思考、說(shuō)話和行動(dòng)的智能計(jì)算機(jī)。

Meltwater Group的NLP專家John Rehling在《自然語(yǔ)言處理是如何幫助揭示社交媒體情緒》一文中說(shuō)，

“通過(guò)分析語(yǔ)言的含義，NLP系統(tǒng)扮演著非常重要的角色，如糾正語(yǔ)法，將語(yǔ)音轉(zhuǎn)換為文本，以及在多語(yǔ)言之間自動(dòng)翻譯?！?/p>

NLP如何工作

理解NLP的工作原理是非常重要的，因?yàn)檫@樣的話，我們就可以將NLP作為一個(gè)整體來(lái)理解。NLP一般有兩個(gè)主要組成部分：

1.NLU：自然語(yǔ)言理解

2.NLG：自然語(yǔ)言生成

讓我們深入理解NLU

自然語(yǔ)言理解：它涉及的是一種方法論，試圖了解如何對(duì)饋送給計(jì)算機(jī)的自然語(yǔ)言賦予一定的相關(guān)意義。

在開始時(shí)，計(jì)算機(jī)獲得自然語(yǔ)言的輸入（自然語(yǔ)言可以是任何語(yǔ)言，它們通過(guò)使用和重復(fù)在人類中自然進(jìn)化，而不是有意識(shí)的計(jì)劃或預(yù)謀，自然語(yǔ)言可以采用不同的形式，例如語(yǔ)音或簽名）。

計(jì)算機(jī)之后將它們轉(zhuǎn)換成人工語(yǔ)言，如語(yǔ)音識(shí)別和/或語(yǔ)音轉(zhuǎn)換文本。在這里我們把數(shù)據(jù)轉(zhuǎn)換成一個(gè)文本形式， NLU過(guò)程來(lái)理解其中的含義。

HMM：隱馬爾可夫模型（NLU示例）

它是一種統(tǒng)計(jì)語(yǔ)音識(shí)別模型，它可以在預(yù)先構(gòu)建的數(shù)學(xué)技術(shù)的幫助下，將你的語(yǔ)音轉(zhuǎn)換成文本，并試圖推斷出你所說(shuō)的語(yǔ)言。

它試圖理解你所說(shuō)的，通過(guò)將語(yǔ)音數(shù)據(jù)分解成一小段特定的時(shí)間段，大多數(shù)情況下時(shí)間是20-20 ms。這些數(shù)據(jù)集將進(jìn)一步與預(yù)饋語(yǔ)音進(jìn)行比較，從而進(jìn)一步解讀你在每個(gè)語(yǔ)音單位中所說(shuō)的內(nèi)容。這里的目的是找到音素（一個(gè)最小的語(yǔ)音單位）。然后，機(jī)器對(duì)一系列這樣的音素進(jìn)行觀察，并統(tǒng)計(jì)了最可能說(shuō)出的單詞和句子。

不僅如此，NLU會(huì)深刻理解每個(gè)單詞，試圖理解它是一個(gè)名詞還是動(dòng)詞，什么是時(shí)態(tài)（過(guò)去或未來(lái)）等。這個(gè)過(guò)程被定義為POS：詞性標(biāo)注部分（Part Of Speech Tagging）。NLP具有內(nèi)置的詞典和一套與語(yǔ)法預(yù)編碼相關(guān)的協(xié)議，這些協(xié)議被預(yù)編碼到它們的系統(tǒng)中，并在處理自然語(yǔ)言數(shù)據(jù)集時(shí)使用它，從而在NLP系統(tǒng)處理人類語(yǔ)音時(shí)，編譯所說(shuō)的內(nèi)容。

NLP系統(tǒng)也有一個(gè)詞典（詞匯表）和一套編碼到系統(tǒng)中的語(yǔ)法規(guī)則?，F(xiàn)代NLP算法使用統(tǒng)計(jì)機(jī)器，學(xué)習(xí)將這些規(guī)則應(yīng)用于自然語(yǔ)言，并推斷所說(shuō)話語(yǔ)背后最可能的含義。在考慮諸如具有多個(gè)含義的詞語(yǔ)（多義詞）或具有相似含義的詞語(yǔ)（同義詞）時(shí)，存在一些挑戰(zhàn)，但軟件開發(fā)者在他們的NLU系統(tǒng)中建立了自己的規(guī)則，可以通過(guò)適當(dāng)?shù)挠?xùn)練和學(xué)習(xí)來(lái)處理這類問(wèn)題。

自然語(yǔ)言生成：

與第一階段（NLU做了大量的努力以理解人類的話語(yǔ)）相比，NLG可以很容易的進(jìn)行翻譯工作，即將計(jì)算機(jī)的人工語(yǔ)言翻譯為有意義的文本，并可以通過(guò)文字轉(zhuǎn)語(yǔ)音（tex-to-speech）技術(shù)將其轉(zhuǎn)化為可聽語(yǔ)音。文本轉(zhuǎn)語(yǔ)音（（tex-to-speech））技術(shù)通過(guò)韻律模型（prosody model）來(lái)分析文本，從而確定語(yǔ)言的斷句、長(zhǎng)短和音調(diào)。然后，利用語(yǔ)音數(shù)據(jù)庫(kù)，將記錄的所有音素匯集在一起，形成一個(gè)連貫的語(yǔ)音串。

簡(jiǎn)而言之，NLP采用NLU和NLG來(lái)處理人類自然語(yǔ)言，尤其是處理語(yǔ)音識(shí)別領(lǐng)域的人類自然語(yǔ)言，并試圖將傳遞字符串或可聽語(yǔ)言作為輸出，來(lái)理解、編譯并推斷所說(shuō)的內(nèi)容。

NLP在現(xiàn)代語(yǔ)境中的應(yīng)用：

在這個(gè)處于數(shù)字革命的電腦時(shí)代中，大部分任務(wù)需要由人類利用鏈接物聯(lián)網(wǎng)的機(jī)器來(lái)完成。NLP在為媒體、出版、廣告、醫(yī)療、銀行和保險(xiǎn)等行業(yè)領(lǐng)域建立強(qiáng)大的軟件工具方面，發(fā)揮了重要作用，從而幫助他們高效快捷地運(yùn)作。

NLP的一些現(xiàn)代用法：

1.聊天機(jī)器人

這是一個(gè)被稱為機(jī)器人的成熟軟件，它可以處理任何場(chǎng)景的人物對(duì)話。api.ai、微軟語(yǔ)音理解智能服務(wù)（LUIS）等一些熱門的NLP和機(jī)器學(xué)習(xí)平臺(tái)，可用于研發(fā)你的商業(yè)聊天機(jī)器人。

2.垃圾郵件過(guò)濾

你們中的大多數(shù)人一定對(duì)垃圾郵件并不陌生。Google使用基于NLP的技術(shù)來(lái)保障你的收件箱清潔、無(wú)垃圾郵件。貝葉斯垃圾郵件過(guò)濾（Bayesian spam filtering）是一種備受矚目的技術(shù)，它是一種統(tǒng)計(jì)技術(shù)，基于此，電子郵件中詞語(yǔ)的審核通過(guò)率根據(jù)其在垃圾和非垃圾郵件語(yǔ)料庫(kù)中的典型事例來(lái)確定。

3.機(jī)器翻譯

NLP被越來(lái)越多的應(yīng)用于機(jī)器翻譯程序當(dāng)中，這使得一種語(yǔ)言被自動(dòng)翻譯成另一種語(yǔ)言，谷歌是一個(gè)將你的文本翻譯為所需語(yǔ)言的先驅(qū)者。

機(jī)器翻譯技術(shù)所面臨的挑戰(zhàn)不在于翻譯單詞，而在于保留句子的含義，這是一個(gè)復(fù)雜的技術(shù)問(wèn)題，也是NLP的核心。

4.命名實(shí)體提?。∟amed entity extraction）

它用于從給定的項(xiàng)目集合中分離出具有相似性質(zhì)和屬性的項(xiàng)目。例如名字、姓氏、年齡、地理位置、地址、電話號(hào)碼、電子郵件地址和公司名稱等等。命名實(shí)體提?。ㄒ喾Q命名實(shí)體識(shí)別）使挖掘數(shù)據(jù)變得更加容易。

5.自動(dòng)匯總

自然語(yǔ)言處理可用于從大段文本中提取可讀摘要。例如，我們可以自動(dòng)總結(jié)出一份長(zhǎng)篇學(xué)術(shù)文章的簡(jiǎn)短摘要。

接下來(lái)我們將深入介紹一些NLP的技術(shù)細(xì)節(jié)。

當(dāng)自然界與人工相逢的時(shí)候，機(jī)器就像是一個(gè)真正具有生命力的人類一樣進(jìn)入了生活中。

NLP技術(shù)術(shù)語(yǔ)

NLP術(shù)語(yǔ)

?語(yǔ)音體系——關(guān)于系統(tǒng)性地組織語(yǔ)音的研究。

?形態(tài)學(xué)——這是一個(gè)從基本意義單位中進(jìn)行單詞構(gòu)建的研究。

?語(yǔ)素——語(yǔ)言中意義的基本單位。

?語(yǔ)法——它是指單詞經(jīng)過(guò)組合排列構(gòu)成句子，它還涉及在句子和短語(yǔ)中確定單詞結(jié)構(gòu)的作用。

?語(yǔ)義——它涉及的是單詞的含義，以及該如何將單詞組合成有意義的短語(yǔ)和句子。

?語(yǔ)用學(xué)——它涉及的是在不同情況下使用和理解句子以及對(duì)句子的解釋是如何受到影響的。

?話語(yǔ)——它指的是前面的句子如何影響對(duì)于下一句的解釋的。

?常識(shí)性知識(shí)——它涉及的是對(duì)于世界的一般性認(rèn)識(shí)。

自然語(yǔ)言處理庫(kù)（對(duì)于開發(fā)者而言）

NLP庫(kù)：

有許多通用的第三方開源庫(kù)，開發(fā)人員可以使用它們來(lái)構(gòu)建基于NLP的Projects Viz .。

?自然語(yǔ)言工具包（NLTK）

?Apache OpenNLP

?斯坦福大學(xué)NLP套件

?Gate NLP庫(kù)

自然語(yǔ)言工具包（NLTK）是最通用的自然語(yǔ)言處理（NLP）庫(kù)。它是用Python編寫的，背后有一個(gè)很大的社區(qū)。

NLP實(shí)施所涉及的步驟：

它涵蓋了5個(gè)主要步驟：

?詞法分析——它對(duì)給定單詞的結(jié)構(gòu)進(jìn)行識(shí)別和分析，其中整個(gè)文本數(shù)據(jù)塊在詞法分析中被分解成段落、句子和詞匯。

?解析（句法分析）——它涉及以一種顯示單詞之間的關(guān)系的方式對(duì)分析句子中的單詞進(jìn)行語(yǔ)法和單詞排列分析，在這個(gè)階段，任何不符合語(yǔ)法正確的句子都被拒絕，例如，“building lives in sita”將不會(huì)被語(yǔ)法分析器所接受

?語(yǔ)義分析——對(duì)給定的文本進(jìn)行分析以從中提取意義。它通過(guò)對(duì)任務(wù)域中的語(yǔ)法結(jié)構(gòu)和目標(biāo)進(jìn)行分析來(lái)完成。語(yǔ)義分析器拒絕不相關(guān)的句子，如“hot banana”。

?話語(yǔ)整合——正如我們所知，每個(gè)句子都與前一句話相互聯(lián)系，基于倒數(shù)第二句的意義而言，任何句子都變得有意義。同樣，它也使得后一句話變得有意義。

?語(yǔ)用分析——在此期間，常識(shí)性知識(shí)被重新定義了，解釋了它們的真實(shí)意義到底是什么，它涉及到那些需要常識(shí)性知識(shí)的語(yǔ)言方面。

用圖片來(lái)解讀NLP（點(diǎn)擊圖片放大）：

NLP應(yīng)用程序：

1.光學(xué)字符識(shí)別

2.語(yǔ)音識(shí)別

3.機(jī)器翻譯

4.自然語(yǔ)言生成

5.情緒分析

6.語(yǔ)義搜索

7.自然語(yǔ)言編程

8.情感計(jì)算

9.開發(fā)聊天機(jī)器人