上一篇我們講到了在神經(jīng)網(wǎng)絡(luò)出現(xiàn)以前的詞向量表示方法：基于同義詞詞典的方法和基于計數(shù)統(tǒng)計的方法。想要回顧的可以看這里小白跟學(xué)系列之手把手搭建NLP經(jīng)典模型-2（含代碼）

這一篇我們要真正開始講在神經(jīng)網(wǎng)絡(luò)中，詞向量是怎么表示的，以及它又有什么優(yōu)缺點呢？

目錄

基于統(tǒng)計存在的問題

什么是推理？

神經(jīng)網(wǎng)絡(luò)中輸入的單詞怎么處理？

簡單的word2vec

CBOW模型的推理

CBOW模型的學(xué)習(xí)

學(xué)習(xí)數(shù)據(jù)的準備

CBOW模型的實現(xiàn)

從概率角度看CBOW

總結(jié)

基于計數(shù)統(tǒng)計存在的問題

在海量數(shù)據(jù)的今天，基于計數(shù)統(tǒng)計的方法難以處理大規(guī)模的語料庫，因為統(tǒng)計需要一次性統(tǒng)計整個語料庫！實在是有點難頂。而SVD降維的復(fù)雜度又太大，于是將推出——基于推理的方法，也就是基于神經(jīng)網(wǎng)絡(luò)的方法。

神經(jīng)網(wǎng)絡(luò)一次只需要處理一個mini-batch的數(shù)據(jù)進行學(xué)習(xí)，并且反復(fù)更新網(wǎng)絡(luò)權(quán)重，使神經(jīng)網(wǎng)絡(luò)能夠正確預(yù)測結(jié)果。

基于推理的方法以預(yù)測為目標，同時獲得了作為副產(chǎn)品的單詞分布式表示。也就是說，模型學(xué)習(xí)的最終目的是能夠預(yù)測正確的結(jié)果，而在學(xué)習(xí)的過程中，我們意外的獲得了單詞的分布式表示。

如果看不懂也沒有關(guān)系，這里只是擺出了最終的結(jié)論，接著往下看。

什么是推理？

當給出周圍的單詞（上下文）時，預(yù)測"？"處會出現(xiàn)什么單詞。

也就是說，基于推理的方法和基于計數(shù)的方法一樣，也是基于分布式假設(shè)的，即“單詞含義由其周圍的單詞構(gòu)成”。

輸入單詞的處理方法

將輸入文本寫為one-hot向量

和之前的方法一樣，不管什么模型都無法直接輸入文本本身，模型只“看得懂”數(shù)字，因此我們需要先將單詞轉(zhuǎn)化為固定長度的向量。對此，一種方式是將單詞轉(zhuǎn)換為 one-hot向量。在 one-hot 表示中，只有一個元素是 1，其他元素都是 0。還是以“You say goodbye and I say hello.”這一語料作為例子，表示成one-hot向量即如下所示：

像這樣，將單詞轉(zhuǎn)化為固定長度的向量，神經(jīng)網(wǎng)絡(luò)的輸入層的神經(jīng)元個數(shù)也就可以固定下來（圖 3-5）。

能用向量表示單詞啦，這樣我們就可以把它們丟進神經(jīng)網(wǎng)絡(luò)進行處理了。比如，對于one-hot表示的某個單詞，

使用全連接層的神經(jīng)網(wǎng)絡(luò)如圖 3-6 所示。

但是我們需要關(guān)注權(quán)重W的大小，因此我們將神經(jīng)網(wǎng)絡(luò)畫成如下的形式：

全連接層變換可以寫成如下的 Python代碼。

import numpy as np c = np.array([[1, 0, 0, 0, 0, 0, 0]]) # 輸入youW = np.random.randn(7, 3) # 權(quán)重初始值為7行3列的矩陣隨機數(shù)，且具有標準正態(tài)分布h = np.dot(c, W) # 中間隱藏層節(jié)點print(h)# [[-0.70012195 0.25204755 -0.79774592]]

這里需要注意的是因為輸入 c 是 one-hot 表示，單詞 ID 對應(yīng)的元素是 1，其他地方都是 0。因此，上述代碼中的 c × W 的矩陣乘積相當于“提取”權(quán)重的對應(yīng)行向量。

這里，僅為了提取權(quán)重的行向量而進行矩陣乘積計算好像不是很有效率。關(guān)于這一點，我們會在后續(xù)進行改進。而且乘積也可以用MatMul層（專門做矩陣乘積的層）來實現(xiàn)。

學(xué)習(xí)了基于推理的方法，并用代碼實現(xiàn)了神經(jīng)網(wǎng)絡(luò)中單詞的處理方法，至此準備工作就完成了，現(xiàn)在是時候?qū)崿F(xiàn)word2vec了。

在基于推理（神經(jīng)網(wǎng)絡(luò)）的方法中，最著名的就是Word2Vec。接下來我們將詳細的探討word2vec的結(jié)構(gòu)和如何用代碼把這個結(jié)構(gòu)搭建起來。

簡單的word2vec

word2vec有兩種模型：

CBOW模型

Skip-gram模型

兩種模型的區(qū)別如下：

CBOW 模型是從上下文的多個單詞預(yù)測中間的單詞（目標詞），而 skip-gram 模型則從中間的單詞（目標詞）預(yù)測上下文的多個單詞。

本節(jié)我們將主要討論CBOW模型。

CBOW模型的推理

CBOW 模型是根據(jù)上下文預(yù)測目標詞的神經(jīng)網(wǎng)絡(luò)（“目標詞”是指中間的單詞，它周圍的單詞是“上下文”）。通過訓(xùn)練這個 CBOW 模型，使其能盡可能地進行正確的預(yù)測目標詞，我們就可以獲得中間產(chǎn)物——單詞的分布式表示。

提前劇透一下，這個學(xué)習(xí)好的、能正確預(yù)測結(jié)果的權(quán)重就是我們想要的單詞分布式表示。

中間層的神經(jīng)元數(shù)量比輸入層少這一點很重要。中間層需要將預(yù)測單詞所需的信息壓縮保存,從而產(chǎn)生密集的向量表示。這時,中間層被寫入了我們?nèi)祟悷o法解讀的代碼,相當于 “編碼” 工作。而從中間層的信息獲得期望結(jié)果的過程則稱為 “解碼” 。這一過程將被編碼的信息復(fù)原為我們可以理解的形式。

我們從層的角度來看看這個CBOW模型：

如圖 3-11 所示,CBOW 模型一開始有兩個 MatMul 層,這兩個層的輸出被加在一起。然后,對這個相加后得到的值乘以 0.5 求平均,可以得到中間層的神經(jīng)元。最后,將另一個 MatMul 層應(yīng)用于中間層的神經(jīng)元,輸出得分。

MatMul 層的正向傳播，在內(nèi)部會計算矩陣乘積。

接下來用代碼實現(xiàn) CBOW 模型的推理(即求得分的過程) ,具體實現(xiàn)如下所示( ch03/cbow_predict.py ) 。

import syssys.path.append('..')import numpy as npfrom common.layers import MatMul # 樣本的上下文數(shù)據(jù)c0 = np.array([[1, 0, 0, 0, 0, 0, 0]]) # youc1 = np.array([[0, 0, 1, 0, 0, 0, 0]]) # goodbye # 權(quán)重的初始值W_in = np.random.randn(7, 3)W_out = np.random.randn(3, 7) # 生成層in_layer0 = MatMul(W_in)in_layer1 = MatMul(W_in)out_layer = MatMul(W_out) # 正向傳播h0 = in_layer0.forward(c0)h1 = in_layer1.forward(c1)h = 0.5 * (h0 + h1)s = out_layer.forward(h)print(s) # [[ 0.30916255 0.45060817 -0.77308656 0.22054131 0.15037278# -0.93659277 -0.59612048]]

輸出側(cè)的MatMul層共享權(quán)重W_in。

以上是沒有使用激活函數(shù)的簡單網(wǎng)絡(luò)結(jié)構(gòu)，接下來看看CBOW模型的學(xué)習(xí)（也就是添加激活函數(shù)后得到概率）。

CBOW模型的學(xué)習(xí)

推理完了得到得分，加上激活函數(shù)就得到結(jié)果的概率，這個概率就表示哪個單詞會出現(xiàn)在給定的上下文(周圍單詞)中間。

說白了，CBOW模型的學(xué)習(xí)就是調(diào)整權(quán)重參數(shù)，以使預(yù)測結(jié)果更加準確。評估預(yù)測是否準確的一大指標就是預(yù)測的結(jié)果和正確的結(jié)果之間進行對比，用什么指標去比對呢？用交叉熵誤差量化對比模型預(yù)測的概率和正確結(jié)果之間的差距（也就是loss值），并且反饋給前面的權(quán)重參數(shù)W并進行參數(shù)W的調(diào)整，從而不斷的減小與正確結(jié)果之間的距離，這就是模型訓(xùn)練、學(xué)習(xí)的過程。

從層的角度表示如下:

CBOW模型的學(xué)習(xí)，只需在 CBOW 模型的推理上加上Softmax 層和 Cross Entropy Error 層,就可以得到損失。這就是 CBOW模型的正向傳播。

那么學(xué)習(xí)好的模型最終獲得的權(quán)重參數(shù)是什么樣的呢？

word2vec 中使用的網(wǎng)絡(luò)有兩個權(quán)重,分別是輸入側(cè)的權(quán)重(Win)和輸出側(cè)的權(quán)重(Wout) 。一般而言,輸入側(cè)的權(quán)重 Win 的每一行對應(yīng)于各個單詞的分布式表示?；蛘咻敵鰝?cè)的每一列也同樣對應(yīng)各個單詞的分布式表示。

那么,我們最終應(yīng)該使用哪個權(quán)重作為單詞的分布式表示呢?這里有三個選項。

A. 只使用輸入側(cè)的權(quán)重

B. 只使用輸出側(cè)的權(quán)重

C. 同時使用兩個權(quán)重

就 word2vec(特別是 skip-gram 模型)而言,最受歡迎的是方案 A。在這里我們也使用Win作為詞向量。而在與 word2vec 相似的 GloVe[27]詞向量表示方法中,使用C方案將兩個權(quán)重相加,也獲得了良好的結(jié)果。

模型搭建好了，我們還要對輸入數(shù)據(jù)進行預(yù)處理。

學(xué)習(xí)數(shù)據(jù)的準備

我們上面有說過，模型沒法直接"認識"文本，而只認識數(shù)字，所以我們首先需要將輸入數(shù)據(jù)轉(zhuǎn)化為one-hot向量表示。這里仍以“You say goodbye and I say hello.”為例。

代碼實現(xiàn)數(shù)據(jù)預(yù)處理如下：

import syssys.path.append('..')from common.util import preprocess, create_contexts_target,convert_one_hot text = 'You say goodbye and I say hello.' corpus, word_to_id, id_to_word = preprocess(text) contexts, target = create_contexts_target(corpus, window_size=1) vocab_size = len(word_to_id)target = convert_one_hot(target, vocab_size)contexts = convert_one_hot(contexts, vocab_size)

convert_one_hot() 函數(shù)實現(xiàn)了將單詞 ID 轉(zhuǎn)化為 one-hot 表示，內(nèi)容很簡單,代碼在 common/util.py 中。

至此,學(xué)習(xí)數(shù)據(jù)的準備就完成了,下面我們來討論最重要的 CBOW 模型的實現(xiàn)。

CBOW模型的實現(xiàn)

根據(jù)CBOW模型的網(wǎng)絡(luò)結(jié)構(gòu)圖，將該神經(jīng)網(wǎng)絡(luò)實現(xiàn)為 SimpleCBOW 類(下一節(jié)將對其進行改進為 CBOW 類) 。首先,讓我們看一下 SimpleCBOW 類的初始化方法( ch03/simple_cbow.py ) 。

模型的初始化代碼

import syssys.path.append('..')import numpy as npfrom common.layers import MatMul, SoftmaxWithLoss class SimpleCBOW: def __init__(self, vocab_size, hidden_size): # 詞匯數(shù)：vocab_size ；中間層神經(jīng)元個數(shù)：hidden_size V, H = vocab_size, hidden_size # 初始化權(quán)重，用一些小的隨機值初始化 W_in = 0.01 * np.random.randn(V, H).astype('f') W_out = 0.01 * np.random.randn(H, V).astype('f') # 生成層 self.in_layer0 = MatMul(W_in) self.in_layer1 = MatMul(W_in) self.out_layer = MatMul(W_out) self.loss_layer = SoftmaxWithLoss() # 將所有的權(quán)重和梯度整理到列表中 layers = [self.in_layer0, self.in_layer1, self.out_layer] self.params, self.grads = [], [] for layer in layers: self.params += layer.params self.grads += layer.grads # 將單詞的分布式表示設(shè)置為成員變量 self.word_vecs = W_in

指定 NumPy 數(shù)組的數(shù)據(jù)類型為 astype('f')，初始化將使用 32 位的浮點數(shù)。

實現(xiàn)神經(jīng)網(wǎng)絡(luò)的正向傳播 forward() 函數(shù)代碼。該函數(shù)接收參數(shù) contexts 和 target，并返回損失（loss）。

def forward(self, contexts, target): # 接收參數(shù) contexts 和 target，并返回損失（loss） h0 = self.in_layer0.forward(contexts[:, 0]) h1 = self.in_layer1.forward(contexts[:, 1]) h = (h0 + h1) * 0.5 score = self.out_layer.forward(h) loss = self.loss_layer.forward(score, target) return loss

這里，假定參數(shù) contexts 是一個三維 NumPy 數(shù)組，即圖3-18 的例子中 (6,2,7) 的形狀，其中第 0 維是 mini-batch 的數(shù)量，第 1 維是上下文的窗口大小，第 2 維表示 one-hot 向量。此外， target 是 (6,7)這樣的二維形狀。

實現(xiàn)反向傳播 backward()

反向傳播代碼如下：

def backward(self, dout=1): ds = self.loss_layer.backward(dout) da = self.out_layer.backward(ds) da *= 0.5 self.in_layer1.backward(da) self.in_layer0.backward(da) return None

“×”的反向傳播將正向傳播時的輸入值“交換”后乘以梯度?！?”的反向傳播則將梯度“原樣”傳播。

此處正向、反向傳播已實現(xiàn)，通過先調(diào)用 forward() 函 數(shù)， 再調(diào)用 backward() 函數(shù)，grads 列表中的梯度被更新。

模型學(xué)習(xí)的實現(xiàn)

CBOW 模型的學(xué)習(xí)和一般的神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)完全相同。

首先,給神經(jīng)網(wǎng)絡(luò)準備好學(xué)習(xí)數(shù)據(jù)。

然后,求梯度,并逐步更新權(quán)重參數(shù)。

這里,我們使用神經(jīng)網(wǎng)絡(luò)中的 Trainer 類來執(zhí)行學(xué)習(xí)過程,學(xué)習(xí)的源代碼如下所示( ch03/train.py ) 。

模型學(xué)習(xí)的實現(xiàn)代碼：

import syssys.path.append('..')from common.trainer import Trainerfrom common.optimizer import Adamfrom simple_cbow import SimpleCBOWfrom common.util import preprocess, create_contexts_target,convert_one_hot window_size = 1hidden_size = 5batch_size = 3max_epoch = 1000 text = 'You say goodbye and I say hello.'corpus, word_to_id, id_to_word = preprocess(text) vocab_size = len(word_to_id)contexts, target = create_contexts_target(corpus, window_size)target = convert_one_hot(target, vocab_size)contexts = convert_one_hot(contexts, vocab_size) model = SimpleCBOW(vocab_size, hidden_size)optimizer = Adam()trainer = Trainer(model, optimizer)trainer.fit(contexts, target, max_epoch, batch_size)trainer.plot()

之后，我們都會使用Train類進行網(wǎng)絡(luò)的學(xué)習(xí)。使用 Trainer類, 可以理清容易變復(fù)雜的學(xué)習(xí)代碼。

結(jié)果如圖所示：

通過不斷的學(xué)習(xí)，損失的確在減?。∥覀冊賮砜纯磳W(xué)習(xí)結(jié)束后的權(quán)重W。我們?nèi)〕鰟倓偙４娴妮斎雮?cè)的權(quán)重。

word_vecs = model.word_vecs for word_id, word in id_to_word.items(): print(word, word_vecs[word_id])

word_vecs 的各行保存了對應(yīng)的單詞 ID 的分布式表示。結(jié)果如下所示：

you [-0.9031807 -1.0374491 -1.4682057 -1.3216232 0.93127245]say [ 1.2172916 1.2620505 -0.07845993 0.07709391 -1.2389531 ]goodbye [-1.0834033 -0.8826921 -0.33428606 -0.5720131 1.0488235 ]and [ 1.0244362 1.0160093 -1.6284224 -1.6400533 -1.0564581]i [-1.0642933 -0.9162385 -0.31357735 -0.5730831 1.041875 ]hello [-0.9018145 -1.035476 -1.4629668 -1.3058501 0.9280102]. [ 1.0985303 1.1642815 1.4365371 1.3974973 -1.0714306]

我們終于將單詞表示為了密集向量!這就是單詞的分布式表示。

不過,由于這里使用的語料庫因為太小了所以并沒有給出很好的結(jié)果。如果換成更大的語料庫,相信會獲得更好的結(jié)果。但是,如果語料庫太大，在處理速度方面又會出現(xiàn)新的問題,因為當前這個 CBOW 模型的實現(xiàn)在處理效率方面存在幾個問題。下一節(jié)我們將改進這個簡單的 CBOW 模型,實現(xiàn)一個“真正的”、更快的CBOW 模型。

從概率角度看CBOW

我們從概率角度再來看一下CBOW模型。首先說明幾個概率的表示方法。

由概率統(tǒng)計所學(xué)，我們知道：

P(A)：表示A發(fā)生的概率；

P(A,B)：表示A，B同時發(fā)生的概率；（聯(lián)合概率）

P(A|B)：B發(fā)生時A發(fā)生的概率。（后驗概率）

已知CBOW模型的原理是已知上下文而預(yù)測目標詞。

我們用數(shù)學(xué)式來表示當給定上下文 wt?1和 wt+1時目標詞為 wt 的概率。即使用后驗概率,有式 (3.1):

式 (3.1) 表示“在 wt?1和 wt+1發(fā)生后,wt發(fā)生的概率” 。也就是說,CBOW 模型可以建模為式 (3.1)。

而且使用式 (3.1)可以簡潔地表示CBOW 模型的損失函數(shù)。

將原交叉熵誤差函數(shù)式以概率的形式來表示就是：

CBOW 模型的損失函數(shù)只是對式 (3.1) 的概率取 log,并加上負號，這也稱為負對數(shù)似然(negative log likelihood) 。式 (3.2) 是一筆樣本數(shù)據(jù)的損失函數(shù)。如果將其擴展到整個語料庫,則損失函數(shù)可以寫為:

CBOW 模型學(xué)習(xí)的任務(wù)就是讓式 (3.3) 表示的損失函數(shù)盡可能地小。學(xué)習(xí)好的權(quán)重參數(shù)就是我們想要的單詞的分布式表示。這里,我們只考慮了窗口大小為 1 的情況,不過其他的窗口大小(或者窗口大小為 m 的一般情況) 也很容易用數(shù)學(xué)式表示。

理解了 CBOW 模型的實現(xiàn),在實現(xiàn) skip-gram 模型時也就不存在什么難點了。這里就不再介紹 skip-gram 模型的實現(xiàn)。詳細代碼可以參考 ch03/simple_skip_gram.py 。

總結(jié)

到目前為止,我們已經(jīng)了解了基于計數(shù)的方法和基于神經(jīng)網(wǎng)絡(luò)的方法(特別是 word2vec) ?；谟嫈?shù)的方法通過對整個語料庫的統(tǒng)計數(shù)據(jù)進行一次學(xué)習(xí)來獲得單詞的分布式表示,而基于推理的方法則通過反復(fù)觀察語料庫的一部分數(shù)據(jù)進行學(xué)習(xí)(mini-batch 學(xué)習(xí)) 。

如果需要向詞匯表添加新詞匯并更新詞向量。

基于計數(shù)的方法：需要從頭開始計算，重新生成共現(xiàn)矩陣、進行SVD降維等操作。

而基于神經(jīng)網(wǎng)絡(luò)的方法：允許參數(shù)的增量學(xué)習(xí)?？梢詫⒅皩W(xué)習(xí)好的權(quán)重參數(shù)作為初始值繼續(xù)學(xué)習(xí)更新權(quán)重參數(shù)。

但是現(xiàn)階段的CBOW模型在學(xué)習(xí)效率上還存在一些問題。下一節(jié)我們將改進這個CBOW模型，使其更加高效的學(xué)習(xí)詞向量表示。

原文標題：師妹問我：如何在7分鐘內(nèi)徹底搞懂word2vec？

文章出處：【微信公眾號：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq