近年來(lái)，基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)方法在自然語(yǔ)言處理領(lǐng)域已經(jīng)取得了不少進(jìn)展。作為NLP領(lǐng)域的基礎(chǔ)任務(wù)—命名實(shí)體識(shí)別（Named Entity Recognition，NER）也不例外，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在NER中也取得了不錯(cuò)的效果。最近，本文作者也閱讀學(xué)習(xí)了一系列使用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行NER的相關(guān)論文，在此進(jìn)行一下總結(jié)，和大家一起分享學(xué)習(xí)。

1 引言

命名實(shí)體識(shí)別（Named Entity Recognition，NER）就是從一段自然語(yǔ)言文本中找出相關(guān)實(shí)體，并標(biāo)注出其位置以及類型，如下圖。它是NLP領(lǐng)域中一些復(fù)雜任務(wù)（例如關(guān)系抽取，信息檢索等）的基礎(chǔ)。

NER一直是NLP領(lǐng)域中的研究熱點(diǎn)，從早期基于詞典和規(guī)則的方法，到傳統(tǒng)機(jī)器學(xué)習(xí)的方法，到近年來(lái)基于深度學(xué)習(xí)的方法，NER研究進(jìn)展的大概趨勢(shì)大致如下圖所示。

在基于機(jī)器學(xué)習(xí)的方法中，NER被當(dāng)作是序列標(biāo)注問(wèn)題。與分類問(wèn)題相比，序列標(biāo)注問(wèn)題中當(dāng)前的預(yù)測(cè)標(biāo)簽不僅與當(dāng)前的輸入特征相關(guān)，還與之前的預(yù)測(cè)標(biāo)簽相關(guān)，即預(yù)測(cè)標(biāo)簽序列之間是有強(qiáng)相互依賴關(guān)系的。例如，使用BIO標(biāo)簽策略進(jìn)行NER時(shí)，正確的標(biāo)簽序列中標(biāo)簽O后面是不會(huì)接標(biāo)簽I的。

在傳統(tǒng)機(jī)器學(xué)習(xí)中，條件隨機(jī)場(chǎng)（Conditional Random Field，CRF）是NER目前的主流模型。它的目標(biāo)函數(shù)不僅考慮輸入的狀態(tài)特征函數(shù)，而且還包含了標(biāo)簽轉(zhuǎn)移特征函數(shù)。在訓(xùn)練時(shí)可以使用SGD學(xué)習(xí)模型參數(shù)。在已知模型時(shí)，給輸入序列求預(yù)測(cè)輸出序列即求使目標(biāo)函數(shù)最大化的最優(yōu)序列，是一個(gè)動(dòng)態(tài)規(guī)劃問(wèn)題，可以使用維特比算法進(jìn)行解碼。

在傳統(tǒng)機(jī)器學(xué)習(xí)方法中，常用的特征如下：

接下里我們重點(diǎn)看看如何使用神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)進(jìn)行NER 。

2 NER中主流的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2.1 NN/CNN-CRF模型

《Natural language processing (almost) from scratch》是較早使用神經(jīng)網(wǎng)絡(luò)進(jìn)行NER的代表工作之一。在這篇論文中，作者提出了窗口方法與句子方法兩種網(wǎng)絡(luò)結(jié)構(gòu)來(lái)進(jìn)行NER。這兩種結(jié)構(gòu)的主要區(qū)別就在于窗口方法僅使用當(dāng)前預(yù)測(cè)詞的上下文窗口進(jìn)行輸入，然后使用傳統(tǒng)的NN結(jié)構(gòu)；而句子方法是以整個(gè)句子作為當(dāng)前預(yù)測(cè)詞的輸入，加入了句子中相對(duì)位置特征來(lái)區(qū)分句子中的每個(gè)詞，然后使用了一層卷積神經(jīng)網(wǎng)絡(luò)CNN結(jié)構(gòu)。

在訓(xùn)練階段，作者也給出了兩種目標(biāo)函數(shù)：一種是詞級(jí)別的對(duì)數(shù)似然，即使用softmax來(lái)預(yù)測(cè)標(biāo)簽概率，當(dāng)成是一個(gè)傳統(tǒng)分類問(wèn)題；另一種是句子級(jí)別的對(duì)數(shù)似然，其實(shí)就是考慮到CRF模型在序列標(biāo)注問(wèn)題中的優(yōu)勢(shì)，將標(biāo)簽轉(zhuǎn)移得分加入到了目標(biāo)函數(shù)中。后來(lái)許多相關(guān)工作把這個(gè)思想稱為結(jié)合了一層CRF層，所以我這里稱為NN/CNN-CRF模型。

在作者的實(shí)驗(yàn)中，上述提到的NN和CNN結(jié)構(gòu)效果基本一致，但是句子級(jí)別似然函數(shù)即加入CRF層在NER的效果上有明顯提高。

2.2 RNN-CRF模型

借鑒上面的CRF思路，在2015年左右出現(xiàn)了一系列使用RNN結(jié)構(gòu)并結(jié)合CRF層進(jìn)行NER的工作。代表工作主要有：將這些工作總結(jié)起來(lái)就是一個(gè)RNN-CRF模型，模型結(jié)構(gòu)如下圖：

它主要有Embedding層（主要有詞向量，字符向量以及一些額外特征），雙向RNN層，tanh隱層以及最后的CRF層構(gòu)成。它與之前NN/CNN-CRF的主要區(qū)別就是他使用的是雙向RNN代替了NN/CNN。這里RNN常用LSTM或者GRU。實(shí)驗(yàn)結(jié)果表明RNN-CRF獲得了更好的效果，已經(jīng)達(dá)到或者超過(guò)了基于豐富特征的CRF模型，成為目前基于深度學(xué)習(xí)的NER方法中的最主流模型。在特征方面，該模型繼承了深度學(xué)習(xí)方法的優(yōu)勢(shì)，無(wú)需特征工程，使用詞向量以及字符向量就可以達(dá)到很好的效果，如果有高質(zhì)量的詞典特征，能夠進(jìn)一步獲得提高。

3 最近的一些工作

最近的一年在基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的NER研究上，主要集中在兩個(gè)方面：一是使用流行的注意力機(jī)制來(lái)提高模型效果（Attention Mechanism），二是針對(duì)少量標(biāo)注訓(xùn)練數(shù)據(jù)進(jìn)行的一些研究。

3.1 Attention-based

《Attending to Characters in Neural Sequence Labeling Models》該論文還是在RNN-CRF模型結(jié)構(gòu)基礎(chǔ)上，重點(diǎn)改進(jìn)了詞向量與字符向量的拼接。使用attention機(jī)制將原始的字符向量和詞向量拼接改進(jìn)為了權(quán)重求和，使用兩層傳統(tǒng)神經(jīng)網(wǎng)絡(luò)隱層來(lái)學(xué)習(xí)attention的權(quán)值，這樣就使得模型可以動(dòng)態(tài)地利用詞向量和字符向量信息。實(shí)驗(yàn)結(jié)果表明比原始的拼接方法效果更好。

另一篇論文《Phonologically aware neural model for named entity recognition in low resource transfer settings》，在原始BiLSTM-CRF模型上，加入了音韻特征，并在字符向量上使用attention機(jī)制來(lái)學(xué)習(xí)關(guān)注更有效的字符，主要改進(jìn)如下圖。

3.2 少量標(biāo)注數(shù)據(jù)

對(duì)于深度學(xué)習(xí)方法，一般需要大量標(biāo)注數(shù)據(jù)，但是在一些領(lǐng)域并沒(méi)有海量的標(biāo)注數(shù)據(jù)。所以在基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)方法中如何使用少量標(biāo)注數(shù)據(jù)進(jìn)行NER也是最近研究的重點(diǎn)。其中包括了遷移學(xué)習(xí)《Transfer Learning for Sequence Tagging with Hierarchical Recurrent Networks》和半監(jiān)督學(xué)習(xí)。這里我提一下最近ACL2017剛錄用的一篇論文《Semi-supervised sequence tagging with bidirectional language models》。該論文使用海量無(wú)標(biāo)注語(yǔ)料庫(kù)訓(xùn)練了一個(gè)雙向神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型，然后使用這個(gè)訓(xùn)練好的語(yǔ)言模型來(lái)獲取當(dāng)前要標(biāo)注詞的語(yǔ)言模型向量（LM embedding），然后將該向量作為特征加入到原始的雙向RNN-CRF模型中。實(shí)驗(yàn)結(jié)果表明，在少量標(biāo)注數(shù)據(jù)上，加入這個(gè)語(yǔ)言模型向量能夠大幅度提高NER效果，即使在大量的標(biāo)注訓(xùn)練數(shù)據(jù)上，加入這個(gè)語(yǔ)言模型向量仍能提供原始RNN-CRF模型的效果。整體模型結(jié)構(gòu)如下圖：

4 總結(jié)

最后進(jìn)行一下總結(jié)，目前將神經(jīng)網(wǎng)絡(luò)與CRF模型相結(jié)合的NN/CNN/RNN-CRF模型成為了目前NER的主流模型。我認(rèn)為對(duì)于CNN與RNN，并沒(méi)有誰(shuí)占據(jù)絕對(duì)的優(yōu)勢(shì)，各自有相應(yīng)的優(yōu)點(diǎn)。由于RNN有天然的序列結(jié)構(gòu)，所以RNN-CRF使用更為廣泛。基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的NER方法，繼承了深度學(xué)習(xí)方法的優(yōu)點(diǎn)，無(wú)需大量人工特征。只需詞向量和字符向量就能達(dá)到主流水平，加入高質(zhì)量的詞典特征能夠進(jìn)一步提升效果。對(duì)于少量標(biāo)注訓(xùn)練集問(wèn)題，遷移學(xué)習(xí)，半監(jiān)督學(xué)習(xí)應(yīng)該是未來(lái)研究的重點(diǎn)。