人機(jī)對(duì)話技術(shù)近年來(lái)受到了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注，其發(fā)展影響并推動(dòng)著語(yǔ)音識(shí)別與合成、自然語(yǔ)言理解、對(duì)話管理以及自然語(yǔ)言生成等研究的進(jìn)展。眾多產(chǎn)業(yè)界巨頭相繼推出了人機(jī)對(duì)話技術(shù)相關(guān)產(chǎn)品，并將人機(jī)對(duì)話技術(shù)作為其公司的重點(diǎn)研發(fā)方向。

8月3日，第七屆全國(guó)社會(huì)媒體處理大會(huì)技術(shù)評(píng)測(cè)SMP2018在哈爾濱舉行，會(huì)上公布中文人機(jī)對(duì)話技術(shù)評(píng)測(cè)SMP2018-ECDT結(jié)果，深思考人工智能（iDeepWise.AI）包攬2任務(wù)一、任務(wù)二兩項(xiàng)大獎(jiǎng)，并獲得中文語(yǔ)義理解與多輪人機(jī)交互全國(guó)第一名，蟬聯(lián)2017、2018兩屆全國(guó)冠軍。

中文人機(jī)對(duì)話技術(shù)評(píng)測(cè)（ECDT）由中國(guó)中文信息學(xué)會(huì)主辦，旨在評(píng)測(cè)目前中文語(yǔ)義理解與人機(jī)交互的水平。本屆中文人機(jī)對(duì)話技術(shù)評(píng)測(cè)（SMP-ECDT）聚焦于用戶意圖的識(shí)別和響應(yīng)問(wèn)題，分別開(kāi)展用戶意圖領(lǐng)域分類（任務(wù)一）和特定領(lǐng)域任務(wù)型人機(jī)對(duì)話在線評(píng)測(cè)（任務(wù)二）。

會(huì)上，深思考人工智能首席機(jī)器學(xué)習(xí)科學(xué)家王泳博士分享了深思考人工智能SMP2018特定域任務(wù)型人機(jī)對(duì)話（任務(wù)二）在線評(píng)測(cè)技術(shù)報(bào)告。報(bào)告介紹了深思考人工智能團(tuán)隊(duì)針對(duì)SMP2018特定域任務(wù)型人機(jī)對(duì)話評(píng)測(cè)任務(wù)所研發(fā)的系統(tǒng)及系統(tǒng)的技術(shù)實(shí)現(xiàn)細(xì)節(jié)。

王泳博士

王泳博士介紹，本屆中文人機(jī)對(duì)話技術(shù)評(píng)測(cè)（ECDT）的任務(wù)二是特定域任務(wù)型人機(jī)對(duì)話在線評(píng)測(cè)任務(wù)，評(píng)測(cè)任務(wù)的特定領(lǐng)域包括：機(jī)票類、火車票類、酒店類3個(gè)垂直領(lǐng)域，系統(tǒng)通過(guò)與測(cè)試人員實(shí)時(shí)在線對(duì)話完成相應(yīng)的預(yù)定或查詢?nèi)蝿?wù)，從而滿足測(cè)試人員的需求。

相比上一屆，特定域任務(wù)型人機(jī)對(duì)話在線評(píng)測(cè)任務(wù)加入了多意圖識(shí)別以及多意圖場(chǎng)景下的預(yù)定或查詢?nèi)蝿?wù)，其中涉及到意圖的多標(biāo)簽分類、意圖間關(guān)系的推理以及意圖之間屬性特征的推理。為了實(shí)現(xiàn)多意圖場(chǎng)景下的多輪人機(jī)交互，深思考人工智能團(tuán)隊(duì)重點(diǎn)進(jìn)行了多意圖場(chǎng)景下的多標(biāo)簽分類、意圖理解與屬性推理以及對(duì)話管理模塊的研究和設(shè)計(jì)。

以下是王泳博士詳細(xì)報(bào)告：

1 系統(tǒng)實(shí)現(xiàn)

我們首先將工作重心主要放在意圖的層次分類中，將多意圖看做是一個(gè)大類，對(duì)多意圖進(jìn)行多標(biāo)簽分類。其次進(jìn)行多意圖問(wèn)句和單意圖問(wèn)句的屬性抽取以及多意圖的屬性推理。然后在對(duì)話管理模塊中通過(guò)深度強(qiáng)化學(xué)習(xí)Deep Reinforcement Learning進(jìn)行信息和狀態(tài)的處理。最后各個(gè)業(yè)務(wù)模塊的邏輯處理，從而實(shí)現(xiàn)多任務(wù)場(chǎng)景下的多輪交互。系統(tǒng)的總體框架圖如圖-1所示：

圖-1人機(jī)多輪交互系統(tǒng)總體框架

1.1 輸入預(yù)處理

在特定域任務(wù)型人機(jī)對(duì)話在線評(píng)測(cè)系統(tǒng)中，首先需要對(duì)用戶輸入的問(wèn)句進(jìn)行糾錯(cuò)，其次還需要進(jìn)行分詞、詞性標(biāo)注，最后進(jìn)行補(bǔ)全和指代消解。

1.2 意圖分類

在多領(lǐng)域的人機(jī)交互系統(tǒng)中，意圖分類是整個(gè)系統(tǒng)的核心。當(dāng)用戶說(shuō)了一句話時(shí)，首先要知道這句話是哪個(gè)領(lǐng)域的問(wèn)題，才能交給這個(gè)領(lǐng)域的業(yè)務(wù)處理模塊進(jìn)行處理。因?yàn)楸敬螠y(cè)評(píng)加入了多意圖識(shí)別，這屬于一個(gè)多標(biāo)簽分類問(wèn)題，和傳統(tǒng)的意圖分類有很大的差別。

在這里我們采用層次分類的思想，首先利用GRU模型對(duì)意圖進(jìn)行粗粒度劃分，從而劃分出多意圖，然后在多意圖中利用膠囊網(wǎng)絡(luò)進(jìn)行多標(biāo)簽分類從而識(shí)別出多意圖中的子意圖。長(zhǎng)短期記憶網(wǎng)絡(luò)(LSTM)是一種特殊的RNN類型，通過(guò)門控機(jī)制使循環(huán)神經(jīng)網(wǎng)絡(luò)不僅能記憶過(guò)去的信息，同時(shí)還能選擇性地忘記一些不重要的信息而對(duì)長(zhǎng)期語(yǔ)境等關(guān)系進(jìn)行建模，緩解了RNN的梯度消失問(wèn)題，而GRU作為L(zhǎng)STM的變體，在保持了LSTM的效果的同時(shí)又使結(jié)構(gòu)更加簡(jiǎn)單，所以在某些任務(wù)上更為流行。首先我們選用了基于GRU模型的領(lǐng)域分類系統(tǒng)，并在模型之上加入關(guān)鍵詞詞典，在處理人機(jī)對(duì)話中的短文本上有較好的效果。膠囊網(wǎng)絡(luò)[1]是Hitton針對(duì)卷積神經(jīng)網(wǎng)絡(luò)的缺陷而提出的，卷積神經(jīng)網(wǎng)絡(luò)的核心在卷積層，它能夠抽取出更高維的特征，但是在抽象過(guò)程中沒(méi)能夠?qū)⒌蛯犹卣髦g的位置關(guān)系考慮進(jìn)去。而膠囊網(wǎng)絡(luò)作為一個(gè)新的神經(jīng)網(wǎng)絡(luò)框架，它是由膠囊而不是由神經(jīng)元構(gòu)成的，其中一個(gè)膠囊就是一個(gè)向量神經(jīng)元，它的輸出是一個(gè)向量，所以我們利用膠囊網(wǎng)絡(luò)實(shí)現(xiàn)多標(biāo)簽分類。

1.3 屬性抽取與推理

屬性抽取也可以稱為序列標(biāo)注，可以以字為單位進(jìn)行序列標(biāo)注，也可以以詞為單位進(jìn)行序列標(biāo)注，經(jīng)過(guò)實(shí)驗(yàn)驗(yàn)證發(fā)現(xiàn)，利用字為單位進(jìn)行序列標(biāo)注可以取得比較好的效果。我們一個(gè)設(shè)計(jì)了13個(gè)待標(biāo)注標(biāo)簽，分別是：time、to_address、address、num_day、room_type、hotel_name、quantity、money、seat_type、train_type、berth_type、airline_company、flight_no。其中標(biāo)注采用的是BIEO。B表示一個(gè)待標(biāo)注標(biāo)簽的起始字；I表示一個(gè)待標(biāo)注標(biāo)簽的非起始非末尾字；E表示一個(gè)待標(biāo)注標(biāo)簽的末尾字；O表示非待標(biāo)注標(biāo)簽字，該模塊我們采用Bi-LSTM+CRF[2]進(jìn)行序列標(biāo)注，其中Bi-LSTM能夠充分的捕捉上下文特征信息，而CRF中有轉(zhuǎn)移特征，即它會(huì)考慮輸出label之間的順序性。

多意圖問(wèn)句中會(huì)涉及到屬性的推理與共享，其中時(shí)間屬性和地點(diǎn)屬性的推理最常見(jiàn)，依存句法分析能夠分析出各個(gè)語(yǔ)義角色之間的依存關(guān)系，從而可以利用這些依存關(guān)系進(jìn)行屬性間的推理，而意圖間的屬性是否可以共享則根據(jù)意圖之間的關(guān)系確定。比如：

預(yù)訂明天北京去上海的機(jī)票，經(jīng)濟(jì)艙，價(jià)格五百元左右，再預(yù)定第二天返程的火車票，動(dòng)車二等座。

其中這里面第二個(gè)意圖的時(shí)間屬性“第二天”需要根據(jù)第一個(gè)意圖的時(shí)間屬性“明天”進(jìn)行推理。此外第二個(gè)意圖的地點(diǎn)屬性也需要根據(jù)第一個(gè)意圖的地點(diǎn)屬性來(lái)進(jìn)行推理。

1.4 對(duì)話管理

在多輪交互時(shí)，我們?cè)O(shè)計(jì)了對(duì)話管理模塊，該模塊需要識(shí)別出本輪意圖已經(jīng)進(jìn)行到哪一步，因?yàn)橛脩粲袝r(shí)會(huì)跳出該意圖，該模塊可以將跳出的意圖恢復(fù)，從而實(shí)現(xiàn)多輪交互。并且可以實(shí)現(xiàn)多任務(wù)的銜接和信息的共享。

對(duì)話管理模塊的決策器中采用了深度強(qiáng)化學(xué)習(xí)Deep Reinforcement Learning中的Deep Q Learning算法來(lái)訓(xùn)練一個(gè)最佳上下文決策模型。其中決策過(guò)程為一個(gè)馬爾可夫決策過(guò)程(MDPs)，反復(fù)在會(huì)話中間節(jié)點(diǎn)狀態(tài)S、會(huì)話話術(shù)行為A、回報(bào)R、狀態(tài)S...之間輪換直到一次多輪對(duì)話結(jié)束，最終獲得最佳回報(bào)即能夠正確完成任務(wù)的Q network模型，該模型從而可以決策當(dāng)前的會(huì)話由哪個(gè)業(yè)務(wù)模塊去處理。

1.5 意圖理解及處理

當(dāng)對(duì)話管理模塊將當(dāng)前會(huì)話交給某個(gè)領(lǐng)域業(yè)務(wù)處理模塊進(jìn)行處理時(shí)，該模塊就需要對(duì)這句話中用戶的意圖進(jìn)行理解。雖然在這些特定的任務(wù)型領(lǐng)域，用戶的意圖相對(duì)比較確定，但人們的語(yǔ)言卻是無(wú)法限定的，所以即使同一個(gè)意圖的表達(dá)，不同的人、不同的場(chǎng)景、不同的時(shí)間，所用的文字話術(shù)多少會(huì)有些不同。

我們使用了文本匹配模型進(jìn)行用戶的意圖理解，為了達(dá)到良好的匹配效果，所以使用雙邊多角度文本匹配模型Bimpm[3]進(jìn)行用戶問(wèn)句與FAQ中話術(shù)的匹配（如圖-2）。

圖-2 Bimpm模型框架圖

1.6 業(yè)務(wù)領(lǐng)域及邏輯處理

對(duì)于每個(gè)領(lǐng)域，該領(lǐng)域的業(yè)務(wù)邏輯處理模塊需要確定該領(lǐng)域業(yè)務(wù)所需的信息點(diǎn)。每個(gè)領(lǐng)域的業(yè)務(wù)邏輯處理模塊會(huì)根據(jù)當(dāng)前會(huì)話的意圖理解結(jié)果，將抽取解析到的信息，填充或者更新到對(duì)應(yīng)的槽位。并根據(jù)當(dāng)前各槽位的缺失情況進(jìn)行交互引導(dǎo)，從而完善業(yè)務(wù)處理所需信息，進(jìn)而完成用戶的任務(wù)請(qǐng)求。

多輪人機(jī)對(duì)話的應(yīng)用

據(jù)王泳博士介紹，深思考研發(fā)團(tuán)隊(duì)基于上述技術(shù)推出了新一代ideepwise交互機(jī)器人，該交互機(jī)器人可以在特定領(lǐng)域場(chǎng)景下達(dá)到近似于人一樣流暢的交流，其中最為核心的是可以有效識(shí)別多意圖問(wèn)句中的多個(gè)子意圖并對(duì)子意圖的屬性值進(jìn)行準(zhǔn)確的推理，此外在對(duì)話管理模塊中通過(guò)深度強(qiáng)化學(xué)習(xí)Deep Reinforcement Learning進(jìn)行信息和狀態(tài)的處理，從而實(shí)現(xiàn)特定域任務(wù)型多輪語(yǔ)義交互。

關(guān)于深思考

深思考（iDeepWise.AI）是一家專注于類腦人工智能與深度學(xué)習(xí)核心科技的AI公司。核心團(tuán)隊(duì)由中科院自動(dòng)化所、軟件所、計(jì)算所、微電子所等中科院院所、清華大學(xué)人工智能方向的科學(xué)家與領(lǐng)域業(yè)務(wù)專家組成。據(jù)悉，深思考（iDeepWise.AI）憑借在中文語(yǔ)義理解、自然語(yǔ)言處理領(lǐng)域的十多年的深耕與技術(shù)積淀，在意圖理解與分類、機(jī)器閱讀理解、人機(jī)多輪上下文對(duì)話等NLP/NLU領(lǐng)域的技術(shù)上取得了一系列的突破，并在智慧醫(yī)療大健康與智慧商業(yè)領(lǐng)域，結(jié)合剛需場(chǎng)景深度落地并大規(guī)模應(yīng)用。

近日，深思考人工智能推出了“多模態(tài)深度語(yǔ)義理解”深思考大腦4.0（iDeepWise.AI.4.0）。深思考CEO兼AI算法科學(xué)家楊志明博士表示，深思考在多輪人機(jī)交互語(yǔ)義理解方面有突出優(yōu)勢(shì)，使得機(jī)器人能夠與人多輪人機(jī)交互，能夠理解上下文，其中最關(guān)鍵的是在人機(jī)交互的過(guò)程中實(shí)現(xiàn)會(huì)話意圖的自由切換與準(zhǔn)確識(shí)別，相較于一般技術(shù)僅理解文本、僅理解語(yǔ)音，深思考大腦4.0能夠同時(shí)理解文本、語(yǔ)音和視覺(jué)圖像背后的深度語(yǔ)義。