長(zhǎng)久以來(lái)，自然語(yǔ)言的文法學(xué)習(xí)（Grammar Learning）只考慮純文本輸入數(shù)據(jù)。我們?cè)噲D探究視覺信號(hào)（Visual Groundings），比如圖像，對(duì)自然語(yǔ)言文法學(xué)習(xí)是否有幫助。為此，我們提出了視覺信號(hào)輔助下的概率文法的通用學(xué)習(xí)框架。 該框架依賴于概率文法模型（Probabilistic Context-Free Grammars），具有端到端學(xué)習(xí)、完全可微的優(yōu)點(diǎn)。其次，針對(duì)視覺輔助學(xué)習(xí)中視覺信號(hào)不足的問題。我們提出在語(yǔ)言模型（Language Modeling）上對(duì)概率文法模型進(jìn)行額外優(yōu)化。我們通過實(shí)驗(yàn)驗(yàn)證視覺信號(hào)以及語(yǔ)言模型的優(yōu)化目標(biāo)有助于概率文法學(xué)習(xí)。 論文一作趙彥鵬：愛丁堡大學(xué)語(yǔ)言、認(rèn)知和計(jì)算研究所博士生，導(dǎo)師是Ivan Titov和Mirella Lapata教授。他的研究興趣是結(jié)構(gòu)預(yù)測(cè)和隱變量模型?，F(xiàn)在主要關(guān)注語(yǔ)言結(jié)構(gòu)和圖像結(jié)構(gòu)的學(xué)習(xí)，以及二者之間的聯(lián)系。 1

背景

本次分享內(nèi)容是，用視覺信號(hào)來(lái)輔助概率文法學(xué)習(xí)的一個(gè)通用學(xué)習(xí)框架。我們關(guān)注的問題是，視覺信號(hào)能否幫助我們來(lái)推理出自然語(yǔ)言的句法結(jié)構(gòu)？ 接下來(lái)我將從以下幾個(gè)部分展開。 首先介紹視覺信號(hào)輔助下的概率文法學(xué)習(xí)的一些背景知識(shí)和現(xiàn)有的一些工作。 然后介紹本文提出的Visually Grounded Compound PCFGs (VC-PCFGs)。 最后實(shí)驗(yàn)驗(yàn)證VC-PCFGs的有效性。 論文：《Visually Grounded Compound PCFGs》

首先了解問題定義：給定一張圖片以及它的自然語(yǔ)言描述，比如這里有一張鴿子的圖片，它的語(yǔ)言描述是a white pigeon sniffs flowers，我們的目標(biāo)是通過圖片和文字兩個(gè)輸入，得到對(duì)應(yīng)句子的句法結(jié)構(gòu)，也就是右邊的圖。句法結(jié)構(gòu)由不同的詞組嵌套而成，每個(gè)詞組可能有不同的類型，它可以是一個(gè)名詞詞組或者是一個(gè)動(dòng)詞的組。在學(xué)習(xí)過程中，這種詞組的類別信息依賴于文法模型的選擇，但是評(píng)測(cè)的時(shí)候一般會(huì)忽略。 為什么視覺信號(hào)可以幫助文法結(jié)構(gòu)的學(xué)習(xí)？這依賴于如下觀測(cè)：給定一個(gè)句子，如果相鄰的兩個(gè)詞組，比如white和pigeon，對(duì)應(yīng)／關(guān)聯(lián)于圖片中一個(gè)相同的區(qū)域，那么就有理由相信它們更有可能形成一個(gè)大的詞組，進(jìn)而把它們合并起來(lái)。接下來(lái)的問題是如何表示這種相關(guān)性信息？我們的想法是通過相似度來(lái)量化相關(guān)性。

如何去學(xué)習(xí)相似度？之前的模型應(yīng)用對(duì)比學(xué)習(xí)的方式（Contrastive Learning）。首先給定一張圖片以及句子，然后通過文法模型，得到句子的句法結(jié)構(gòu)的表示。剛才已經(jīng)提到句法結(jié)構(gòu)對(duì)應(yīng)的就是一些嵌套的詞組，我們可以把這些詞組提取出來(lái)，和相應(yīng)的圖片組成詞組圖片對(duì)，稱之為正樣本。 然后固定一個(gè)詞組，從數(shù)據(jù)集里面隨機(jī)采樣一些圖片。并將采樣得到的圖片和當(dāng)前固定的詞組同樣組成新的詞組圖片對(duì)，作為負(fù)樣本。對(duì)比學(xué)習(xí)的優(yōu)化目標(biāo)就是使正樣本的得分比負(fù)樣本的得分高。類似的，我們也可以固定圖片，從其他句子里面隨機(jī)的采樣一些詞組，和當(dāng)前圖片組合構(gòu)成負(fù)樣本。這樣就完整定義了一個(gè)詞組圖片對(duì)的損失函數(shù)。 因?yàn)橐粋€(gè)句子可以包含多個(gè)不同的詞組，那么在所有的詞組圖片對(duì)上加和，就可以得到一個(gè)句子圖片對(duì)的損失函數(shù)。需要注意的是這里提到的這些詞組是來(lái)自于一個(gè)句法結(jié)構(gòu)，這個(gè)句法結(jié)構(gòu)是從一個(gè)文法模型里面采樣得到的。 我們已經(jīng)能夠表示和學(xué)習(xí)這種相似度，接下來(lái)如何從相似度學(xué)習(xí)文法模型？

首先了解一下之前的工作，其選擇了一個(gè)貪心文法模型。所謂貪心就是每次它只會(huì)選擇最有可能合并到一起的兩個(gè)詞組，進(jìn)行合并。其次，貪心意味著它只能去采樣，不能夠在有限時(shí)間內(nèi)枚舉所有可能的句法結(jié)構(gòu)，所以它學(xué)習(xí)就依賴于強(qiáng)化學(xué)習(xí)的方法。直觀理解是，如果當(dāng)前合并起來(lái)的兩個(gè)詞組和給定的圖像相似度很高，那么有理由相信它們更有可能被合并。我們應(yīng)用之前定義的詞組圖片對(duì)之間的相似度，作為一個(gè)reward，強(qiáng)化合并操作。 雖然這樣一個(gè)模型比較直觀，但是還有下列這些缺陷，首先強(qiáng)化學(xué)習(xí)依賴于采樣，所以在優(yōu)化過程中，即評(píng)估梯度的時(shí)候會(huì)有很大的噪聲。

其次對(duì)于視覺信號(hào)輔助下的自然語(yǔ)言文法學(xué)習(xí)，有一個(gè)本質(zhì)的問題，即有些句法結(jié)構(gòu)的信息在相應(yīng)的圖片里面是找不到支撐信息的。比如這里稍微改變一下這個(gè)句子， a white pigeon is sitting in the grass peacefully。我們很難去找到sitting這樣一個(gè)動(dòng)詞以及peacefully這樣一個(gè)副詞在這個(gè)圖片里面所對(duì)應(yīng)的視覺信號(hào)是什么。觀察之前的文章作者匯報(bào)的一些結(jié)果，我們發(fā)現(xiàn)他們的模型在名詞詞組，即NPs，相對(duì)于在動(dòng)詞VPs上的結(jié)果要好很多。為了緩解這個(gè)問題，他們不得不借助于語(yǔ)言特定的先驗(yàn)信息。 2

我們的模型：VC-PCFGs

那么我們是如何解決這些問題的呢？首先，對(duì)于強(qiáng)化學(xué)習(xí)帶來(lái)的梯度評(píng)估中的噪聲問題。我們提出把貪心文法模型替換為概率文法模型，即PCFGs。替換之后我們可以將采樣操作去掉，同時(shí)優(yōu)化過程是完全可微的。我們稱之為，Visually Grounded Compound PCFGs。至于compound這個(gè)名詞的解釋稍后會(huì)提到。 其次是視覺信號(hào)不充分的問題。對(duì)于一個(gè)概率文法模型，只給定純文本，而沒有視覺信號(hào)的情況下，我們可以通過優(yōu)化語(yǔ)言模型的目標(biāo)函數(shù)來(lái)學(xué)習(xí)概率文法模型，所以我們提出在語(yǔ)言模型目標(biāo)函數(shù)上對(duì)概率文法模型進(jìn)行優(yōu)化。 也就是說我們的模型包含兩部分，首先是引入視覺信號(hào)的概率文法模型的學(xué)習(xí)，其次在語(yǔ)言模型目標(biāo)上來(lái)優(yōu)化概率文法模型。值得注意的是，這兩個(gè)過程都是完全可微的。接下來(lái)我們?cè)斒鲞@兩部分。

首先回顧視覺信號(hào)輔助的文法模型學(xué)習(xí)中的一個(gè)重要的損失函數(shù)，在之前的工作中，給定一個(gè)文法模型，即parser，采樣得到一個(gè)句法結(jié)構(gòu)，通過枚舉這個(gè)句法結(jié)構(gòu)所定義的所有詞組，之后在詞組圖片對(duì)上把它們的loss加和，得到一個(gè)句子圖片對(duì)上的loss。我們的目標(biāo)是把這樣一個(gè)采樣過程去掉，也就意味著必須想辦法計(jì)算句法結(jié)構(gòu)分布下的損失函數(shù)的期望值。

期望可以寫成加和的形式。給定一個(gè)句子的話，這個(gè)句法結(jié)構(gòu)空間是指數(shù)級(jí)別的，我們不可能枚舉所有句法結(jié)構(gòu)。但是我們可以把這個(gè)式子中的兩個(gè)加法操作交換順序。第一個(gè)加法操作是枚舉所有的句法結(jié)構(gòu)，第二個(gè)加法是要枚舉句法結(jié)構(gòu)中所有的詞組。交換順序之后做一些簡(jiǎn)單的推導(dǎo)，就可以得到最右邊的等式。這個(gè)等式意味著只需要枚舉給定句子的所有的詞組，這是很容易做到的，因?yàn)槠渌械脑~組數(shù)目也就N平方級(jí)別。 接下來(lái)問題轉(zhuǎn)換成如何來(lái)評(píng)估條件概率？即給定一個(gè)句子，其中一個(gè)詞組的條件概率是什么？這就是通常所說的后驗(yàn)評(píng)估的問題。其次，還需要得到這個(gè)詞組Span c的表示。我們需要用它和圖像做一個(gè)相似度的計(jì)算。最終的問題可以劃分成兩個(gè)部分：后驗(yàn)評(píng)估和Span的表示。

首先第一個(gè)部分，后驗(yàn)評(píng)估。我們選擇了一個(gè)概率文法模型，PCFG parser。因?yàn)橛眠@樣一個(gè)概率文法模型的話，可以通過動(dòng)態(tài)規(guī)劃的方法方便地計(jì)算后驗(yàn)概率。然后通過計(jì)算句法樹分布下的損失函數(shù)期望值，得到去除采樣過程的損失函數(shù)。同時(shí)它的優(yōu)化是完全可微的。其次，因?yàn)楦怕饰姆Ｐ偷膬?yōu)化本身可以不依賴于視覺信號(hào)，所以我們可以直接去優(yōu)化它的語(yǔ)言模型上的目標(biāo)函數(shù)，這個(gè)過程同樣是完全可微的，同時(shí)緩解了視覺信號(hào)不充分的問題。 對(duì)于概率文法模型，我們選擇了當(dāng)前最好的一個(gè)概論文法模型，即Compound PCFGs。需要指出的就是Compound PCFGs只是PCFGs的一個(gè)擴(kuò)展，所以之前提到的關(guān)于PCFGs的所有的優(yōu)點(diǎn)它都是具備的。這樣便得到我們的完整模型，即Visually Grounded Compound PCFGs。

接下來(lái)來(lái)看第二個(gè)模塊。第二個(gè)模塊是給定一個(gè)句子如何來(lái)表示它的詞組。我們這里選擇了雙向的LSTM模型。對(duì)于一個(gè)句子中所有不同長(zhǎng)度的詞組，我們?cè)谠~組級(jí)別上做編碼，得到詞組的向量化表示。這樣一個(gè)模型能夠保證當(dāng)前詞組的表示，不會(huì)用到詞組之外的信息。通過一些代碼實(shí)現(xiàn)上的技巧，我們可以在線性時(shí)間復(fù)雜度內(nèi)得到所有詞組的表示。 3

結(jié)論驗(yàn)證

最后是實(shí)驗(yàn)部分。

實(shí)驗(yàn)部分使用了MSCOCO數(shù)據(jù)集，每個(gè)圖片對(duì)應(yīng)有一個(gè)自然語(yǔ)言的描述。由于數(shù)據(jù)集中的自然語(yǔ)言描述沒有真實(shí)的句法結(jié)構(gòu)標(biāo)注，為了評(píng)測(cè)，我們使用了當(dāng)前最好的一個(gè)有監(jiān)督的文法模型，得到自然語(yǔ)言描述的句法結(jié)構(gòu)。對(duì)于圖像的編碼，我們沿用之前工作的方法，對(duì)每個(gè)模型用預(yù)練好的，ResNet-101，把每個(gè)圖片編碼成一個(gè)向量的表示。

評(píng)測(cè)中，我們?cè)诿恳环N設(shè)置下重復(fù)運(yùn)行模型4次并取平均，每次使用了不同的隨機(jī)數(shù)種子。評(píng)測(cè)指標(biāo)使用句子級(jí)別的F1評(píng)測(cè)。模型之間的對(duì)比，這里主要有三組模型： 1.第一組是很簡(jiǎn)單的對(duì)比模型，比如Left Branching, Right Branching, Random Trees。 2.第二組是之前模型，即VG-NSL，我們對(duì)比它在使用和不使用語(yǔ)言特定先驗(yàn)下的結(jié)果。 3.第三組是我們的模型，因?yàn)檫@里主要評(píng)測(cè)兩個(gè)模塊： a)僅應(yīng)用語(yǔ)言模型的目標(biāo)函數(shù)，對(duì)應(yīng)Compound PCFGs（C-PCFGs）。 b)只應(yīng)用視覺信號(hào)，也就第二個(gè)without language mode objective（w/o LM）。 最后是我們完整的模型VC-PCFG，既用語(yǔ)言模型的目標(biāo)函數(shù)，又用視覺信號(hào)信息。

接下來(lái)看一下整體結(jié)果。首先是Right-branching模型表現(xiàn)強(qiáng)勢(shì)，只有Compound PCFG以及VC-PCFG，遠(yuǎn)遠(yuǎn)的超過了它，其他模型都比這個(gè)簡(jiǎn)單的模型表現(xiàn)要差。

這里對(duì)比C-PCFG和VC-PCFG。模型如果額外使用視覺信號(hào)的話，可以帶來(lái)接近6%的提升。

這里對(duì)比只使用視覺信號(hào)的模型（w/o LM）與加入語(yǔ)言模型目標(biāo)函數(shù)的完整模型（VC-PCFG），我們可以看出語(yǔ)言模型目標(biāo)函數(shù)帶來(lái)將近9%的一個(gè)提升。

我們想知道這些模型提升主要來(lái)自于哪一種類型的詞組？我們這里選擇了測(cè)試集里面四個(gè)頻率比較高的詞組類型。首先第一個(gè)是名詞詞組，然后第二個(gè)是動(dòng)詞詞組，第三個(gè)是介詞詞組，第四個(gè)是連詞詞組。因?yàn)槟Ｐ驮诮樵~和連詞上的性能和在動(dòng)詞詞組上的性能比較類似，接下來(lái)我們只在名詞詞組和動(dòng)詞詞組上做比較。

首先先看一下之前的模型VG-NSL，這里重新驗(yàn)證了作者的實(shí)驗(yàn)結(jié)果。VG-NSL在NP上的性能超過VP上的性能大于35%。

這里顯示的是我們的完整模型，VC-PCFG對(duì)應(yīng)的是紅色柱狀圖。可以看出相對(duì)于其他模型，它的效果雖然不是最好的，但是它整體來(lái)說是較好的。然后在VP上，相對(duì)于之前的VG-NSL，我們的模型比它高出了55%。

接下來(lái)驗(yàn)證視覺信號(hào)的有效性。沒有用視覺信號(hào)的是黃色柱狀圖，使用了視覺信號(hào)的是紅色柱狀圖。在NP上，使用視覺信號(hào)可以帶來(lái)將近11%的一個(gè)提升，也就是說視覺信號(hào)對(duì)NP是有幫助的。

這里驗(yàn)證語(yǔ)言模型的目標(biāo)函數(shù)的有效性。同樣我們發(fā)現(xiàn)語(yǔ)言模型目標(biāo)函數(shù)也是在NP上帶來(lái)一個(gè)很大的提升，提升了大概19%。

最后我們從另外一個(gè)角度來(lái)分析模型。即這些模型在不同長(zhǎng)度的詞組上的效果如何。這張圖首先可以看有一個(gè)明顯的差別：上面兩個(gè)對(duì)應(yīng)的是C-PCFG以及VC-PCFG，這兩個(gè)模型明顯是要優(yōu)于之前的VG-NSL。 具體來(lái)說的話，當(dāng)詞組的長(zhǎng)度大于4的時(shí)候，這兩個(gè)模型始終是優(yōu)于之前的VG-NSL，即便之前的VG-NSL加了一個(gè)語(yǔ)言特定的先驗(yàn)知識(shí)。

這里對(duì)比視覺信號(hào)是否有幫助。藍(lán)色是是我們完整的模型，橙色的是沒有加入視覺信號(hào)的模型。我們發(fā)現(xiàn)當(dāng)詞組的長(zhǎng)度小于5的時(shí)候，藍(lán)色對(duì)應(yīng)的模型，即使用了視覺信號(hào)模型是要顯著優(yōu)于不用視覺信號(hào)的模型，所以我們結(jié)論是視覺信號(hào)對(duì)于短的一些詞組是有幫助的。然而我們發(fā)現(xiàn)這些短詞組占了整個(gè)數(shù)據(jù)集所有詞組大概75%，而在75%里面又有60%是名詞詞組，所以我們可以說視覺信號(hào)對(duì)于文法學(xué)習(xí)的幫助主要體現(xiàn)在名詞詞組上。 4

結(jié)論

我們提出了VC-PCFGs。它應(yīng)用Compound-PCFGs作為文法模型，是一個(gè)端到端可微，在視覺信號(hào)輔助下的文法學(xué)習(xí)通用框架。 VC-PCFGs允許我們額外優(yōu)化一個(gè)語(yǔ)言模型的目標(biāo)函數(shù)，進(jìn)而緩解視覺信號(hào)不充分的問題。 我們實(shí)驗(yàn)驗(yàn)證了視覺信號(hào)以及語(yǔ)言模型的優(yōu)化目標(biāo)函數(shù)對(duì)于文法學(xué)習(xí)都有幫助。

原文標(biāo)題：EMNLP 2020最佳論文榮譽(yù)提名：視覺信號(hào)輔助的自然語(yǔ)言文法學(xué)習(xí)

文章出處：【微信公眾號(hào)：通信信號(hào)處理研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq