“幻覺”問題即模型生成的內(nèi)容可能包含虛構(gòu)的信息。它不僅在大語言模型(LLMs)中存在，也存在于圖像、視頻和音頻等其他一系列基礎(chǔ)模型中。

針對這一問題，一篇最近的綜述論文對目前所有基礎(chǔ)模型的“幻覺”問題進行了第一次全面的調(diào)查，詳細分類了各類基礎(chǔ)模型中的幻覺現(xiàn)象，審視了現(xiàn)有的減輕幻覺問題的策略，并提出了一套用于評估幻覺程度的標準。

Paper:A Survey of Hallucination in “Large” Foundation Models
Link:https://arxiv.org/pdf/2309.05922.pdf

注：本篇解讀僅對部分文獻進行總結(jié)，更多細節(jié)請進一步閱讀原論文綜述。

前言

基礎(chǔ)模型Foundation Models(FMs)是通過自監(jiān)督學習方法，在大量未標簽數(shù)據(jù)上訓練得來的AI模型。這些模型不僅可以在圖像分類、自然語言處理和問答等多個領(lǐng)域中提供高精度的表現(xiàn)，還可以處理涉及創(chuàng)作和人際互動的任務(wù)，比如制作營銷內(nèi)容或根據(jù)簡短提示創(chuàng)作復雜藝術(shù)品。

雖然基礎(chǔ)模型非常強大，但在將其適配到企業(yè)應(yīng)用時也會遇到一系列的挑戰(zhàn)，其中一個重要的問題就是“幻覺”現(xiàn)象。“幻覺”現(xiàn)象是指模型生成包含虛假信息或完全捏造的細節(jié)。這主要是因為模型根據(jù)訓練數(shù)據(jù)中學到的模式來創(chuàng)造看似合理的內(nèi)容，即便這樣的內(nèi)容與真實情況相去甚遠。

這種“幻覺”現(xiàn)象可能是無意中產(chǎn)生的，它可以由多種因素導致，包括訓練數(shù)據(jù)集中存在的偏見、模型不能獲取最新的信息，或是其在理解和生成準確回應(yīng)時的固有限制。為了確保我們可以安全、有效地利用基礎(chǔ)模型，特別是在新聞、醫(yī)療和法律等需要事實準確的領(lǐng)域，我們必須認真對待和解決“幻覺”問題。目前，研究人員正在努力探索各種方式來減少“幻覺”現(xiàn)象，從而提高模型的可靠性和信任度。

下圖展示了本篇綜述的一個基本框架，主要從文本、圖片、音頻和語音等領(lǐng)域來總結(jié)目前的研究。其中，文本又可以進一步細分為LLMs，多語言LLMs和特定領(lǐng)域的LLMs(如新聞、醫(yī)療等領(lǐng)域)。

LLM的幻覺問題

幻覺檢測和修正方法

SELFCHECKGPT [1] 是一個用于監(jiān)控和糾正LLMs中的“幻覺”現(xiàn)象的工具，它能夠識別模型生成的不準確或未驗證的信息，無需額外資源或標記數(shù)據(jù)。這種方法能夠在沒有外部指南或數(shù)據(jù)集的情況下提高LLMs的可靠性和可信度。

PURR [2] 則專注于編輯和糾正語言模型中的誤導信息，它通過利用去噪語言模型的損壞來識別和修正幻覺，目的是提升模型輸出的質(zhì)量和準確性。

幻覺檢測數(shù)據(jù)集

幻覺問題通常和知識缺口有關(guān)。但研究 [3] 提出，有時模型會嘗試合理化之前生成的錯誤信息，從而產(chǎn)生更多的誤導內(nèi)容。為了深入研究這一現(xiàn)象，這項研究創(chuàng)建了三個問答數(shù)據(jù)集來收集模型產(chǎn)生錯誤答案和附帶虛假斷言的實例。

HaluEval [4] 提供了一個綜合基準來評估LLMs中的幻覺問題，幫助研究人員和開發(fā)人員更好地理解和提高模型的可靠性。

利用外部知識來緩解幻覺問題

為了減輕LLM的幻覺問題，研究人員正在探索如何利用外部知識來提高模型的輸出質(zhì)量和準確性。其中，[5] 提出了一種交互式問題-知識對齊方法,側(cè)重于將生成的文本與相關(guān)的事實知識對齊，使用戶能夠交互式地指導模型的回答，以產(chǎn)生更準確和可靠的信息。類似地，[6] 提出了LLMAUGMENTER方法，結(jié)合外部知識來源和自動化反饋機制來提高LLM輸出的準確性和可靠性。而 [7] 提出了“知識鏈”框架來鏈接LLMs和結(jié)構(gòu)化知識庫。

此外，相比于其更大的對應(yīng)體，小型開源LLMs通常會遇到更嚴重的幻覺問題。為了解決這個問題，[8] 提出了一系列方法來評估和減輕BLOOM 7B這類弱小型開源LLMs的幻覺問題。

采用prompting來緩解幻覺問題

也有研究致力于通過prompting來減少LLMs生成的不準確或幻覺信息。[9] 在2023年提出了一種由迭代提示指導的方法來去除LLMs的幻覺，提高輸出的準確性和可靠性。

多語言LLM的幻覺問題

大型多語言機器翻譯系統(tǒng)在直接翻譯多種語言方面展示了令人印象深刻的能力。但是，這些模型可能會產(chǎn)生“幻覺翻譯”，在部署時會引發(fā)信任和安全問題。目前關(guān)于幻覺的研究主要集中在小型雙語模型和高資源語言上，這留下了一個空白：在多種翻譯場景中大規(guī)模多語言模型的幻覺理解。

為了解決這個問題，[10] 對傳統(tǒng)的神經(jīng)機器翻譯模型的M2M家族和ChatGPT進行了全面的分析，后者可以用于提示翻譯。這項調(diào)查涵蓋了廣泛的語言背景，包括100多個翻譯方向。

特定領(lǐng)域LLM的幻覺問題

在諸如醫(yī)學、銀行、金融、法律等關(guān)鍵領(lǐng)域中，可靠性和準確性是至關(guān)重要的，任何形式的幻覺都可能對結(jié)果和操作產(chǎn)生重大和有害的影響。

醫(yī)學：LLMs中的幻覺問題，特別是在醫(yī)學領(lǐng)域，生成看似合理但不準確的信息可能是有害的。為了解決這個問題，[11] 引入了一個名為Med-HALT（醫(yī)學領(lǐng)域幻覺測試）的新基準和數(shù)據(jù)集。它專門設(shè)計用于評估和減輕LLMs中的幻覺。它包括來自不同國家的醫(yī)學檢查的多元化的多國數(shù)據(jù)集，并包括創(chuàng)新的測試方法。Med-HALT包括兩類測試：基于推理和基于記憶的幻覺測試，旨在評估LLMs在醫(yī)學背景下的問題解決和信息檢索能力。

法律：ChatLaw [12]是一個專門用于法律領(lǐng)域的開源LLM。為了確保高質(zhì)量的數(shù)據(jù)，作者們創(chuàng)建了一個精心設(shè)計的法律領(lǐng)域微調(diào)數(shù)據(jù)集。為了解決法律數(shù)據(jù)篩選過程中模型幻覺的問題，他們提出了一種將矢量數(shù)據(jù)庫檢索與關(guān)鍵字檢索相結(jié)合的方法。這種方法有效地減少了在法律背景下僅依賴矢量數(shù)據(jù)庫檢索來檢索參考數(shù)據(jù)時可能出現(xiàn)的不準確性。

大圖像模型中的幻覺問題

對比學習模型利用Siamese結(jié)構(gòu)在自監(jiān)督學習中展示了令人印象深刻的表現(xiàn)。它們的成功依賴于兩個關(guān)鍵條件：存在足夠數(shù)量的正樣本對，并在它們之間存在充足的變化。如果不滿足這些條件，這些框架可能缺乏有意義的語義區(qū)別并容易過擬合。為了解決這些挑戰(zhàn)，[13] 引入了Hallucinator，它可以高效地生成額外的正樣本來增強對比。Hallucinator是可微分的，在特征空間中運作，使其適合直接在預(yù)訓練任務(wù)中進行優(yōu)化，同時帶來最小的計算開銷。

受LLMs的啟發(fā)，為復雜的多模態(tài)任務(wù)加強LVLMs面臨一個重大的挑戰(zhàn)：對象幻覺，其中LVLMs在描述中生成不一致的對象。[14] 系統(tǒng)地研究了指令調(diào)整的大視覺語言模型(LVLMs)中的對象幻覺問題，并發(fā)現(xiàn)這是一個常見問題。視覺指令，特別是經(jīng)常出現(xiàn)或共同出現(xiàn)的對象，影響了這個問題?，F(xiàn)有的評估方法也受到輸入指令和LVLM生成樣式的影響。為了解決這個問題，該研究引入了一種改進的評估方法，稱為POPE，為LVLMs中的對象幻覺提供了更穩(wěn)定和靈活的評估。

LVLMs在處理各種多模態(tài)任務(wù)方面取得了重大進展，包括視覺問題回答（VQA）。然而，為這些模型生成詳細和視覺上準確的回答仍然是一個挑戰(zhàn)。即使是最先進的LVLMs，如InstructBLIP，也存在高幻覺文本率，包括30%的不存在的對象、不準確的描述和錯誤的關(guān)系。為了解決這個問題，[15] 引入了MHalDetect1，這是一個多模態(tài)幻覺檢測數(shù)據(jù)集，專為訓練和評估旨在檢測和預(yù)防幻覺的模型而設(shè)計。MHalDetect包含16000個關(guān)于VQA示例的精細詳細注釋，使其成為檢測詳細圖像描述中幻覺的首個全面數(shù)據(jù)集。

大視頻模型中的幻覺問題

幻覺可能發(fā)生在模型對視頻幀做出錯誤或富有想象的假設(shè)時，導致產(chǎn)生人工或錯誤的視覺信息，如下圖所示。

一個解決方法是通過一種能夠生動地將人插入場景的方法來理解場景可供性的挑戰(zhàn)。[16] 使用標有區(qū)域的場景圖像和一個人的圖像，該模型無縫地將人集成到場景中，同時考慮場景的特點。該模型能夠根據(jù)場景環(huán)境推斷出現(xiàn)實的姿勢，相應(yīng)地調(diào)整人的姿勢，并確保視覺上令人愉悅的構(gòu)圖。自我監(jiān)督訓練使模型能夠在尊重場景環(huán)境的同時生成各種可能的姿勢。此外，該模型還可以自行生成逼真的人和場景，允許進行交互式編輯。

VideoChat [17] 是一個全面的系統(tǒng)，采用面向聊天的方法來理解視頻。VideoChat將基礎(chǔ)視頻模型與LLMs結(jié)合，使用一個可適應(yīng)的神經(jīng)界面，展示出在理解空間、時間、事件定位和推斷因果關(guān)系方面的卓越能力。為了有效地微調(diào)這個系統(tǒng)，他們引入了一個專門為基于視頻的指導設(shè)計的數(shù)據(jù)集，包括成千上萬的與詳細描述和對話配對的視頻。這個數(shù)據(jù)集強調(diào)了時空推理和因果關(guān)系等技能，使其成為訓練面向聊天的視頻理解系統(tǒng)的有價值的資源。

最近在視頻修復方面取得了顯著的進步，特別是在光流這樣的顯式指導可以幫助將缺失的像素傳播到各個幀的情況下。然而，當跨幀信息缺失時，就會出現(xiàn)挑戰(zhàn)。因此，模型集中解決逆向問題，而不是從其他幀借用像素。[18] 引入了一個雙模態(tài)兼容的修復框架，稱為Deficiency-aware Masked Transformer（DMT）。預(yù)訓練一個圖像修復模型來作為訓練視頻模型的先驗有一個優(yōu)點，可以改善處理信息不足的情況。

視頻字幕的目標是使用自然語言來描述視頻事件，但它經(jīng)常引入事實錯誤，降低了文本質(zhì)量。盡管在文本到文本的任務(wù)中已經(jīng)廣泛研究了事實一致性，但在基于視覺的文本生成中卻受到了較少的關(guān)注。[19] 對視頻字幕中的事實進行了詳細的人類評估，揭示了57.0%的模型生成的句子包含事實錯誤。現(xiàn)有的評估指標主要基于n-gram匹配，與人類評估不太一致。為了解決這個問題，他們引入了一個基于模型的事實度量稱為FactVC，它在評估視頻字幕中的事實度方面優(yōu)于之前的指標。

大型音頻模型中的幻覺

自動音樂字幕，即為音樂曲目生成文本描述，有可能增強對龐大音樂數(shù)據(jù)的組織?，F(xiàn)有音樂語言數(shù)據(jù)集的大小有限，收集過程昂貴。為了解決這種稀缺，[20] 使用了LLMs從廣泛的標簽數(shù)據(jù)集生成描述。他們創(chuàng)建了一個名為LP-MusicCaps的數(shù)據(jù)集，包含約220萬個與50萬個音頻剪輯配對的字幕。他們還使用各種量化自然語言處理指標和人類評估對這個大規(guī)模音樂字幕數(shù)據(jù)集進行了全面評估。他們在這個數(shù)據(jù)集上訓練了一個基于變換器的音樂字幕模型，并在零射擊和遷移學習場景中評估了其性能。

理想情況下，視頻應(yīng)該增強音頻，[21]使用了一個先進的語言模型進行數(shù)據(jù)擴充，而不需要人工標注。此外，他們利用音頻編碼模型有效地適應(yīng)了一個預(yù)訓練的文本到圖像生成模型，用于文本到音頻生成。

幻覺并非總是有害

從一個不同的角度來看，[22]討論了幻覺模型如何可以提供創(chuàng)意，提供可能不完全基于事實但仍然提供有價值線索來探索的輸出。創(chuàng)意地利用幻覺可以帶來不容易被大多數(shù)人想到的結(jié)果或新奇的創(chuàng)意組合?！盎糜X”變得有害是當生成的陳述事實上不準確或違反普遍的人類、社會或特定文化規(guī)范時。這在一個人依賴LLM來提供專家知識的情況下尤其關(guān)鍵。然而，在需要創(chuàng)意或藝術(shù)的背景下，產(chǎn)生不可預(yù)見結(jié)果的能力可能相當有利。對查詢的意外響應(yīng)可以驚喜人類并激發(fā)發(fā)現(xiàn)新奇想法聯(lián)系的可能性。

結(jié)論與未來方向

這篇綜述對現(xiàn)有關(guān)于基礎(chǔ)模型內(nèi)部的幻覺問題進行了簡單的分類和分析，研究涵蓋了幻覺檢測，緩解，數(shù)據(jù)集，以及評估標準。以下是一些可能的未來研究方向。

對幻覺的自動評估

幻覺指的是AI模型生成的不正確或捏造的信息。在像文本生成這樣的應(yīng)用中，這可能是一個重大的問題，因為目標是提供準確和可靠的信息。以下是對錯覺自動評估的潛在未來方向：

評估指標的開發(fā)：研究者可以努力創(chuàng)建能夠檢測生成內(nèi)容中的幻覺的專門的評估指標。這些指標可能會考慮事實的準確性、連貫性和一致性?？梢杂柧毟呒?a href="http://www.delux-kingway.cn/v/tag/557/" target="_blank">機器學習模型根據(jù)這些指標評估生成的文本。

人工智能合作：將人類判斷與自動評估系統(tǒng)結(jié)合是一個有前景的方向。眾包平臺可以用來收集人類對AI生成內(nèi)容的評估，然后用于訓練自動評估的模型。這種混合方法可以幫助捕捉對自動系統(tǒng)來說具有挑戰(zhàn)性的細微差別。

對抗性測試：研究者可以開發(fā)對抗性測試方法，其中AI系統(tǒng)被暴露于專門設(shè)計的輸入，以觸發(fā)幻覺。這有助于識別AI模型的弱點并提高其抵抗錯覺的魯棒性。

微調(diào)策略：特別為減少幻覺而微調(diào)預(yù)訓練的語言模型是另一個潛在的方向。模型可以在強調(diào)事實檢查和準確性的數(shù)據(jù)集上進行微調(diào)，以鼓勵生成更可靠的內(nèi)容。

改進檢測和緩解幻覺的策略

檢測和緩解AI生成文本中的偏見、錯誤信息和低質(zhì)量內(nèi)容對于負責任的AI開發(fā)至關(guān)重要。策劃的知識來源在實現(xiàn)這一目標中可以起到重要作用。以下是一些未來的方向：

知識圖譜集成：將知識圖譜和策劃的知識庫集成到AI模型中可以增強它們對事實信息和概念之間關(guān)系的理解。這既可以幫助生成內(nèi)容，也可以幫助事實檢查。

事實檢查和驗證模型：開發(fā)專門的模型，專注于事實檢查和內(nèi)容驗證。這些模型可以使用策劃的知識來源來交叉引用生成的內(nèi)容，識別不準確或不一致之處。

偏見檢測和緩解：策劃的知識來源可以用來訓練AI模型識別和減少生成內(nèi)容中的偏見。AI系統(tǒng)可以被編程來檢查內(nèi)容是否存在潛在的偏見，并提議更加平衡的替代方案。

主動學習：通過主動學習不斷更新和完善策劃的知識來源。AI系統(tǒng)可以被設(shè)計為尋求人類對模糊或新信息的輸入和驗證，從而提高策劃知識的質(zhì)量。

道德指導和監(jiān)管：未來的方向還可能包括為AI開發(fā)中使用外部知識來源制定道德指南和監(jiān)管框架。這可以確保負責任和透明地使用策劃知識來緩解潛在風險。