眾所周知，神經(jīng)網(wǎng)絡難以debug。谷歌大腦的Augustus Odena和Ian Goodfellow提出了一種新方法，能夠自動Debug神經(jīng)網(wǎng)絡。Goodfellow表示，希望這將成為涉及ML的復雜軟件回歸測試的基礎，例如，在推出新版本的網(wǎng)絡之前，使用fuzz來搜索新舊版本之間的差異。

眾所周知，由于各種原因，機器學習模型難以調試（debug）或解釋。這造成了最近機器學習的“可重復性危機”（reproducibility crisis）——對難以調試的技術做出可靠的實驗結論是很棘手的。

神經(jīng)網(wǎng)絡又特別難以debug，因為即使是相對直接的關于神經(jīng)網(wǎng)絡的形式問題，解決的計算成本也很高，而且神經(jīng)網(wǎng)絡的軟件實現(xiàn)可能與理論模型有很大的差異。

在這項工作中，我們利用傳統(tǒng)軟件工程中的一種技術——覆蓋引導模糊測試（coverage guided fuzzing，CGF），并將其應用于神經(jīng)網(wǎng)絡的測試。

具體來說，這項工作有以下貢獻：

我們對神經(jīng)網(wǎng)絡引入了CGF的概念，并描述了如何用快速近似最近鄰算法（ fast approximate nearest neighbors algorithms）以通用的方式檢查覆蓋率。

我們開源了一個名為TensorFuzz的CGF軟件庫。

我們使用TensorFuzz在已訓練的神經(jīng)網(wǎng)絡中查找數(shù)值問題，在神經(jīng)網(wǎng)絡及其量化版本之間查找分歧，以及在字符級語言模型中查找不良行為。

圖1：fuzzing主循環(huán)的簡略描述。左：模糊測試程序圖，表示數(shù)據(jù)的flow。右：用算法的形式描述了模糊測試過程的主循環(huán)。

覆蓋引導模糊測試（Coverage-guided fuzzing）

在實際的軟件測試中，覆蓋引導模糊測試（Coverage-guided fuzzing）被用來查找許多嚴重的bug。最常用的兩種coverage-guided模糊測試器是AFL和libFuzzer。這些模糊測試器已經(jīng)以各種方式被擴展，以使它們更快、或增加代碼中特定部分可以被定位的范圍。

在CGF的過程中，模糊測試過程維護一個輸入語料庫，其中包含正在考慮的程序的輸入。根據(jù)一些突變程序對這些輸入進行隨機變化，并且當它們行使新的“覆蓋”時，突變輸入（ mutated inputs）被保存在語料庫中。

“覆蓋率”（coverage）是什么呢？這取決于模糊器的類型和當前的目標。一種常見的衡量標準是已經(jīng)執(zhí)行的代碼部分的集合。在這種度量下，如果一個新的輸入導致代碼在if語句中以不同于先前的方式分支，那么覆蓋率就會增加。

CGF在識別傳統(tǒng)軟件中的缺陷方面非常成功，因此我們很自然地會問，CGF是否可以應用于神經(jīng)網(wǎng)絡？

傳統(tǒng)的覆蓋率度量標準要跟蹤哪些代碼行已經(jīng)執(zhí)行。在最基本的形式中，神經(jīng)網(wǎng)絡被實現(xiàn)為一系列的矩陣乘法，然后是元素運算。這些操作的底層軟件實現(xiàn)可能包含許多分支語句，但其中大多都是基于矩陣的大小，或基于神經(jīng)網(wǎng)絡的架構。因此，分支行為大多獨立于神經(jīng)網(wǎng)絡輸入的特定值。在幾個不同的輸入上運行的神經(jīng)網(wǎng)絡通常會執(zhí)行相同的代碼行，并使用相同的分支，但是由于輸入和輸出值的變化，會產(chǎn)生一些有趣的行為變化。因此，使用現(xiàn)有的CGF工具（如AFL）可能不會發(fā)現(xiàn)神經(jīng)網(wǎng)絡的這些行為。

在這項工作中，我們選擇使用快速近似最近鄰算法來確定兩組神經(jīng)網(wǎng)絡的“激活”是否有意義上的不同。這提供了一個覆蓋率的度量（coverage metric），即使神經(jīng)網(wǎng)絡的底層軟件實現(xiàn)沒有使用很多依賴于數(shù)據(jù)的分支，也能為神經(jīng)網(wǎng)絡生成有用的結果。

TensorFuzz庫

從前面描述的模糊測試器中獲得靈感，我們做了一個工具，稱之為TensorFuzz。它的工作方式與其他模糊測試器類似，但它更適合神經(jīng)網(wǎng)絡的測試。

TensorFuzz不是用C或C++編寫的，而是向任意的TensorFlow graph提供輸入。TensorFuzz也不是通過查看基本的blocks或控制流中的變化來測量覆蓋率，而是通過查看計算圖的“激活”。我們在論文中詳細討論了模糊測試器的總體架構，包括數(shù)據(jù)流和基本構建塊，以及語料庫如何抽樣，如何執(zhí)行突變，如何評估覆蓋率和目標函數(shù)等，具體請閱讀原論文。

實驗結果

我們簡要介紹了CGF技術的各種應用，證明它在一般設置中是有用的。

CGF可以有效地發(fā)現(xiàn)訓練好的神經(jīng)網(wǎng)絡中的數(shù)值誤差

由于神經(jīng)網(wǎng)絡使用浮點數(shù)學，因此無論是在訓練期間還是在評估期間，它們都容易受到數(shù)值問題的影響。眾所周知，這些問題很難debug，部分原因是它們可能只由一小部分很少遇到的輸入觸發(fā)。這是CGF可以提供幫助的一個例子。我們專注于查找導致非數(shù)（NaN）值的輸入。

CGF可以快速地找到數(shù)值誤差（numerical errors）：使用CGF，我們應該能夠簡單地將檢查數(shù)值運算添加到元數(shù)據(jù)并運行模糊測試器（fuzzer）。為了驗證這一假設，我們訓練了一個完全連接的神經(jīng)網(wǎng)絡來對MNIST數(shù)據(jù)集里的數(shù)字進行分類。我們故意用了一個很糟糕的交叉熵損失，這樣就有可能出現(xiàn)數(shù)值誤差。我們對模型進行了35000步的訓練， mini-batch size為100，驗證精度為98%。然后檢查MNIST數(shù)據(jù)集中是否有導致數(shù)值誤差的元素。

如圖2所示，TensorFuzz在多個隨機初始化過程中快速發(fā)現(xiàn)了NaN。

圖2：我們使用一些不安全的數(shù)值運算訓練了一個MNIST分類器。然后，對來自MNIST數(shù)據(jù)集的隨機種子運行10次fuzzer。fuzzer每次運行都發(fā)現(xiàn)了一個non-finite元素，而隨機搜索從未發(fā)現(xiàn)過non-finite元素。左：fuzzer運行時的累計語料庫大小，運行10次。右：fuzzer找到一個滿意的圖像。

其他發(fā)現(xiàn)：

基于梯度的搜索技術可能無助于查找數(shù)值誤差

隨機搜索對于查找數(shù)值誤差來說效率極低

CGF反映了模型與其量化版本之間的分歧

量化（Quantization）是一個存儲神經(jīng)網(wǎng)絡權重的過程，并使用由較少內存位組成的數(shù)值表示來執(zhí)行神經(jīng)網(wǎng)絡計算。量化是降低神經(jīng)網(wǎng)絡計算成本或減小網(wǎng)絡尺寸的流行方法，并廣泛用于在手機上運行神經(jīng)網(wǎng)絡推理，例如 Android Neural Networks API或TFLite，以及在自定義機器學習硬件中運行推理，例如谷歌的TPU或NVIDIA的TensorRT。

找到量化產(chǎn)生的誤差很重要：當然，如果量化顯著地降低了模型的準確性，那么量化就沒有多大用處。給定一個量化模型，檢查量化在多大程度上降低了精度是有用的。

通過檢查現(xiàn)有數(shù)據(jù)幾乎找不到錯誤：作為基線實驗，我們使用32位浮點數(shù)訓練了一個MNIST分類器（這次沒有故意引入數(shù)值問題）。 然后，將所有權重和激活截斷為16-bits，我們在MNIST測試集上比較了32-bit和16-bit模型的預測精度，沒有發(fā)現(xiàn)不一致。

但是，CGF可以快速地在數(shù)據(jù)周圍的小區(qū)域找到許多錯誤，如圖3所示。

圖3：我們訓練了一個32-bit浮點數(shù)的MNIST分類器，然后將相關的TensorFlow graph截為16-bit 浮點數(shù)。左：fuzzer運行時的累計語料庫大小，運行10次。右：fuzzer找到了16-bit 和32-bit 的神經(jīng)網(wǎng)絡分類不同的圖像

結果顯示，fuzzer在我們嘗試的70%的示例中產(chǎn)生了分歧。也就是說，CGF可以找到在測試時可能發(fā)生的真正錯誤。

在給定與CGF相同數(shù)量的突變的情況下，隨機搜索未能找到新的錯誤。

結論

我們提出了神經(jīng)網(wǎng)絡的覆蓋引導模糊測試的概念，并描述了如何在這種情況下構建一個有用的覆蓋率檢查器。我們已經(jīng)通過使用TensorFuzz查找數(shù)值誤差、發(fā)現(xiàn)神經(jīng)網(wǎng)絡和它們的量化版本之間的分歧、以及在RNN中找到不良行為等試驗，證明了TensorFuzz的實用性。最后，我們將同時發(fā)布TensorFuzz的實現(xiàn)，以便其他研究人員既可以在我們的工作基礎上進行研究，也可以使用fuzzer來查找實際的問題。