【導(dǎo)語(yǔ)】騰訊 AI Lab 機(jī)器學(xué)習(xí)中心今日宣布成功研發(fā)出世界上首款自動(dòng)化深度學(xué)習(xí)模型壓縮框架——PocketFlow，并即將在今年10-11月發(fā)布開(kāi)源代碼。這是一款面向移動(dòng)端 AI 開(kāi)發(fā)者的自動(dòng)模型壓縮框架，與其他現(xiàn)有的模型壓縮框架相比，PocketFlow 優(yōu)勢(shì)在于通過(guò)集成多種深度學(xué)習(xí)模型壓縮算法，并引入超參數(shù)優(yōu)化組件，提升了模型壓縮技術(shù)的自動(dòng)化程度。開(kāi)發(fā)者無(wú)需了解具體算法細(xì)節(jié)，即可快速地將AI技術(shù)部署到移動(dòng)端產(chǎn)品上，實(shí)現(xiàn)用戶數(shù)據(jù)的本地高效處理。接下來(lái) AI科技大本營(yíng)就為大家解讀一下其背后的理論與技術(shù)。

PocketFlow 算法概述

在模型壓縮算法方面，團(tuán)隊(duì)提出了一種基于判別力最大化準(zhǔn)則的通道剪枝算法，在性能基本無(wú)損的前提下可以大幅度降低CNN網(wǎng)絡(luò)模型的計(jì)算復(fù)雜度，相關(guān)論文發(fā)表于 NIPS 2018。該算法在訓(xùn)練過(guò)程中引入多個(gè)額外的損失項(xiàng)，以提升CNN網(wǎng)絡(luò)中各層的判別力，然后逐層地基于分類(lèi)誤差與重構(gòu)誤差最小化的優(yōu)化目標(biāo)進(jìn)行通道剪枝，去除判別力相對(duì)較小的冗余通道，從而實(shí)現(xiàn)模型的無(wú)損壓縮。

在超參數(shù)優(yōu)化算法方面，團(tuán)隊(duì)研發(fā)了 AutoML 自動(dòng)超參數(shù)優(yōu)化框架，集成了包括高斯過(guò)程（Gaussian Processes, GP）和樹(shù)形結(jié)構(gòu) Parzen 估計(jì)器（Tree-structured Parzen Estimator, TPE）等在內(nèi)的多種超參數(shù)優(yōu)化算法，通過(guò)全程自動(dòng)化托管解決了人工調(diào)參耗時(shí)耗力的問(wèn)題，大幅度提升了算法人員的開(kāi)發(fā)效率。

另一方面，考慮到深度學(xué)習(xí)模型的訓(xùn)練周期普遍較長(zhǎng)，團(tuán)隊(duì)對(duì)基于 TensorFlow 的多機(jī)多卡訓(xùn)練過(guò)程進(jìn)行優(yōu)化，降低分布式優(yōu)化過(guò)程中的梯度通信耗時(shí)，研發(fā)了名為 TF-Plus 的分布式優(yōu)化框架，僅需十幾行的代碼修改即可將針對(duì)單個(gè)GPU的訓(xùn)練代碼擴(kuò)展為多機(jī)多卡版本，并取得接近線性的加速比。此外，團(tuán)隊(duì)還提出了一種誤差補(bǔ)償?shù)牧炕S機(jī)梯度下降算法，通過(guò)引入量化誤差的補(bǔ)償機(jī)制加快模型訓(xùn)練的收斂速度，能夠在沒(méi)有性能損失的前提下實(shí)現(xiàn)一到兩個(gè)數(shù)量級(jí)的梯度壓縮，降低分布式優(yōu)化中的梯度通信量，從而加快訓(xùn)練速度，相關(guān)論文發(fā)表于 ICML 2018 。

PocketFlow 框架介紹

PocketFlow 框架主要由兩部分組件構(gòu)成，分別是模型壓縮/加速算法組件和超參數(shù)優(yōu)化組件，具體結(jié)構(gòu)如下圖所示。

開(kāi)發(fā)者將未壓縮的原始模型作為 PocketFlow 框架的輸入，同時(shí)指定期望的性能指標(biāo)，例如模型的壓縮和/或加速倍數(shù)；在每一輪迭代過(guò)程中，超參數(shù)優(yōu)化組件選取一組超參數(shù)取值組合，之后模型壓縮/加速算法組件基于該超參數(shù)取值組合，對(duì)原始模型進(jìn)行壓縮，得到一個(gè)壓縮后的候選模型；基于對(duì)候選模型進(jìn)行性能評(píng)估的結(jié)果，超參數(shù)優(yōu)化組件調(diào)整自身的模型參數(shù)，并選取一組新的超參數(shù)取值組合，以開(kāi)始下一輪迭代過(guò)程；當(dāng)?shù)K止時(shí)，PocketFlow 選取最優(yōu)的超參數(shù)取值組合以及對(duì)應(yīng)的候選模型，作為最終輸出，返回給開(kāi)發(fā)者用作移動(dòng)端的模型部署。

具體地，PocketFlow 通過(guò)下列各個(gè)算法組件的有效結(jié)合，實(shí)現(xiàn)了精度損失更小、自動(dòng)化程度更高的深度學(xué)習(xí)模型的壓縮與加速：

▌通道剪枝（channel pruning）組件：在 CNN 網(wǎng)絡(luò)中，通過(guò)對(duì)特征圖中的通道維度進(jìn)行剪枝，可以同時(shí)降低模型大小和計(jì)算復(fù)雜度，并且壓縮后的模型可以直接基于現(xiàn)有的深度學(xué)習(xí)框架進(jìn)行部署。在 CIFAR-10 圖像分類(lèi)任務(wù)中，通過(guò)對(duì) ResNet-56 模型進(jìn)行通道剪枝，可以實(shí)現(xiàn) 2.5 倍加速下分類(lèi)精度損失 0.4%，3.3 倍加速下精度損失 0.7%。

▌權(quán)重稀疏化（weight sparsification）組件：通過(guò)對(duì)網(wǎng)絡(luò)權(quán)重引入稀疏性約束，可以大幅度降低網(wǎng)絡(luò)權(quán)重中的非零元素個(gè)數(shù)；壓縮后模型的網(wǎng)絡(luò)權(quán)重可以以稀疏矩陣的形式進(jìn)行存儲(chǔ)和傳輸，從而實(shí)現(xiàn)模型壓縮。對(duì)于 MobileNet 圖像分類(lèi)模型，在刪去 50% 網(wǎng)絡(luò)權(quán)重后，在ImageNet 數(shù)據(jù)集上的 Top-1 分類(lèi)精度損失僅為 0.6%。

▌權(quán)重量化（weight quantization）組件：通過(guò)對(duì)網(wǎng)絡(luò)權(quán)重引入量化約束，可以降低用于表示每個(gè)網(wǎng)絡(luò)權(quán)重所需的比特?cái)?shù)；團(tuán)隊(duì)同時(shí)提供了對(duì)于均勻和非均勻兩大類(lèi)量化算法的支持，可以充分利用 ARM 和 FPGA 等設(shè)備的硬件優(yōu)化，以提升移動(dòng)端的計(jì)算效率，并為未來(lái)的神經(jīng)網(wǎng)絡(luò)芯片設(shè)計(jì)提供軟件支持。以用于 ImageNet 圖像分類(lèi)任務(wù)的 ResNet-18 模型為例，在 8 比特定點(diǎn)量化下可以實(shí)現(xiàn)精度無(wú)損的 4 倍壓縮。

▌網(wǎng)絡(luò)蒸餾（network distillation）組件：對(duì)于上述各種模型壓縮組件，通過(guò)將未壓縮的原始模型的輸出作為額外的監(jiān)督信息，指導(dǎo)壓縮后模型的訓(xùn)練，在壓縮/加速倍數(shù)不變的前提下均可以獲得 0.5%-2.0% 不等的精度提升。

▌多GPU訓(xùn)練（multi-GPU training）組件：深度學(xué)習(xí)模型訓(xùn)練過(guò)程對(duì)計(jì)算資源要求較高，單個(gè)GPU難以在短時(shí)間內(nèi)完成模型訓(xùn)練，因此團(tuán)隊(duì)提供了對(duì)于多機(jī)多卡分布式訓(xùn)練的全面支持，以加快使用者的開(kāi)發(fā)流程。無(wú)論是基于 ImageNet 數(shù)據(jù)的 Resnet-50 圖像分類(lèi)模型還是基于WMT14數(shù)據(jù)的 Transformer 機(jī)器翻譯模型，均可以在一個(gè)小時(shí)內(nèi)訓(xùn)練完畢。

▌超參數(shù)優(yōu)化（hyper-parameter optimization）組件：多數(shù)開(kāi)發(fā)者對(duì)模型壓縮算法往往不甚了解，但超參數(shù)取值對(duì)最終結(jié)果往往有著巨大的影響，因此團(tuán)隊(duì)引入了超參數(shù)優(yōu)化組件，采用了包括強(qiáng)化學(xué)習(xí)等算法以及 AI Lab 自研的 AutoML 自動(dòng)超參數(shù)優(yōu)化框架來(lái)根據(jù)具體性能需求，確定最優(yōu)超參數(shù)取值組合。例如，對(duì)于通道剪枝算法，超參數(shù)優(yōu)化組件可以自動(dòng)地根據(jù)原始模型中各層的冗余程度，對(duì)各層采用不同的剪枝比例，在保證滿足模型整體壓縮倍數(shù)的前提下，實(shí)現(xiàn)壓縮后模型識(shí)別精度的最大化。

PocketFlow 性能

通過(guò)引入超參數(shù)優(yōu)化組件，不僅避免了高門(mén)檻、繁瑣的人工調(diào)參工作，同時(shí)也使得 PocketFlow在各個(gè)壓縮算法上全面超過(guò)了人工調(diào)參的效果。以圖像分類(lèi)任務(wù)為例，在 CIFAR-10 和ImageNet等 數(shù)據(jù)集上，PocketFlow 對(duì) ResNet 和M obileNet 等多種 CNN網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行有效的模型壓縮與加速。

在 CIFAR-10 數(shù)據(jù)集上，PocketFlow 以 ResNet-56 作為基準(zhǔn)模型進(jìn)行通道剪枝，并加入了超參數(shù)優(yōu)化和網(wǎng)絡(luò)蒸餾等訓(xùn)練策略，實(shí)現(xiàn)了 2.5 倍加速下分類(lèi)精度損失 0.4%，3.3 倍加速下精度損失 0.7%，且顯著優(yōu)于未壓縮的 ResNet-44 模型； 在 ImageNet 數(shù)據(jù)集上，PocketFlow 可以對(duì)原本已經(jīng)十分精簡(jiǎn)的 MobileNet 模型繼續(xù)進(jìn)行權(quán)重稀疏化，以更小的模型尺寸取得相似的分類(lèi)精度；與 Inception-V1、ResNet-18 等模型相比，模型大小僅為后者的約 20~40%，但分類(lèi)精度基本一致（甚至更高）。

相比于費(fèi)時(shí)費(fèi)力的人工調(diào)參，PocketFlow 框架中的 AutoML 自動(dòng)超參數(shù)優(yōu)化組件僅需 10 余次迭代就能達(dá)到與人工調(diào)參類(lèi)似的性能，在經(jīng)過(guò) 100 次迭代后搜索得到的超參數(shù)組合可以降低約0.6% 的精度損失；通過(guò)使用超參數(shù)優(yōu)化組件自動(dòng)地確定網(wǎng)絡(luò)中各層權(quán)重的量化比特?cái)?shù)，PocketFlow 在對(duì)用于 ImageNet 圖像分類(lèi)任務(wù)的 ResNet-18 模型進(jìn)行壓縮時(shí)，取得了一致性的性能提升；當(dāng)平均量化比特?cái)?shù)為4 比特時(shí)，超參數(shù)優(yōu)化組件的引入可以將分類(lèi)精度從 63.6%提升至 68.1%（原始模型的分類(lèi)精度為 70.3%）。

部署與應(yīng)用

PocketFlow 助力移動(dòng)端業(yè)務(wù)落地。在騰訊公司內(nèi)部，PocketFlow 框架正在為多項(xiàng)移動(dòng)端實(shí)際業(yè)務(wù)提供了模型壓縮與加速的技術(shù)支持。例如，在手機(jī)拍照 APP 中，人臉關(guān)鍵點(diǎn)定位模型是一個(gè)常用的預(yù)處理模塊，通過(guò)對(duì)臉部的百余個(gè)特征點(diǎn)（如眼角、鼻尖等）進(jìn)行識(shí)別與定位，可以為后續(xù)的人臉識(shí)別、智能美顏等多個(gè)應(yīng)用提供必要的特征數(shù)據(jù)。團(tuán)隊(duì)基于 PocketFlow 框架，對(duì)人臉關(guān)鍵點(diǎn)定位模型進(jìn)行壓縮，在保持定位精度不變的同時(shí)，大幅度地降低了計(jì)算開(kāi)銷(xiāo)，在不同的移動(dòng)處理器上取得了 25%-50% 不等的加速效果，壓縮后的模型已經(jīng)在實(shí)際產(chǎn)品中得到部署。

對(duì)話騰訊 AI Lab

在發(fā)布的首日，我們和騰訊 AI Lab 就 PocketFlow 相關(guān)問(wèn)題進(jìn)行了更深入的交流。以下內(nèi)容為采訪實(shí)錄。

▌目前有哪些主流的模型壓縮算法？你們采用的基于判別力最大化準(zhǔn)則的通道剪枝算法的原理是什么？有哪些優(yōu)勢(shì)？

騰訊 AI Lab：目前主流的模型壓縮算法包括低秩分解（low-rank decomposition）、通道剪枝（channel pruning）、權(quán)重稀疏化（weight sparsification）、權(quán)重量化（weight quantization）、網(wǎng)絡(luò)結(jié)構(gòu)搜索（network architecture search）等。PocketFlow 中不僅包含了 AI Lab 自研的模型壓縮算法（例如基于判別力最大化準(zhǔn)則的通道剪枝算法），還提供了對(duì)當(dāng)前主流的多種模型壓縮算法（包括通道剪枝、權(quán)重稀疏化、權(quán)重量化）的支持，并且基于自研的 AutoML 框架提供了分布式網(wǎng)絡(luò)結(jié)構(gòu)搜索功能，功能完備且易于擴(kuò)展。

我們提出基于判別力最大化準(zhǔn)則的通道剪枝算法的一個(gè)出發(fā)點(diǎn)是目前的通道剪枝算法大多沒(méi)有考慮通道的判別力信息，僅考慮了重構(gòu)誤差的最小化，導(dǎo)致高壓縮倍數(shù)下的精度損失較大。我們算法首先在訓(xùn)練過(guò)程中引入了多個(gè)額外的有監(jiān)督損失項(xiàng)，以提升CNN網(wǎng)絡(luò)中各層的判別力，再逐層地基于分類(lèi)誤差與重構(gòu)誤差最小化的優(yōu)化目標(biāo)進(jìn)行通道剪枝，去除判別力相對(duì)較小的冗余通道，從而實(shí)現(xiàn)模型的無(wú)損壓縮。

▌PocketFlow框架支持通道剪枝、權(quán)重稀疏化、權(quán)重量化算法，每次模型壓縮的過(guò)程是隨機(jī)選擇一種算法嗎？這些算法各有哪些優(yōu)勢(shì)？

騰訊 AI Lab：PocketFlow 會(huì)基于具體的模型壓縮需求，選擇適當(dāng)?shù)哪Ｐ蛪嚎s算法。這三類(lèi)算法各有優(yōu)勢(shì)：通道剪枝算法的加速性能較好，易于部署；權(quán)重稀疏化算法可以達(dá)到更高的壓縮倍數(shù)；權(quán)重量化算法的內(nèi)存帶寬開(kāi)銷(xiāo)較小，并且可以充分利用 ARM、FPGA 等設(shè)備在定點(diǎn)運(yùn)算方面的硬件優(yōu)化。舉個(gè)例子，如果用戶希望得到加速倍數(shù)較高的壓縮模型，并且直接在移動(dòng)端部署，那么PocketFlow 會(huì)自動(dòng)地選擇通道剪枝算法進(jìn)行模型壓縮。

▌對(duì)網(wǎng)絡(luò)權(quán)重引入稀疏化約束會(huì)增加模型的訓(xùn)練難度，降低模型的收斂性嗎？你們是如何解決的？

騰訊 AI Lab：是的，在加入權(quán)重稀疏化約束的過(guò)程中，會(huì)引入數(shù)個(gè)超參數(shù)，如果取值不當(dāng)，會(huì)導(dǎo)致模型訓(xùn)練不穩(wěn)定甚至完全不收斂。PocketFlow 中超參數(shù)優(yōu)化組件的引入正是為了解決這一問(wèn)題（同時(shí)也適用于其他模型壓縮算法），通過(guò)自動(dòng)化地搜索最優(yōu)超參數(shù)取值組合，僅經(jīng)過(guò) 10余 次迭代就可以達(dá)到與人工調(diào)參類(lèi)似的效果，在 100 次迭代后可以使得壓縮后的模型降低約 0.6% 的精度損失。

▌在超參數(shù)優(yōu)化方面，你們提出的 AutoML-自動(dòng)超參數(shù)優(yōu)化框架和 Google 的 AutoML 有什么異同？

騰訊 AI Lab：AutoML 自動(dòng)超參數(shù)優(yōu)化框架是我們 AI Lab 之前已有的一套自研工具，適用于任意模型的超參數(shù)優(yōu)化任務(wù)，PocketFlow 借助于該框架實(shí)現(xiàn)了模型壓縮與加速場(chǎng)景下的超參數(shù)優(yōu)化，以提高訓(xùn)練流程的自動(dòng)化程度，降低使用門(mén)檻。Google 的 AutoML 則更多地針對(duì)視覺(jué)領(lǐng)域的應(yīng)用場(chǎng)景，實(shí)現(xiàn)了從網(wǎng)絡(luò)結(jié)構(gòu)搜索到遷移學(xué)習(xí)和超參數(shù)優(yōu)化的整體流程的自動(dòng)化。

▌為什么 PocketFlow 可以在壓縮模型的基礎(chǔ)上甚至讓模型的性能提升？

騰訊 AI Lab：目前深度學(xué)習(xí)模型大多存在一定的冗余度，通過(guò)在一定范圍內(nèi)降低模型的冗余度，往往不會(huì)對(duì)模型的擬合能力造成影響；另一方面，模型壓縮算法通過(guò)限制模型的解空間，可以起到防止模型過(guò)擬合的作用，尤其是在一些訓(xùn)練數(shù)據(jù)和標(biāo)注信息有限的應(yīng)用場(chǎng)景下，反而能帶來(lái)模型的性能提升。

▌壓縮過(guò)程是在云端還是離線完成的？如何保護(hù)使用者技術(shù)隱私和數(shù)據(jù)隱私？

騰訊 AI Lab：模型壓縮的訓(xùn)練過(guò)程沒(méi)有對(duì)云端服務(wù)的依賴(lài)，可以直接基于我們即將發(fā)布的開(kāi)源代碼在使用者的本地環(huán)境中運(yùn)行，無(wú)需擔(dān)心技術(shù)和數(shù)據(jù)的隱私性問(wèn)題。

▌模型壓縮后如何部署到移動(dòng)端（各種不同的移動(dòng)設(shè)備）？對(duì)硬件的需求如何？

騰訊 AI Lab：基于不同模型壓縮算法訓(xùn)練得到的模型的部署方式不盡相同，例如通道剪枝后的模型可以直接基于目前常見(jiàn)的移動(dòng)端深度學(xué)習(xí)框架進(jìn)行部署，權(quán)重定點(diǎn)量化后的模型可以基于 TensorFlow Lite進(jìn)行部署。經(jīng)過(guò) PocketFlow 壓縮或者加速后，無(wú)論是模型大小還是計(jì)算量都大大精簡(jiǎn)，因此在移動(dòng)端部署模型時(shí)對(duì)硬件的需求并不高，例如我們正在為一款手機(jī)拍照 APP 提供模型壓縮支持，壓縮后的模型在華為 Mate 10 和小米 5S Plus 等設(shè)備上的運(yùn)行耗時(shí)均在10ms 以?xún)?nèi)。

▌你們的實(shí)驗(yàn)都是用的 CV 里ResNet 和 MobileNet 這種比較成熟的模型，以及被廣泛使用的公開(kāi)數(shù)據(jù)集CIFAR-10和ImageNet，推廣到其他任意的模型上的效果是否也可以保證？泛化效果如何？

騰訊 AI Lab：我們?cè)隍v訊公司內(nèi)部也支持了諸如人臉關(guān)鍵點(diǎn)定位和姿態(tài)估計(jì)等任務(wù)中的模型壓縮需求。以人臉關(guān)鍵點(diǎn)定位任務(wù)為例，我們可以在保持定位精度不變的同時(shí)，顯著降低計(jì)算開(kāi)銷(xiāo)，根據(jù)在不同手機(jī)上的實(shí)測(cè)數(shù)據(jù)，壓縮后的模型可以取得 1.4-2.0 倍不等的加速效果。

▌PocketFlow目前有沒(méi)有對(duì)語(yǔ)音識(shí)別、NLP等領(lǐng)域的任務(wù)模型進(jìn)行壓縮前后的對(duì)照試驗(yàn)？效果如何？

騰訊 AI Lab：我們當(dāng)前主要針對(duì)視覺(jué)領(lǐng)域中的模型進(jìn)行壓縮，下一階段的主要研發(fā)目標(biāo)之一就是為語(yǔ)音和 NLP 等模型提供壓縮技術(shù)支持，屆時(shí)也歡迎有相關(guān)需求的開(kāi)發(fā)者和研究人員來(lái)使用并提出改進(jìn)意見(jiàn)。

▌?dòng)脩粜枰O(shè)定哪些期望性能指標(biāo)？是預(yù)先設(shè)定好迭代次數(shù)？迭代次數(shù)如何設(shè)定是合適的？如果一直達(dá)不到設(shè)定的指標(biāo)怎么辦？

騰訊 AI Lab：用戶主要需要設(shè)置的期望性能指標(biāo)是目標(biāo)的模型壓縮和/或加速倍數(shù)，之后 PocketFlow 會(huì)自動(dòng)搜索符合要求的模型中精度最高者作為輸出；我們會(huì)給出建議的壓縮/加速倍數(shù)的設(shè)置范圍（例如基于權(quán)重量化的壓縮倍數(shù)不能超過(guò) 32 倍），因此基本不會(huì)出現(xiàn)達(dá)不到性能指標(biāo)的問(wèn)題。迭代次數(shù)不需要用戶設(shè)置（對(duì)于進(jìn)階用戶我們提供了設(shè)置迭代次數(shù)的接口），根據(jù)實(shí)驗(yàn)評(píng)估結(jié)果，我們預(yù)設(shè)的迭代次數(shù)適用于多個(gè)模型壓縮算法的超參數(shù)優(yōu)化任務(wù)。

▌開(kāi)發(fā)者什么時(shí)候可以真正使用上？

騰訊 AI Lab：我們預(yù)計(jì)在今年10-11月完成 PocketFlow 的開(kāi)源發(fā)布工作，屆時(shí)普通開(kāi)發(fā)者即可開(kāi)始使用，同時(shí)我們也歡迎有興趣的開(kāi)發(fā)者向 PocketFlow 貢獻(xiàn)代碼。