比Meta的「分割一切模型」(SAM)更快的圖像分割工具，來了！

最近中科院團隊開源了FastSAM模型，能以50倍的速度達到與原始SAM相近的效果，并實現(xiàn)25FPS的實時推理。

該成果在Github已經(jīng)獲得2.4K+次星標(biāo)，在Twitter、PaperswithCode等平臺也受到了廣泛關(guān)注。

相關(guān)論文預(yù)印本現(xiàn)已發(fā)表。

以下內(nèi)容由投稿者提供

視覺基礎(chǔ)模型 SAM[1]在許多計算機視覺任務(wù)中產(chǎn)?了重?影響。它已經(jīng)成為圖像分割、圖像描述和圖像編輯等任務(wù)的基礎(chǔ)。

然?，其巨?的計算成本阻礙了它在實際場景中的?泛應(yīng)?。

最近，中科院?動化所提出并開源了?種加速替代?案 FastSAM。

通過將分割?切任務(wù)重新劃分為全實例分割和提?指導(dǎo)選擇兩個?任務(wù)，?帶實例分割分?的常規(guī) CNN 檢測器以?出50倍的運?速度實現(xiàn)了與SAM?法相當(dāng)?shù)男阅?，?個實時分割?切的基礎(chǔ)模型。

意義與動機

SAM 的出現(xiàn)帶動了 “分割?切”（Segment Anything）任務(wù)的發(fā)展。這?任務(wù)由于其泛化性和可擴展性，有很?可能成為未來?泛視覺任務(wù)的基礎(chǔ)。

FastSAM 為該任務(wù)提供了?套實時解決?案，進?步推動了分割?切模型的實際應(yīng)?和發(fā)展。

本?將“分割?切”任務(wù)解耦為全實例分割和提?引導(dǎo)選擇兩階段，通過引???先驗結(jié)構(gòu)，在提速 50 倍的情況下實現(xiàn)了與 SAM 相近的表現(xiàn)。

FastSAM 的優(yōu)秀表現(xiàn)為視覺任務(wù)的架構(gòu)選擇提供了新的視角——對于特定任務(wù)，專用模型結(jié)構(gòu)或許在計算效率和精確度上仍具有優(yōu)勢。

從模型壓縮的?度看，F(xiàn)astSAM 也證明了基于大模型產(chǎn)生高質(zhì)量數(shù)據(jù)，通過引???先驗結(jié)構(gòu)大幅降低計算復(fù)雜度的路徑的可?性。

示例

Web DEMO

在 HuggingFace 的 Space 中，你可以快速體驗 FastSAM 的分割效果。

你可以上傳一張自定義的圖片，選擇模式并設(shè)置參數(shù)，點擊分割按鈕，就可以得到一個滿意的分割結(jié)果。

現(xiàn)在支持一切模式和點模式的交互，其他模式將在未來嘗試支持。在 Replicate 上已支持所有模式的在線體驗。

多種交互?式

FastSAM目前共支持三種交互方式。

多點交互模式

FastSAM ?持多個帶有前景/背景標(biāo)簽的點交互模式，可以很好地適應(yīng)不同場景的應(yīng)?需求。

以缺陷檢測場景為例，只需對缺陷部位添加前景點，對正常藥丸部分添加背景點，即可準(zhǔn)確地檢測出物體缺陷。

框交互模式

FastSAM 也?持框交互模式。也以缺陷檢測為例，只需對缺陷?致位置進?框選，即可準(zhǔn)確檢測出物體缺陷。

?本交互模式

FastSAM 也?持并開源了?本交互模式。通過不同的?本提示，F(xiàn)astSAM可以準(zhǔn)確分割出不同顏?的?狗。

工作原理

如下圖所示，F(xiàn)astSAM 的網(wǎng)絡(luò)架構(gòu)可分為兩個階段：全實例分割和提示引導(dǎo)選擇。

在全實例分割階段，F(xiàn)astSAM 使用卷積神經(jīng)網(wǎng)絡(luò)來對圖像中的所有對象或區(qū)域進行劃分。

在提示引導(dǎo)選擇階段，它采用包括點提示、框提示和文本提示的各種提示來選出關(guān)注對象。

與基于Transformer的方法不同，F(xiàn)astSAM融合了與視覺分割任務(wù)緊密相關(guān)的先驗知識，例如局部連接和對象分配策略。這使得它以更低地參數(shù)量和計算量下更快地收斂。

定性與定量分析

測試結(jié)果表明，F(xiàn)astSAM各方面的表現(xiàn)完全不輸于Meta的原始版本。

速度

從表中可以看出，F(xiàn)astSAM 取得了遠(yuǎn)超 SAM 的速度表現(xiàn)，在「分割?切」模式下，SAM的速度會受到均勻點提?數(shù)量的影響，? FastSAM 由于結(jié)構(gòu)的特點，運?時間不隨點提?數(shù)量的增加?增加，這使得它成為「分割?切」模式的更好選擇。

同時，由于 FastSAM 在結(jié)構(gòu)設(shè)計中利?了?的先驗知識，使得它在實時推理的同時也具備了與 SAM 相當(dāng)?shù)男阅?/strong>。