隨之3D相機(jī)在工業(yè)AI的普及，深度學(xué)習(xí)對3D點云和深度圖的分析方法也越來越多樣化。在3D計算機(jī)圖形中，Depth Map（深度圖）是包含與視點的場景對象的表面的距離有關(guān)的信息的圖像或圖像通道。

其中，Depth Map 類似于灰度圖像，只是它的每個像素值是傳感器距離物體的實際距離。通常RGB圖像和Depth圖像是配準(zhǔn)的，因而像素點之間具有一對一的對應(yīng)關(guān)系，合成的四通道的圖像稱為RGB-D圖像。

在業(yè)內(nèi)，不少工作已經(jīng)將CNN引入在RGB-D圖像上的視覺任務(wù)上，這些工作中一部分直接采用4-channel的圖像來進(jìn)行語義分割。我們可以將3D點云做正射糾正，生成對應(yīng)的深度圖。再將2D圖像做同樣的仿射糾正，合成RGB-D圖像。我們可以壓縮數(shù)據(jù)量，將RGB圖像換成灰度圖，實際數(shù)據(jù)的通道數(shù)就只有兩個。

在本項目的深度學(xué)習(xí)模型中，需要輸入是3通道，就要附加上全為0置的通道，而在Deep Learning的模型上增加通道注意力機(jī)制，能減少第三通道的計算。兩通道的圖片，在標(biāo)注工具里，只有一個通道可見，而三通道圖片帶來額外的好處，在標(biāo)注工具里是彩色的。

案例優(yōu)勢

一、深度學(xué)習(xí)和傳統(tǒng)算法分別都做不到0%漏判的情況下，如果互相結(jié)合，那么還是能夠做到0漏判。舉焊偏的例子，

在毛刺不作為缺陷標(biāo)準(zhǔn)的情況下，Mark孔被毛刺遮蓋，用傳統(tǒng)算法就會得到焊偏的誤判。使用深度學(xué)習(xí)，無論是語意分割還是目標(biāo)檢測，都能檢出部分Mark孔，達(dá)到0漏判。另外，用深度學(xué)習(xí)語義分割焊跡，效果穩(wěn)定，不受測量距離變動、亮度變化、亮邊的影響，分割精細(xì)。抗其它干擾性能也很強(qiáng)，比如抗彩筆的標(biāo)記干擾能力強(qiáng)，得到的區(qū)域可用于測量焊寬。

傳統(tǒng)算法的mIoU只有99%，而深度學(xué)習(xí)的mIoU達(dá)到99.89%。

二、新生產(chǎn)的產(chǎn)品，深度學(xué)習(xí)的樣本量少，訓(xùn)練效果不是最佳，但隨著樣本量增加，增量學(xué)習(xí)，效果會不斷提高。

三、在含有高度圖的多通道圖中，額外增加注意力機(jī)制必不可少，同時可以增加空間注意力，特征圖融合。下圖是神經(jīng)網(wǎng)絡(luò)的改造設(shè)計：

本案例產(chǎn)品界面

? ? ?

來源丨三維外觀缺陷檢測

?

?

審核編輯：劉清