欧美性猛交xxxx免费看_牛牛在线视频国产免费_天堂草原电视剧在线观看免费_国产粉嫩高清在线观看_国产欧美日本亚洲精品一5区

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

基于深度學(xué)習(xí)立體匹配的基本網(wǎng)絡(luò)結(jié)構(gòu)和變種

3D視覺(jué)工坊 ? 來(lái)源:計(jì)算攝影學(xué) ? 2023-04-07 10:04 ? 次閱讀

深度學(xué)習(xí)立體匹配之 MC-CNN中兩種結(jié)構(gòu):MC-CNN-fst和MC-CNN-acrt。這兩個(gè)算法由Zbontar和LeCun共同研發(fā),分別代表了速度與精度的平衡。MC-CNN-fst關(guān)注于快速處理,而MC-CNN-acrt則更注重匹配精度。這兩種算法為深度學(xué)習(xí)立體匹配技術(shù)的發(fā)展奠定了基礎(chǔ),而從效果上看他們明顯超過(guò)了當(dāng)時(shí)很多優(yōu)秀的立體匹配算法,成為了SOTA。我們先看看當(dāng)前的學(xué)習(xí)地圖:

c5b1a6f8-d4cf-11ed-bfe3-dac502259ad0.jpg

學(xué)習(xí)進(jìn)度地圖 那么在本篇文章中,我將更深入地探討基于深度學(xué)習(xí)的立體匹配算法,涉及一系列有趣的網(wǎng)絡(luò)結(jié)構(gòu)和變種。我會(huì)帶你首先回顧這兩個(gè)算法的基本架構(gòu),然后討論如何通過(guò)網(wǎng)絡(luò)變種、訓(xùn)練策略、正則化和視差估計(jì)等技巧來(lái)進(jìn)一步提升它們的性能。這篇文章旨在幫助大家全面地了解深度學(xué)習(xí)立體匹配算法的發(fā)展現(xiàn)狀和研究趨勢(shì)。今天的文章大量參考引用了參考文獻(xiàn)[1],再次對(duì)作者表示敬意! 1. 基本網(wǎng)絡(luò)結(jié)構(gòu)回顧

1.1 網(wǎng)絡(luò)架構(gòu)回顧

下面是我上次提到的Zbontar和LeCun[2][3]提出的兩種算法的架構(gòu)圖,這是是深度學(xué)習(xí)立體匹配領(lǐng)域最基礎(chǔ)的結(jié)構(gòu)。其中一個(gè)被作者命名為MC-CNN-fst,另外一個(gè)則命名為MC-CNN-acrt,其后綴fst和acrt分別代表fast和accurate,顧名思義MC-CNN-fst追求的是計(jì)算效率,而MC-CNN-acrt追求的則是準(zhǔn)確性。

c5c743dc-d4cf-11ed-bfe3-dac502259ad0.jpg

MC-CNN的兩種架構(gòu) 我們可以利用下圖來(lái)描述它們的共同點(diǎn),它們都是由左右兩條分支組成了特征提取的網(wǎng)絡(luò),提取出來(lái)的特征圖都會(huì)進(jìn)入到?jīng)Q策模塊,該模塊負(fù)責(zé)計(jì)算出左右兩個(gè)Patch對(duì)應(yīng)的兩個(gè)特征圖之間的相似度,所以整個(gè)網(wǎng)絡(luò)分為特征提取和分類決策這兩部分。

c5df6926-d4cf-11ed-bfe3-dac502259ad0.jpg

基本網(wǎng)絡(luò)構(gòu)成 它們的不同點(diǎn)是:

特征提取網(wǎng)絡(luò)不同。除開(kāi)層數(shù)等信息之外,fast結(jié)構(gòu)還在特征提取網(wǎng)絡(luò)的尾部添加了歸一化層,用于對(duì)特征圖進(jìn)行歸一化。

分類決策部分不同,fast結(jié)構(gòu)中,特征圖在每個(gè)分支中已經(jīng)進(jìn)行了歸一化。所以分支決策部分直接是計(jì)算兩個(gè)歸一化的特征圖的點(diǎn)積,及余弦相似度。而在accurate架構(gòu)中,特征圖首先在通道維度連接在一起,然后經(jīng)過(guò)多個(gè)全連接層,再通過(guò)Sigmoid函數(shù)得到最后的相似度得分

這種架構(gòu)可以快速判斷左右兩幅圖中取出的兩個(gè)Patch是否相似,結(jié)構(gòu)也很簡(jiǎn)單,所以很多學(xué)者采用了這種架構(gòu),并進(jìn)行了改進(jìn),我在下一節(jié)會(huì)談到各種改進(jìn)方向。

1.2 相似度計(jì)算

在特征提取之后,特征被送入上層模塊進(jìn)行相似度的計(jì)算。相似度計(jì)算是立體匹配算法的核心部分,可以分為兩大類:手動(dòng)相似度計(jì)算和決策網(wǎng)絡(luò)。

1.2.1 手動(dòng)相似度計(jì)算

手動(dòng)相似度計(jì)算無(wú)需訓(xùn)練,它直接通過(guò)一些預(yù)先定義好的距離度量方法計(jì)算特征之間的相似性。常見(jiàn)的手動(dòng)相似度計(jì)算方法包括L2距離、余弦距離、歸一化的相關(guān)度或歸一化內(nèi)積等。這些方法的優(yōu)勢(shì)在于可以通過(guò)卷積操作實(shí)現(xiàn),提高計(jì)算效率,并且無(wú)需訓(xùn)練。然而,它們可能無(wú)法充分適應(yīng)不同的數(shù)據(jù)集特性,導(dǎo)致匹配精度受到限制。MC-CNN-fst算法就是采用的這種方式

c5f4887e-d4cf-11ed-bfe3-dac502259ad0.jpg

快速架構(gòu)采用余弦相似度

1.2.2 采用神經(jīng)網(wǎng)絡(luò)計(jì)算相似度

與手動(dòng)相似度計(jì)算相比,用于決策的神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練,但可以提供更準(zhǔn)確的相似度計(jì)算結(jié)果。決策網(wǎng)絡(luò)可以采用1x1卷積、全卷積層實(shí)現(xiàn),或通過(guò)卷積層與全連接層的組合實(shí)現(xiàn)。決策網(wǎng)絡(luò)與特征提取模塊聯(lián)合訓(xùn)練,從而學(xué)習(xí)到更適應(yīng)當(dāng)前數(shù)據(jù)集的相似度計(jì)算方式, MC-CNN-acrt就是典型代表

c611aa9e-d4cf-11ed-bfe3-dac502259ad0.jpg

準(zhǔn)確架構(gòu)采用Sigmoid結(jié)果 全連接層實(shí)現(xiàn)的方法包括Han等人[4]的全連接層+SoftMax,Zagoruyko和Komodakis[5]的方法,以及Zbontar等人[3]提出的MC-CNN-acrt網(wǎng)絡(luò)。在這些方法中,特征提取分支的特征圖的結(jié)合方式有兩種:一種是在通道層面連接[4][5][3],另一種是通過(guò)類似Mean Pooling等方式連接[5],這樣可以處理任意多個(gè)Patch的相似度,而不用改變網(wǎng)絡(luò)結(jié)構(gòu)。

c626aade-d4cf-11ed-bfe3-dac502259ad0.jpg

決策網(wǎng)絡(luò)的優(yōu)點(diǎn)是相似度計(jì)算結(jié)果更加適配當(dāng)前的數(shù)據(jù)集,因此匹配精度更高,但相應(yīng)地計(jì)算速度會(huì)更慢。因此,在實(shí)際應(yīng)用中,需要根據(jù)具體問(wèn)題和場(chǎng)景權(quán)衡決策網(wǎng)絡(luò)與手動(dòng)相似度計(jì)算方法的選擇。

2. 網(wǎng)絡(luò)的變種

在上面結(jié)構(gòu)的基礎(chǔ)上,很多學(xué)者研究了各種改進(jìn)和提升的方法,這一節(jié)我們就來(lái)談?wù)劯鞣N改進(jìn)

2.1 引入Max-pooling操作處理大視差和大尺度Patch

回顧一下最簡(jiǎn)單的立體匹配代價(jià)計(jì)算公式:

c6423830-d4cf-11ed-bfe3-dac502259ad0.png

SAD代價(jià)計(jì)算公式 我們看到整個(gè)計(jì)算的時(shí)間復(fù)雜度是O(WHSD),其中W/H是圖像的長(zhǎng)寬,S是支持窗的尺寸,D則是視差值的范圍。所以支持窗越大,計(jì)算復(fù)雜度越高。對(duì)應(yīng)到我們的深度學(xué)習(xí)架構(gòu)中,特征圖越大,計(jì)算復(fù)雜度越高。對(duì)應(yīng)到我們深度學(xué)習(xí)的方法里面,則是特征圖越大,計(jì)算復(fù)雜度越高,視差范圍越大,計(jì)算復(fù)雜度越高。所以為了解決原始MC-CNN在處理大視差和大尺寸Patch時(shí)的效率問(wèn)題,Zagoruyko和Komodakis[37]以及Han等人[4]在每層后面都添加了max-pooling和下采樣操作。這樣做的目的是使網(wǎng)絡(luò)能夠適應(yīng)更大的Patch尺寸和視角變化。通過(guò)這種方式,增強(qiáng)的架構(gòu)能夠在保持較高匹配精度的同時(shí)提高處理速度,因?yàn)檫@樣得到的特征圖尺寸更小,如下圖所示:

c65ac5f8-d4cf-11ed-bfe3-dac502259ad0.jpg

加入Max Pooling前后對(duì)比

2.2 引入SPP模塊增強(qiáng)網(wǎng)絡(luò)結(jié)構(gòu)應(yīng)對(duì)不同尺度輸入時(shí)的靈活性

另一個(gè)重要的改進(jìn)是在特征計(jì)算分支的末端加入了空間金字塔池化(SPP)模塊。SPP模塊可以輸入任意尺寸的特征Patch,輸出固定尺寸的特征圖(如圖2-c所示)。SPP的Pooling尺寸根據(jù)輸入尺寸而改變,這樣使得不同尺寸的輸入可以得到相同尺寸的輸出。這樣當(dāng)輸入的Patch尺寸改變時(shí),網(wǎng)絡(luò)結(jié)構(gòu)不用改變。這一點(diǎn)對(duì)于處理不同尺寸的圖像數(shù)據(jù)具有重要意義,使得這個(gè)架構(gòu)更具靈活性。

c67356ae-d4cf-11ed-bfe3-dac502259ad0.jpg

加入SPP前后對(duì)比

2.3 使用ResNet使得網(wǎng)絡(luò)可以更深

這一點(diǎn)我想很多讀者都不陌生,ResNet已經(jīng)廣泛應(yīng)用在各種領(lǐng)域的神經(jīng)網(wǎng)絡(luò)里面了,所以盡管最初時(shí),類似MC-CNN這樣的算法還沒(méi)有采用殘差網(wǎng)絡(luò)結(jié)構(gòu),后續(xù)的算法幾乎都加入了這個(gè)結(jié)構(gòu)。比如Shaked and Wolf [6]就使用了ResNet,構(gòu)建了如下的網(wǎng)絡(luò)結(jié)構(gòu),這里淺紅色標(biāo)注的部分就是典型的殘差模塊,這使得我們可以訓(xùn)練非常深的網(wǎng)絡(luò),從而捕捉到圖像中更高層次的特征:

c688784a-d4cf-11ed-bfe3-dac502259ad0.jpg

采用ResNet加深網(wǎng)絡(luò)

2.4 使用空洞卷積或SPP得到更大的感受野

我在70. 三維重建5-立體匹配1,立體匹配算法總體理解中講過(guò),在重復(fù)紋理、無(wú)紋理區(qū)域我們是希望盡量采用大尺寸的支持窗來(lái)來(lái)提升信噪比和像素之間的區(qū)分度。

c6a1e5be-d4cf-11ed-bfe3-dac502259ad0.jpg

不同尺度的支持窗 對(duì)應(yīng)到我們深度學(xué)習(xí)的算法中,則是我們?cè)谀承r(shí)候需要更大的感受野。擴(kuò)大感受野的方法有多種,比如增大輸入Patch的尺寸、或是使用更大的卷積核再配合帶有更大步長(zhǎng)的池化操作降低尺寸。前者會(huì)導(dǎo)致計(jì)算復(fù)雜度上升,后者則會(huì)導(dǎo)致特征圖的分辨率降低使得細(xì)節(jié)丟失。所以就有了兩種更好的方式

2.4.1 使用空洞卷積來(lái)提升感受野尺寸

第一種方法是使用空洞卷積——顧名思義,空洞卷積的卷積核是有空洞的,這樣使得我們可以有更大的感受野,但是計(jì)算量卻不改變,這種技巧后來(lái)被用到了很多領(lǐng)域。

c6bc1ede-d4cf-11ed-bfe3-dac502259ad0.jpg

空洞卷積 下圖是普通卷積(左)和空洞卷積(右)的對(duì)比:

c6d458be-d4cf-11ed-bfe3-dac502259ad0.jpg

2.4.2 使用SPP來(lái)提升感受野尺寸

我們上面見(jiàn)過(guò)引入SPP模塊可以使得網(wǎng)絡(luò)可以靈活應(yīng)對(duì)不同尺寸的輸入,而其中一個(gè)重要的應(yīng)用就是利用SPP模塊來(lái)擴(kuò)大感受野。比如Park et al. [11]提出了一種叫做FW-CNN的網(wǎng)絡(luò)架構(gòu),其中引入了一個(gè)簡(jiǎn)稱為4P的模塊,即所謂Per-pixel Pyramid Pooling - 逐像素的金字塔池化操作。 我們之前講過(guò),如果采用更大的卷積核,加上更大步長(zhǎng)的小尺寸的池化操作,可以擴(kuò)大感受野——但這樣會(huì)導(dǎo)致丟失原始特征圖中的細(xì)節(jié)信息。如果換成更大尺寸的池化操作,但步長(zhǎng)設(shè)置為1呢,這樣當(dāng)然也可以有更大的感受野——但同樣也會(huì)丟失圖像的細(xì)節(jié)。于是,這里的4P操作就對(duì)每個(gè)像素同時(shí)采用多種不同尺寸的池化窗口,并將輸出連接以創(chuàng)建新的特征圖。生成的特征圖包含了從粗到細(xì)的尺度信息:

c6edf79c-d4cf-11ed-bfe3-dac502259ad0.jpg

4P操作可以加入到網(wǎng)絡(luò)的不同位置,在FW-CNN中,4P模塊的位置如下所示:

c701d762-d4cf-11ed-bfe3-dac502259ad0.jpg

FW-CNN的這種方式雖然擴(kuò)大了感受野,但是4P模塊需要和全連接層一樣,每個(gè)視差層級(jí)計(jì)算一次,所以計(jì)算量比較大。因此,Ye et al. [7]等提出了一種改進(jìn)的方式,把SPP放到每個(gè)特征計(jì)算分支的末尾,并且采用多尺度的SPP,既降低了計(jì)算量,又能有較大的感受野。

c716b6c8-d4cf-11ed-bfe3-dac502259ad0.jpg

2.5 使用多尺度特征得到更好的結(jié)果 前面的方法都是采用一種尺寸的輸入Patch,但在基礎(chǔ)架構(gòu)的基礎(chǔ)上,還可以擴(kuò)展到學(xué)習(xí)多尺度的Patch的特征,進(jìn)一步提升效果,比如Zagoruyko和Komodakis[5]中提到了一種架構(gòu)如下:

c7302d6a-d4cf-11ed-bfe3-dac502259ad0.jpg

這里有兩種輸入,第一種是從輸入的Patch中心裁剪32x32的區(qū)域送入網(wǎng)絡(luò),第二種是將輸入的64x64的Patch縮小為32x32送入網(wǎng)絡(luò)。因此前者比后者的解析力更高。這樣網(wǎng)絡(luò)在單次前向推理后就可以提取到不同尺度和解析力的特征,效果也就更好,效率也較高。Chen et al. [8]等提出了一種類似的結(jié)構(gòu),只不過(guò)兩組流各自做各自的特征提取和分類決策,決策的結(jié)果再通過(guò)投票整合到一起,作為最后的輸出。

c74a558c-d4cf-11ed-bfe3-dac502259ad0.jpg

2.6 改變網(wǎng)絡(luò)結(jié)構(gòu),得到更高的效率

2.6.1 一次性計(jì)算所有視差層級(jí)的代價(jià)

前面我們講的方法在分類決策時(shí),每個(gè)像素需要n_d次通過(guò)決策模塊來(lái)計(jì)算代價(jià),其中nd是視差層次的數(shù)量。如果我們的決策模塊采用的是相關(guān)計(jì)算(類似內(nèi)積計(jì)算),那么可以利用到相關(guān)性天然的高度并行性來(lái)大大減少前向傳播次數(shù)。例如,Luo等人[9] 就提出了下面這樣的結(jié)構(gòu),這里左圖的Patch尺寸不變,但右圖會(huì)采用更大尺寸的Patch,這樣一次性最大可以把所有可能得右圖Patch的特征全部提取出來(lái),然后通過(guò)并行的相關(guān)性計(jì)算一次性把該像素所有可能的代價(jià)計(jì)算出來(lái)。在這個(gè)網(wǎng)絡(luò)中,左圖的特征是64維的,而右圖提到的特征則是nd x 64維的。

c7621c44-d4cf-11ed-bfe3-dac502259ad0.jpg

并行相關(guān)度計(jì)算提升效率

2.6.2 一次性提取特征

我們之前展示的結(jié)構(gòu)的輸入都是兩個(gè)Patch,而非整個(gè)圖像。在Zagoruyko和Komodakis[5]中提到,實(shí)際上可以通過(guò)輸入兩個(gè)圖像,一次性提取左右兩個(gè)視圖的特征圖,不需要逐Patch的計(jì)算,也不需要每個(gè)視差層級(jí)計(jì)算一次

2.6.3 對(duì)整幅圖計(jì)算代價(jià),而非逐Patch計(jì)算

另外,在Zagoruyko和Komodakis[5]還提到,可以通過(guò)將決策網(wǎng)絡(luò)中的全連接層改為1x1卷積操作,這樣就可以對(duì)整幅圖計(jì)算代價(jià),而不是對(duì)Patch計(jì)算,當(dāng)然每個(gè)視差層級(jí)還是需要計(jì)算一次。 以上兩個(gè)方法在我上一篇文章種已經(jīng)講過(guò)了,下面是我當(dāng)時(shí)給的偽代碼

c77d18b4-d4cf-11ed-bfe3-dac502259ad0.jpg

加速推理的偽代碼

2.7 整合特征提取和決策模塊,得到更好的效果

在Zagoruyko and Komodakis [5]中還提到了一種特別的結(jié)構(gòu),輸入的兩個(gè)Patch從一開(kāi)始就整合成多通道的圖像送入網(wǎng)絡(luò)。于是網(wǎng)絡(luò)沒(méi)有專門分開(kāi)的特征提取模塊,而是將特征提取與決策整合到一起,如下所示。這種結(jié)構(gòu)訓(xùn)練比較簡(jiǎn)單,不過(guò)在推理時(shí)效率低,因?yàn)槊總€(gè)像素需要推理nd次:

c79f1e8c-d4cf-11ed-bfe3-dac502259ad0.jpg

通道維度上連接圖像再送入網(wǎng)絡(luò) 這種將多個(gè)輸入直接在通道維度上連接再送入網(wǎng)絡(luò)的方式很有用,我們之后還會(huì)看到類似的用法。這一節(jié)我們看到了多種網(wǎng)絡(luò)結(jié)構(gòu)的變種,而下一節(jié)我來(lái)介紹一下各類網(wǎng)絡(luò)的訓(xùn)練策略。

3. 網(wǎng)絡(luò)訓(xùn)練策略

我們之前看到的特征提取網(wǎng)絡(luò)和代價(jià)決策網(wǎng)絡(luò)都需要訓(xùn)練,而訓(xùn)練的策略則分為強(qiáng)監(jiān)督型和弱監(jiān)督型兩類。我重點(diǎn)介紹一下強(qiáng)監(jiān)督型訓(xùn)練,然后捎帶提一下弱監(jiān)督或自監(jiān)督的訓(xùn)練策略

3.1 強(qiáng)監(jiān)督型訓(xùn)練

這里面又分為兩種形式。 第一種的訓(xùn)練樣本的基本單元是一對(duì)patch,它們要么是匹配的正樣本,要么是不匹配的負(fù)樣本。網(wǎng)絡(luò)要學(xué)習(xí)的是這一對(duì)patch間的匹配程度。那么如果輸入的是正樣本對(duì),理想的匹配程度為1,如果輸入的是負(fù)樣本對(duì),那么理想的匹配程度為0。通過(guò)某些損失函數(shù)的迭代約束,網(wǎng)絡(luò)會(huì)調(diào)整自身權(quán)重,使得最終能夠甄別出輸入patch對(duì)之間是匹配的還是不匹配的。

c7b984d4-d4cf-11ed-bfe3-dac502259ad0.jpg

輸入一對(duì)Patch進(jìn)行訓(xùn)練 第二種的訓(xùn)練樣本的基本單元是兩對(duì)Patch,其中一對(duì)Patch是匹配的,其中右視圖的Patch來(lái)自于與左視圖對(duì)應(yīng)的右極線上。另外一對(duì)Patch則是不匹配的。此時(shí)網(wǎng)絡(luò)優(yōu)化的目標(biāo)是盡量放大這兩對(duì)Patch的匹配值之間的差異。正樣本對(duì)的相似度計(jì)算結(jié)果應(yīng)該比負(fù)樣本對(duì)的相似度計(jì)算結(jié)果大得多。

c7d06d34-d4cf-11ed-bfe3-dac502259ad0.jpg

輸入兩對(duì)Patch進(jìn)行訓(xùn)練 強(qiáng)監(jiān)督訓(xùn)練的損失函數(shù)用于衡量網(wǎng)絡(luò)輸出和學(xué)習(xí)目標(biāo)之間的差異,主要有三類損失函數(shù)

L1距離

Hinge損失函數(shù)

交叉熵?fù)p失函數(shù)

3.2 弱監(jiān)督型訓(xùn)練

為了減少對(duì)標(biāo)注數(shù)據(jù)的需求,人們提出了弱監(jiān)督訓(xùn)練方式,這通常是通過(guò)引入一些先驗(yàn)信息約束網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程來(lái)實(shí)現(xiàn)的,Tulyakov等人[10]就利用多實(shí)例學(xué)習(xí)(MIL)結(jié)合立體約束和關(guān)于場(chǎng)景的粗略信息,來(lái)訓(xùn)練立體匹配網(wǎng)絡(luò),而這些數(shù)據(jù)集并沒(méi)有可用的真實(shí)標(biāo)簽。 跟傳統(tǒng)的監(jiān)督技術(shù)不同,弱監(jiān)督訓(xùn)練并不需要成對(duì)的匹配和不匹配圖像塊。實(shí)際上,訓(xùn)練集是由N個(gè)三元組組成的。每個(gè)三元組包括:(1)從參考圖像上的水平線上提取的W個(gè)參考?jí)K;(2)從右圖像對(duì)應(yīng)的水平線上提取的W個(gè)Patch,作者成為正Patch,它們跟W個(gè)參考?jí)K有可能是匹配的;(3)從右圖像上另一個(gè)水平線上提取的W個(gè)負(fù)Patch,即與參考?jí)K絕對(duì)不匹配的塊。這樣一來(lái),我們就可以直接從立體圖像對(duì)中自動(dòng)生成訓(xùn)練集,不需要手動(dòng)進(jìn)行標(biāo)注了。 在訓(xùn)練網(wǎng)絡(luò)時(shí),研究人員使用了五個(gè)約束條件來(lái)引導(dǎo)學(xué)習(xí)過(guò)程:

對(duì)極約束:這個(gè)約束告訴我們,在左右圖像中的匹配點(diǎn)必須位于相應(yīng)的水平線上。

視差范圍約束:它告訴我們每個(gè)像素的視差值在一個(gè)已知的范圍內(nèi)。

唯一性約束:對(duì)于每個(gè)參考像素,只能有一個(gè)唯一的匹配像素。

連續(xù)性(平滑性)約束:表示物體表面的視差變化通常是平滑的,除非在物體邊界附近發(fā)生突變。

排序約束:指的是在左圖像上的參考點(diǎn)之間的順序應(yīng)該與在右圖像上的匹配點(diǎn)之間的順序一致。

c7e553b6-d4cf-11ed-bfe3-dac502259ad0.jpg

根據(jù)這些約束條件,研究人員定義了三個(gè)損失函數(shù)來(lái)引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)。其中,多實(shí)例學(xué)習(xí)(MIL)損失使用了對(duì)極約束和視差范圍約束。收縮損失在MIL損失的基礎(chǔ)上增加了唯一性約束,使得匹配點(diǎn)更加準(zhǔn)確。收縮-DP損失則結(jié)合了所有約束條件,并利用動(dòng)態(tài)規(guī)劃來(lái)尋找最佳匹配。 通過(guò)這種方法,網(wǎng)絡(luò)能夠根據(jù)這些約束條件進(jìn)行學(xué)習(xí),從而在沒(méi)有充分標(biāo)注的數(shù)據(jù)集上實(shí)現(xiàn)立體匹配。

4. 思考和小結(jié)

在本文中,我們介紹了深度學(xué)習(xí)立體匹配方法的基礎(chǔ)網(wǎng)絡(luò)架構(gòu)和常見(jiàn)的網(wǎng)絡(luò)變種,以及訓(xùn)練策略。我們看到,在不同的應(yīng)用場(chǎng)景下,立體匹配問(wèn)題需要不同的解決方案。為了應(yīng)對(duì)這些挑戰(zhàn),研究者們提出了各種改進(jìn)和優(yōu)化方法,從網(wǎng)絡(luò)結(jié)構(gòu)到訓(xùn)練策略都進(jìn)行了探索。其中我們列出了網(wǎng)絡(luò)結(jié)構(gòu)的各種變種

c7fa30e2-d4cf-11ed-bfe3-dac502259ad0.jpg

盡管深度學(xué)習(xí)立體匹配方法已經(jīng)取得了顯著的進(jìn)展,但仍然存在一些問(wèn)題需要進(jìn)一步研究和解決。例如,對(duì)于大視差和大尺度Patch的處理、不同尺度輸入的靈活性、更高的效率等方面還有改進(jìn)的空間。此外,如何將深度學(xué)習(xí)方法應(yīng)用于實(shí)際應(yīng)用中,也是需要進(jìn)一步探索和研究的問(wèn)題。 我們目前看到的方法,都是類似MC-CNN這樣遵循了傳統(tǒng)立體匹配架構(gòu)的方法。我會(huì)在下一篇文章開(kāi)始介紹端到端的立體匹配算法,它們遵循完全不同的策略和邏輯,一定會(huì)給你帶來(lái)不一樣的感受! 下面是你現(xiàn)在的位置,喜歡今天的文章就點(diǎn)個(gè)贊,持續(xù)關(guān)注我吧!

c8120528-d4cf-11ed-bfe3-dac502259ad0.jpg

學(xué)習(xí)進(jìn)度地圖

審核編輯 :李倩

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴

原文標(biāo)題:基于深度學(xué)習(xí)立體匹配的基本網(wǎng)絡(luò)結(jié)構(gòu)和變種

文章出處:【微信號(hào):3D視覺(jué)工坊,微信公眾號(hào):3D視覺(jué)工坊】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    立體匹配SAD算法原理

    立體匹配SAD算法matlab實(shí)現(xiàn)
    發(fā)表于 06-05 16:08

    神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索有什么優(yōu)勢(shì)?

    ,稍有不同就無(wú)法復(fù)現(xiàn)論文的結(jié)果。而網(wǎng)絡(luò)結(jié)構(gòu)作為一種特殊的超參數(shù),在深度學(xué)習(xí)整個(gè)環(huán)節(jié)中扮演著舉足輕重的角色。在圖像分類任務(wù)上大放異彩的ResNet、在機(jī)器翻譯任務(wù)上稱霸的Transformer等
    發(fā)表于 09-11 11:52

    彩色鏡像圖像的立體匹配方法

    提出一種新的基于鏡像圖像的立體匹配方法,設(shè)計(jì)一種新的圖像采集系統(tǒng),采集獲得物體的鏡像圖像,利用鏡面成像特點(diǎn),將立體匹配的搜索空間由二維降為可靠的一維。應(yīng)用彩色
    發(fā)表于 04-15 09:39 ?37次下載

    基于蟻群優(yōu)化算法的立體匹配

    立體匹配技術(shù)使得通過(guò)像點(diǎn)獲取景物的距離信息,實(shí)現(xiàn)三維立體再現(xiàn)成為可能,是計(jì)算機(jī)視覺(jué)研究中最基本的關(guān)鍵問(wèn)題之一。本文選擇圖像的邊緣點(diǎn)作為匹配基元,以邊緣特征點(diǎn)
    發(fā)表于 06-26 10:29 ?17次下載

    基于擴(kuò)展雙權(quán)重聚合的實(shí)時(shí)立體匹配方法

    立體匹配是對(duì)給定的一對(duì)立體圖像計(jì)算視差圖的過(guò)程。目前許多立體匹配的應(yīng)用程序需要實(shí)時(shí)處理,但事實(shí)上立體匹配需要經(jīng)歷大規(guī)模的計(jì)算。幸運(yùn)的是,無(wú)論硬件還是軟件方面并行處理技術(shù)已經(jīng)非常先進(jìn)。因
    發(fā)表于 10-31 18:46 ?2次下載
    基于擴(kuò)展雙權(quán)重聚合的實(shí)時(shí)<b class='flag-5'>立體匹配</b>方法

    基于顏色調(diào)整的立體匹配改進(jìn)算法

    隨著立體視覺(jué)技術(shù)的飛速發(fā)展,越來(lái)越多的3D相關(guān)技術(shù)進(jìn)入了人們的視野,如三維重建、運(yùn)動(dòng)估計(jì)、VR、AR、白動(dòng)駕駛等。獲取精準(zhǔn)的深度信息是這些技術(shù)得以正確運(yùn)用基礎(chǔ)。而通過(guò)立體匹配獲得的視差圖則是獲取
    發(fā)表于 11-02 11:07 ?0次下載
    基于顏色調(diào)整的<b class='flag-5'>立體匹配</b>改進(jìn)算法

    超像素分割的快速立體匹配

    針對(duì)目前立體匹配中存在的匹配精度和匹配速度很難兼顧的問(wèn)題,提出了一種基于穩(wěn)定特征點(diǎn)和SLIC超像素分割算法的快速立體匹配。利用SURF算法高速有效地提取出特征點(diǎn)進(jìn)行
    發(fā)表于 11-15 15:26 ?14次下載
    超像素分割的快速<b class='flag-5'>立體匹配</b>

    基于mean-shift全局立體匹配方法

    針對(duì)圖像全局立體匹配精度高、計(jì)算量大的問(wèn)題,提出基于mean shift圖像分割的全局立體匹配方法。首先,通過(guò)mean shift算法對(duì)圖像進(jìn)行分割,獲取圖像同質(zhì)區(qū)域數(shù)量和區(qū)域的標(biāo)號(hào)。在計(jì)算匹配代價(jià)
    發(fā)表于 11-20 11:50 ?9次下載

    網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)設(shè)計(jì)算法——BlockQNN

    神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)一直是深度學(xué)習(xí)里的核心問(wèn)題。在基于深度學(xué)習(xí)的分類、檢測(cè)、分割、跟蹤等任務(wù)中,基礎(chǔ)神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 05-17 09:44 ?5684次閱讀
    <b class='flag-5'>網(wǎng)絡(luò)結(jié)構(gòu)</b>自動(dòng)設(shè)計(jì)算法——BlockQNN

    雙目立體匹配的四個(gè)步驟解析

    雙目立體匹配可劃分為四個(gè)步驟:匹配代價(jià)計(jì)算、代價(jià)聚合、視差計(jì)算和視差優(yōu)化。
    的頭像 發(fā)表于 08-31 10:08 ?5264次閱讀

    如何使用跨尺度代價(jià)聚合實(shí)現(xiàn)改進(jìn)立體匹配算法

    針對(duì)現(xiàn)有的立體匹配算法在精度和速度上不可兼得的現(xiàn)狀,提出一種改進(jìn)的跨尺度代價(jià)聚合立體匹配算法。通過(guò)強(qiáng)度和梯度算法計(jì)算匹配代價(jià),利用引導(dǎo)濾波聚合匹配代價(jià),采用跨尺度模型聚合各尺度的
    發(fā)表于 02-02 14:36 ?10次下載
    如何使用跨尺度代價(jià)聚合實(shí)現(xiàn)改進(jìn)<b class='flag-5'>立體匹配</b>算法

    雙目立體計(jì)算機(jī)視覺(jué)的立體匹配研究綜述

    、半全局和基于深度學(xué)習(xí)立體匹配算法研究現(xiàn)狀的基礎(chǔ)上,闡述了匹配代價(jià)、代價(jià)聚合、視差計(jì)算/優(yōu)化、視差校正在立體匹配算法中的實(shí)際應(yīng)用,總結(jié)及展
    發(fā)表于 04-12 09:47 ?3次下載
    雙目<b class='flag-5'>立體</b>計(jì)算機(jī)視覺(jué)的<b class='flag-5'>立體匹配</b>研究綜述

    一種基于PatchMatch的半全局雙目立體匹配算法

    近年來(lái)雙目立體匹配技術(shù)發(fā)展迅速,高精度、高分辨率、大視差的應(yīng)用需求無(wú)疑對(duì)該技術(shù)的計(jì)算效率提出了更高的要求。由于傳統(tǒng)立體匹配算法固有的計(jì)算復(fù)雜度正比于視差范圍,已經(jīng)難以滿足高分辨率、大視差的應(yīng)用場(chǎng)
    發(fā)表于 04-20 11:31 ?13次下載
    一種基于PatchMatch的半全局雙目<b class='flag-5'>立體匹配</b>算法

    融合邊緣特征的立體匹配算法Edge-Gray

    為保證SAD算法的立體匹配效率,提高匹配精度,提出一種融合邊緣特征的立體匹配算法 Edge-gray。通過(guò)邊緣計(jì)算得到邊緣特征圖,在進(jìn)行匹配的過(guò)程中,根據(jù)當(dāng)前點(diǎn)與領(lǐng)域點(diǎn)的差值確定
    發(fā)表于 04-29 11:06 ?8次下載
    融合邊緣特征的<b class='flag-5'>立體匹配</b>算法Edge-Gray

    CREStereo立體匹配算法總結(jié)

    立體匹配是計(jì)算機(jī)視覺(jué)的重要領(lǐng)域,通過(guò)給定一對(duì)經(jīng)過(guò)校正的圖像,計(jì)算對(duì)應(yīng)像素之間的位移,即視差。
    的頭像 發(fā)表于 05-16 09:05 ?2374次閱讀
    CREStereo<b class='flag-5'>立體匹配</b>算法總結(jié)