1 前言

點云作為一種重要的數(shù)據(jù)表示,廣泛應(yīng)用于自動駕駛、增強現(xiàn)實和機器人技術(shù)等領(lǐng)域。由于點云數(shù)據(jù)量通常很大,對其進行采樣以獲得一個具有代表性的點集子集是三維計算機視覺中的一個基礎(chǔ)和重要的任務(wù)。除了隨機采樣和最遠點采樣之外,大多數(shù)傳統(tǒng)的點云采樣方法都是基于數(shù)學統(tǒng)計的,例如均勻采樣、網(wǎng)格采樣和幾何采樣等，這些方法對于點云密度和分布比較敏感。最近,一些基于神經(jīng)網(wǎng)絡(luò)的方法開始通過端到端的任務(wù)驅(qū)動學習方式進行更好的任務(wù)定向采樣,例如S-Net、SampleNet、DA-Net等。

但是這些方法大多是基于生成模型的,而不是直接選擇點。另一方面，為點云設(shè)計基于神經(jīng)網(wǎng)絡(luò)的局部特征聚合算子的工作越來越多。雖然其中一些（例如 PointCNN 、PointASNL 、GSS ）在學習潛在特征時減少了點數(shù)，但由于處理過程中不存在真正的空間點，它們很難被認為是真實意義上的采樣方法。此外，上述方法都沒有將形狀輪廓視為特殊特征。受 Canny 邊緣檢測算法和注意力機制的啟發(fā)，本文提出了一種基于非生成注意力的點云邊緣采樣方法 (APES)，結(jié)合了基于神經(jīng)網(wǎng)絡(luò)的學習和基于數(shù)學統(tǒng)計的直接點選擇。

APES使用注意力機制來計算相關(guān)圖和樣本邊緣點，這些邊緣點的屬性反映在這些相關(guān)圖中。提出了兩種具有不同注意力模式的 APES。此外，我們的方法可以將輸入點云下采樣到任何所需的大小。基于鄰居到點(N2P)注意，計算每個點與其相鄰點之間的相關(guān)映射，提出了基于局部的APES基于點對點 (P2P) 注意力，它計算所有點之間的相關(guān)性圖，提出了基于全局的 APES本文的貢獻如下：

1）一種點云邊緣采樣方法，稱為 APES，它結(jié)合了基于神經(jīng)網(wǎng)絡(luò)的學習和基于數(shù)學統(tǒng)計的直接點選擇2）通過使用兩種不同的注意力模式，基于局部的 APES 和基于全局的 APES 的兩種變體3）公共點云基準上的良好定性和定量結(jié)果，證明了所提出的采樣方法的有效性。這里也推薦「3D視覺工坊」新課程三維點云處理：算法與實戰(zhàn)匯總2 相關(guān)背景

傳統(tǒng)點云采樣方法

隨機采樣(RS):簡單高效,但無法控制采樣點分布。

最遠點采樣(FPS):迭代選擇點云中最遠點,目前最廣泛使用。

均勻采樣:選擇點云中均勻分布的點。

網(wǎng)格采樣:使用規(guī)則網(wǎng)格采樣點,無法精確控制點數(shù)。

幾何采樣:基于局部幾何信息采樣,例如曲率。

逆密度采樣(IDIS):采樣距離和值較小的點。

深度學習點云采樣方法

S-Net:直接從全局特征生成新點坐標。

SampleNet:在S-Net基礎(chǔ)上引入軟投影操作。

DA-Net:考慮點云密度進行自適應(yīng)采樣。

MOPS-Net:學習采樣變換矩陣與原點云相乘生成新點云。

PST-NET:使用self-attention層替代S-Net中的MLP層。

但是現(xiàn)有的深度學習采樣方法大多基于生成模型,不能直接選擇點，也沒有考慮形狀邊緣作為特殊特征。

3 方法

3.1 圖像中的Canny邊緣檢測

Canny圖像邊緣檢測流程：

(i）應(yīng)用高斯濾波器平滑圖像；

(ii) 找到圖像的強度梯度；

(iii) 應(yīng)用梯度幅度閾值或下限截止抑制；

(iv) 應(yīng)用雙閾值來確定潛在邊；

(v) 通過抑制所有其他弱且不連接到強邊的邊來最終檢測邊緣。

替換的邊緣檢測

核心思想是計算每個像素的梯度強度。可以更通用地考慮:

定義像素與鄰域像素之間的相關(guān)特性

計算歸一化的相關(guān)性映射，是像素的鄰域；

計算的標準差，大的像素點為邊緣點

使用標準差代替了梯度計算，該方法相比原本的圖像的Canny邊緣檢測器計算成本更高，但卻可以將其應(yīng)用于點云邊緣采樣。相比圖像規(guī)整的排列，點云通常是不規(guī)則的，無序的，甚至是稀疏的，因此基于體素的3D卷積不適用。與圖像具有多種屬性（如RGB或灰度值）相比，對于許多點云來說，點坐標可能是唯一可用的特征。

圖1 使用標準偏差來選擇邊緣像素/點的圖示。在中心像素/點與其相鄰像素之間計算歸一化相關(guān)圖。中心像素/點作為鄰居自包含。歸一化相關(guān)圖中的較大標準偏差意味著它是邊緣像素/點的可能性更高。

3.2 基于局部的點云邊緣采樣

對于點云，我們定義近鄰定義每個點的局部鄰域點云，然后延續(xù)剛剛的替換Canny邊緣檢測算法的思路。

定義點與鄰域點的基于局部的相關(guān)特性

計算歸一化的基于局部的相關(guān)性映射

計算的標準差，大的像素點為邊緣點

其中，與原始的Transformer的模型相比，和 分別表示應(yīng)用于查詢輸入和關(guān)鍵輸入的線性層，即為，特征維度計數(shù)平方根用作比例因子稱之為鄰域-點(N2P)注意力,它捕獲局部信息。

3.3 基于全局的點云邊緣采樣

對于采樣問題，全局信息也是至關(guān)重要的?？紤]k = N的情況，利用線性層Q和K共享所有點，將其稱為點對點 (P2P) 注意力，基于全局的相關(guān)特性與相關(guān)性映射如下：得到全相關(guān)性圖本文改為按列計算和（而不是行），計算得到，較大的點作為邊緣點采樣。主要考慮到，如果點鄰近邊緣點,那么應(yīng)較大，如果在中對應(yīng)的列元素的值也較大，那么也可能是邊緣點。

圖2 所提出方法的關(guān)鍵思想。N 表示點的總數(shù)，而 k 表示用于基于局部采樣方法的鄰居數(shù)量。

3.4 網(wǎng)絡(luò)框架

基于上述兩種模塊，本文構(gòu)建了分類網(wǎng)絡(luò)和分割網(wǎng)絡(luò)，如下圖所示

圖3 用于分類的網(wǎng)絡(luò)架構(gòu)（左上）和分割（右上）。還給出了 N2P 注意力特征學習層（左下）、兩個替代下采樣層（左下）和上采樣層（右下）的結(jié)構(gòu)。這兩種下采樣層將點云從 N 個點下采樣到 M 個點，而上采樣層將其從 M 個點上采樣到 N 個點。

主要組成部分：

編碼層:提取點云特征。

采樣層:應(yīng)用提出的基于局部或全局的邊緣點采樣方法進行下采樣。

解碼層:使用注意力機制進行上采樣。

4 實驗

4.1 分類網(wǎng)絡(luò)

數(shù)據(jù)集：ModelNet40定量比較：分類精度與SOTA方法處于同水平

表1 ModelNet40 上的分類結(jié)果。與其他僅使用原始點云作為輸入的 SOTA 方法相比。請注意，我們報告的結(jié)果沒有考慮投票策略。

定性結(jié)果

圖5 基于局部的APES和基于全局的APES在不同形狀上的可視化采樣結(jié)果。所有形狀都來自測試集。

4.2 分割網(wǎng)絡(luò)

數(shù)據(jù)集：ShapeNetPart定量分析：分割精度略差于SOTA，但對下采樣點云的中間結(jié)果優(yōu)于SOTA，說明下采樣的邊緣點對于算法的性能貢獻較大，而由于邊緣下采樣改變了點云的分布，導(dǎo)致插值上采樣無法重構(gòu)。這里也推薦「3D視覺工坊」新課程三維點云處理：算法與實戰(zhàn)匯總定性結(jié)果

圖6 將可視化分割結(jié)果作為形狀點云進行下采樣。所有形狀都來自測試集。

4.3 消融實驗

數(shù)據(jù)集：ModelNet40Feature Learning Layer

Embedding Dimension

Choice of k in local-based APES

Successive sampling vs. Direct sampling

Additional edge point supervision

4.4 對比實驗

數(shù)據(jù)集：ModelNet40定量分析：

定性分析：

計算復(fù)雜度比較

5 總結(jié)

本文提出了一種基于注意力的點云邊緣采樣（APES）方法。它使用注意力機制相應(yīng)地計算相關(guān)圖并采樣邊緣點?；诓煌淖⒁饬δＪ?，提出了基于局部 APES 和基于全局的 APES 的兩種變體。定性和定量結(jié)果表明，我們的方法在常見的點云基準任務(wù)上取得了良好的性能。在未來的工作中，可以為訓(xùn)練設(shè)計其他補充損失。此外，我們注意到邊緣點采樣的不同點分布阻礙了后期上采樣操作和分割性能。設(shè)計能夠更好地應(yīng)對邊緣點采樣的上采樣方法會很有趣。