3D成像（3D imaging）技術(shù)問世已有幾十年之久，但商用產(chǎn)品卻在本世紀(jì)初才開始上市。起初，電影制作公司使用最新高分辨率攝影機(jī)制作3D影片；在那之后，3D成像技術(shù)發(fā)展迅速，橫掃消費(fèi)品市場與機(jī)器視覺產(chǎn)業(yè)。

第四次工業(yè)革命對目前的流程監(jiān)控與自動化規(guī)模提出了前所未有的要求，也為3D視覺帶來了新的發(fā)展驅(qū)動力。傳統(tǒng)的2D視覺方法已無法滿足復(fù)雜物件識別與尺寸標(biāo)示應(yīng)用的精確度與測距要求，日益難以因應(yīng)越來越多的人機(jī)協(xié)同工作等復(fù)雜互動狀況。本文回顧工業(yè)市場的3D成像技術(shù)，探討為何飛行時間法（Time of Flight，ToF)成為當(dāng)前最具發(fā)展前景的方法，最后概述ToF系統(tǒng)專用的CMOS圖像傳感器最新發(fā)展。

3D成像概述取得3D圖像主要有四種方法，包括立體視覺法（Stereo Vision）、結(jié)構(gòu)光法（Structured light）、激光三角法（Laser triangulation）以及ToF。后三種方法屬于自動成像系列，需要用到人造光源。

立體視覺法

立體視覺法需要安裝兩臺攝影機(jī)來取得物件的不同視角（圖1）。采用校正方法調(diào)整攝影機(jī)與準(zhǔn)確深度信息之間的像素信息使之一致，這類似于大腦目測距離的原理。因此，在系統(tǒng)中融入認(rèn)知過程仍離不開大量的運(yùn)算工作。

立體視覺法采用標(biāo)準(zhǔn)圖像傳感器，因而降低了成本。傳感器越復(fù)雜（例如高性能傳感器或全域快門裝置），系統(tǒng)成本越高。其應(yīng)用的距離范圍受到機(jī)械局限的限制：過程中需要一條實(shí)體基準(zhǔn)線，因而需要更大尺寸的模組，同時還需要精確的機(jī)械對準(zhǔn)與重新校正。此外，此方法不適用于光線條件差或變化不定的情況，很大程度上取決于物件的反光特性。

圖1 立體視覺（來源：Tech Briefs）

結(jié)構(gòu)光法

在結(jié)構(gòu)光方法中，預(yù)先確定的光圖案被投射于物件上，然后通過分析圖案如何失真變形而取得深度信息。由于frame周期并無概念上的限制，也不至于造成任何動作模煳不清，對于多路徑界面非常適用。然而，自動照明要求配置復(fù)雜的攝影機(jī)，以及在鏡頭與圖形投影儀之間提供精確、穩(wěn)定的機(jī)械校正功能。此外，這種方法存在著標(biāo)定降級（de-calibration）的風(fēng)險，反射的圖案對于環(huán)境中的光干擾非常敏感，而且也僅限于室內(nèi)應(yīng)用。

圖2 結(jié)構(gòu)光法（來源：University of Kentucky、Laser Focus World）

激光三角法

激光三角法針對一條光束的幾何偏移量進(jìn)行測量，其數(shù)值與物件高度相關(guān)。這是一種基于物件掃描的單維成像方法。激光點(diǎn)出現(xiàn)于攝影機(jī)視野范圍內(nèi)的不同位置，具體取決于激光打在物件表面的距離范圍。由于激光點(diǎn)、攝影機(jī)與激光發(fā)射器形成了一個三角形，因此這種方法被稱為三角法。

圖3 激光三角法位移與位置監(jiān)控應(yīng)用要求高準(zhǔn)確度、高穩(wěn)定性以及低溫度變化，因此，一般采用高分辨率激光。激光三角法的缺點(diǎn)在于這種方法只能覆蓋到一段較小的距離范圍，易受環(huán)境光線影響，并且僅限制于掃描應(yīng)用。同時，它需要用到復(fù)雜算法與校正，而且受到結(jié)構(gòu)性或復(fù)雜表面的影響。

飛行時間法

此方法體現(xiàn)了在攝影機(jī)與場景之間，通過光子雙向飛行時間直接獲取或計(jì)算距離的所有測量實(shí)施方法——可通過直接飛行時間法（D-ToF）或間接飛行時間法（I-ToF）測量方式執(zhí)行。D-ToF的概念很簡單，但需要配置復(fù)雜且具有限制時間解析（time-resolved）的裝置；I-ToF的操作更簡單：光源與圖像傳感器同步。光的脈沖以與攝影機(jī)快門一致的相位發(fā)射。采用光脈沖去同步化作用計(jì)算光子飛行時間，就能推導(dǎo)出發(fā)射點(diǎn)與物件之間的距離。

圖4 ToF工作原理這確保我們能夠?qū)γ總€像素的深度與幅度進(jìn)行直接測量。這種圖像稱為深度圖像。該系統(tǒng)具有較小的高寬比，只需一次校正，即可在環(huán)境光線條件下運(yùn)作良好。不足之處在于它需要主動照明同步，而且可能出現(xiàn)多路徑干擾與距離混疊。

3D成像技術(shù)方案比較

每種方法都具有各自不同的優(yōu)缺點(diǎn)，如表1。

表1 常用的3D成像技術(shù)比較

目前，3D系統(tǒng)的應(yīng)用尚未普遍，因此主要采用3D立體視覺法、結(jié)構(gòu)光攝影機(jī)或激光三角法系統(tǒng)。這些系統(tǒng)在固定的工作距離內(nèi)運(yùn)作，針對特定的測距區(qū)域則需要進(jìn)行大量的校正工作。ToF系統(tǒng)可克服這些方面的挑戰(zhàn)，從應(yīng)用面提供更大的靈活性。目前，由于像素的復(fù)雜度或耗電問題，大部份的商用解決方案仍受限于采用視頻圖形陣列（VGA）或更低的圖像分辨率。

飛行時間法的CMOS圖像傳感器方案看好ToF的應(yīng)用前景，Teledyne e2v開發(fā)出首款3D ToF解決方案，支持130萬像素分辨率深度以及1英吋光學(xué)格式，并配置高靈敏度、高動態(tài)范圍的CMOS圖像傳感器。

這種ToF途徑可實(shí)現(xiàn)灰階圖像與深度融合功能：

- 先進(jìn)的130萬像素深度圖解析度：全分辨率的深度圖，準(zhǔn)確度達(dá)±1cm、速度快

- 可獲取快速移動的物件3D圖像：速度高達(dá)120格/秒(fps)，30fps的分辨率深度圖、全域快門效率高

- 3D檢測范圍大：0.5~5m，支持90dB高動態(tài)范圍(HDR)

- 可見光與近紅外光(NIR)高靈敏度傳感器：850nm波長時量子效率約50%，支持HDR：夜間/日夜視覺

- 嵌入式3D處理：多個感興趣區(qū)域(multi-ROI)——雙視窗、像素合并(binning)、芯片長條圖資料統(tǒng)計(jì)功能

最新開發(fā)的展示平臺可用于評估以深度圖或點(diǎn)云格式輸出的獨(dú)特1.3MP深度分辨率。

如圖5所示的ToF系統(tǒng)展示平臺由一個精巧的1英吋光學(xué)成像系統(tǒng)構(gòu)成，配置高靈敏度的1.3MP圖像傳感器。該平臺內(nèi)建多整合芯片功能(閘極傳感器)、光源以及相關(guān)光學(xué)元件，并以1.3MP全分辨率實(shí)現(xiàn)ToF成像。

圖5 ToF展示平臺（來源：Teledyne e2v）

采用ToF的5T CMOS圖像傳感器主動成像

主動成像使用同步光源。輔助自動對焦功能是主動成像的簡單形式，可見于低光條件下采用紅外光測距的現(xiàn)代攝影機(jī)中。主動成像可應(yīng)用于惡劣天氣條件(如下雨或起霧時)。而采用同樣的傳感器則可能實(shí)現(xiàn)兩種主動成像方法：距離選通法與ToF。距離選通法(range gating)結(jié)合了兩種組成：脈沖光波前端裝置與一臺專業(yè)高速快門攝影機(jī)。首先將光線發(fā)射至目標(biāo)物件，當(dāng)反射光從反射表面返回時，攝影機(jī)高速電子快門適時地開啟。距離選通成像可依據(jù)光與傳感器的同步特性選擇圖像平面距離。因雨天、多霧或霧氣粒子彌漫的環(huán)境導(dǎo)致目標(biāo)物件與攝影機(jī)隔離時，部份光子仍得以穿過介質(zhì)返回?cái)z影機(jī)。這些光子被稱為「彈道光子」(ballistic photon)。雖然這類光子數(shù)量較少，但可同步獲取這些光子，因此可通過散射介質(zhì)進(jìn)行成像。距離選通方法可在遠(yuǎn)距離成像，且?guī)缀醪皇苋魏蜗拗?，但具體也取決于光源的強(qiáng)度。飛行時間法(ToF)的工作原理不同于距離選通。它可以直接測量ToF光線，從而推導(dǎo)出反射面的距離。由于物件與攝影機(jī)之間距離短，因此，基于ToF的系統(tǒng)需要配置一個全域快門攝影機(jī)。相較于主動成像，ToF并非聚焦于特定的圖像平面，因而能在理想范圍內(nèi)直接成像。如圖6所示，距離選通圖像獲取的建置主要依據(jù)同步的攝影機(jī)光源系統(tǒng)。它能在主/從模式下運(yùn)行，具體采用哪種模式取決于應(yīng)用環(huán)境的狀況。攝影機(jī)配置了快速的全域快門，速度快達(dá)數(shù)百納秒(ns)。光源根據(jù)T0時間點(diǎn)攝影機(jī)的觸發(fā)情況發(fā)射光脈沖。經(jīng)過一段時間后(T1)，光脈沖到達(dá)此距離范圍，并根據(jù)是否存在物件而發(fā)生反射與否。在發(fā)生反射的情況下，光線在T2期間返回?cái)z影機(jī)；在此情況下，T3 = T0 + 2 τ，其中τ是攝影機(jī)快門開啟并獲取到反射信號的返程飛行時間。在信號格的時間內(nèi)，這種周期過程周而復(fù)始幾千次，最終累積到足夠的信噪比(SNR)。產(chǎn)生的圖像為灰階圖像，且僅與出現(xiàn)在距離范圍內(nèi)的物件一致。為了產(chǎn)生一個深度圖像，必須在距離選通模式下掃描多個深度以取得一組圖像，或調(diào)整延遲時間。然后根據(jù)這組圖像計(jì)算各個點(diǎn)的距離。

圖6 距離選通工作原理圖7描述了全域快門的像素傳感器結(jié)構(gòu)，以及其產(chǎn)生短曝光與信號同步的原理。最簡單的全域快門形式采用五個電晶體(5T)構(gòu)成的像素，以及一個專用相位驅(qū)動器。因此，信號積分相位并不是一次性完成的，而是隨著同步多次積分而逐漸形成的。

圖7 全域快門像素結(jié)構(gòu)Teledyne e2v的專利技術(shù)基于5T像素結(jié)構(gòu)與計(jì)時產(chǎn)生器，以實(shí)現(xiàn)Δt周期(Δt周期縮短至10ns左右)。這表明在暫態(tài)分辨率方面已獲得了巨大的提升。支持高靈敏度/低雜訊的1.3MP CMOS圖像傳感器正配置了這項(xiàng)功能，并帶有多暫態(tài)積分模式(又稱「累積」模式)。此外，在圖像傳感器還需要有高寄生電荷靈敏度(PLS)，也稱為「消光比」(extinction ratio)，能避免攝影機(jī)選通「關(guān)閉」期間的雜散光線，進(jìn)而獲得清晰的圖像。

圖8 支持計(jì)時調(diào)整與同步電路的5T像素CMOS需要充份的「消光比」，以避免場景的背景光線

為了提高工業(yè)系統(tǒng)的有效性與自主性，視覺系統(tǒng)在視覺引導(dǎo)機(jī)器人與其他自主機(jī)器設(shè)備中的應(yīng)用日漸增多，目前已開始采用3D視覺系統(tǒng)（如物件識別、準(zhǔn)確度）?，F(xiàn)有的幾種3D方法都各自具有優(yōu)點(diǎn)與限制，可取決于具體的應(yīng)用要求作選擇；其中，飛行時間法（ToF）提供了非凡的3D視角，可望推動新一代專用CMOS圖像傳感器的發(fā)展。