AR增強(qiáng)現(xiàn)實(shí)，是用戶(hù)對(duì)現(xiàn)實(shí)世界感知的新技術(shù)。

一般認(rèn)為，AR技術(shù)的出現(xiàn)源于虛擬現(xiàn)實(shí)技術(shù)（Virtual Reality，簡(jiǎn)稱(chēng)VR）的發(fā)展，但二者存在明顯的差別。

傳統(tǒng)VR技術(shù)給予用戶(hù)一種在虛擬世界中完全沉浸的效果，是另外創(chuàng)造一個(gè)世界；而AR技術(shù)則把計(jì)算機(jī)帶入到用戶(hù)的真實(shí)世界中，通過(guò)聽(tīng)、看、摸、聞虛擬信息，來(lái)增強(qiáng)對(duì)現(xiàn)實(shí)世界的感知，實(shí)現(xiàn)了從“人去適應(yīng)機(jī)器”到技術(shù)“以人為本”的轉(zhuǎn)變。

AR技術(shù)原理

AR從其技術(shù)手段和表現(xiàn)形式上，可以明確分為大約兩類(lèi)，一是Vision based AR，即基于計(jì)算機(jī)視覺(jué)的AR，二是LBS basedAR，即基于地理位置信息的AR。

01、Vision based AR

基于計(jì)算機(jī)視覺(jué)的AR是利用計(jì)算機(jī)視覺(jué)方法建立現(xiàn)實(shí)世界與屏幕之間的映射關(guān)系，使我們想要繪制的圖形或是3D模型可以如同依附在現(xiàn)實(shí)物體上一般展現(xiàn)在屏幕上，如何做到這一點(diǎn)呢？

本質(zhì)上來(lái)講就是要找到現(xiàn)實(shí)場(chǎng)景中的一個(gè)依附平面，然后再將這個(gè)3維場(chǎng)景下的平面映射到我們2維屏幕上，然后再在這個(gè)平面上繪制你想要展現(xiàn)的圖形，從技術(shù)實(shí)現(xiàn)手段上可以 分為2類(lèi) ：

1、 Marker-Based AR

這種實(shí)現(xiàn)方法需要一個(gè)事先制作好的Marker(例如:繪制著一定規(guī)格形狀的模板卡片或者二維碼），然后把Marker放到現(xiàn)實(shí)中的一個(gè)位置上，相當(dāng)于確定了一個(gè)現(xiàn)實(shí)場(chǎng)景中的平面。

然后通過(guò)攝像頭對(duì)Marker進(jìn)行識(shí)別和姿態(tài)評(píng)估（Pose Estimation），并確定其位置，然后將該Marker中心為原點(diǎn)的坐標(biāo)系稱(chēng)為Marker Coordinates即模板坐標(biāo)系。

我們要做的事情實(shí)際上是要得到一個(gè)變換從而使模板坐標(biāo)系和屏幕坐標(biāo)系建立映射關(guān)系，這樣我們根據(jù)這個(gè)變換在屏幕上畫(huà)出的圖形就可以達(dá)到該圖形依附在Marker上的效果。

理解其原理需要一點(diǎn)3D射影幾何的知識(shí)，從模板坐標(biāo)系變換到真實(shí)的屏幕坐標(biāo)系需要先旋轉(zhuǎn)平移到攝像機(jī)坐標(biāo)系（Camera Coordinates）然后再?gòu)臄z像機(jī)坐標(biāo)系映射到屏幕坐標(biāo)系。

在實(shí)際的編碼中，所有這些變換都是一個(gè)矩陣，在線(xiàn)性代數(shù)中矩陣代表一個(gè)變換，對(duì)坐標(biāo)進(jìn)行矩陣左乘便是一個(gè)線(xiàn)性變換（對(duì)于平移這種非線(xiàn)性變換，可以采用齊次坐標(biāo)來(lái)進(jìn)行矩陣運(yùn)算）。公式如下：

矩陣C的學(xué)名叫攝像機(jī)內(nèi)參矩陣，矩陣Tm叫攝像機(jī)外參矩陣，其中內(nèi)參矩陣是需要事先進(jìn)行攝像機(jī)標(biāo)定得到的，而外參矩陣是未知的，需要我們根據(jù)屏幕坐標(biāo)(xc ,yc)和事先定義好的Marker 坐標(biāo)系以及內(nèi)參矩陣來(lái)估計(jì)Tm，然后繪制圖形的時(shí)候根據(jù)Tm來(lái)繪制（初始估計(jì)的Tm不夠精確，還需要使用非線(xiàn)性最小二乘進(jìn)行迭代尋優(yōu)）。

比如使用OpenGL繪制的時(shí)候就要在GL_MODELVIEW的模式下加載Tm矩陣來(lái)進(jìn)行圖形顯示。

2、 Marker-Less AR

基本原理與Marker based AR相同，不過(guò)它可以用任何具有足夠特征點(diǎn)的物體(例如：書(shū)的封面)作為平面基準(zhǔn)，而不需要事先制作特殊的模板。

擺脫了模板對(duì)AR應(yīng)用的束縛。

它的原理是通過(guò)一系列算法(如：SURF，ORB，F(xiàn)ERN等)對(duì)模板物體提取特征點(diǎn)，并記錄或者學(xué)習(xí)這些特征點(diǎn)。

當(dāng)攝像頭掃描周?chē)鷪?chǎng)景，會(huì)提取周?chē)鷪?chǎng)景的特征點(diǎn)并與記錄的模板物體的特征點(diǎn)進(jìn)行比對(duì)，如果掃描到的特征點(diǎn)和模板特征點(diǎn)匹配數(shù)量超過(guò)閾值，則認(rèn)為掃描到該模板，然后根據(jù)對(duì)應(yīng)的特征點(diǎn)坐標(biāo)估計(jì)Tm矩陣，之后再根據(jù)Tm進(jìn)行圖形繪制(方法與Marker-Based AR類(lèi)似)。

02、LBS-Based AR

其基本原理是通過(guò)GPS獲取用戶(hù)的地理位置，然后從某些數(shù)據(jù)源（比如wiki，google）等處獲取該位置附近物體(如周?chē)牟宛^，銀行，學(xué)校等)的POI信息，再通過(guò)移動(dòng)設(shè)備的電子指南針和加速度傳感器獲取用戶(hù)手持設(shè)備的方向和傾斜角度，通過(guò)這些信息建立目標(biāo)物體在現(xiàn)實(shí)場(chǎng)景中的平面基準(zhǔn)(相當(dāng)于marker)，之后坐標(biāo)變換顯示等的原理與Marker-Based AR類(lèi)似。

這種AR技術(shù)利用設(shè)備的GPS功能及傳感器來(lái)實(shí)現(xiàn)，擺脫了應(yīng)用對(duì)Marker的依賴(lài)，用戶(hù)體驗(yàn)方面要比Marker-Based AR更好。

而且由于不用實(shí)時(shí)識(shí)別Marker姿態(tài)和計(jì)算特征點(diǎn)，性能方面也好于Marker-Based AR和Marker-Less AR，因此對(duì)比Marker-Based AR和Marker-Less AR，LBS-Based AR可以更好的應(yīng)用到移動(dòng)設(shè)備上。

03、AR增強(qiáng)現(xiàn)實(shí)系統(tǒng)組成

1、Monitor-based系統(tǒng)

在基于計(jì)算機(jī)顯示器的AR實(shí)現(xiàn)方案中，攝像機(jī)攝取的真實(shí)世界圖像輸入到計(jì)算機(jī)中，與計(jì)算機(jī)圖形系統(tǒng)產(chǎn)生的虛擬景象合成，并輸出到屏幕顯示器。

用戶(hù)從屏幕上看到最終的增強(qiáng)場(chǎng)景圖片。它雖然不能帶給用戶(hù)多少沉浸感，但卻是一套最簡(jiǎn)單使用的AR實(shí)現(xiàn)方案。

由于這套方案的硬件要求很低，因此被實(shí)驗(yàn)室中的AR系統(tǒng)研究者們大量采用。

2、Video see-through系統(tǒng)

頭盔式顯示器（Head-mounted displays-HMD）被廣泛應(yīng)用于虛擬現(xiàn)實(shí)系統(tǒng)中，用以增強(qiáng)用戶(hù)的視覺(jué)沉浸感。

增強(qiáng)現(xiàn)實(shí)技術(shù)的研究者們也采用了類(lèi)似的顯示技術(shù)，這就是在A(yíng)R中廣泛應(yīng)用的穿透式HMD。

根據(jù)具體實(shí)現(xiàn)原理又劃分為兩大類(lèi)，分別是基于視頻合成技術(shù)的穿透式HMD（video see-through HMD）和基于光學(xué)原理的穿透式HMD（optical see-through HMD）。

Video see-through增強(qiáng)現(xiàn)實(shí)系統(tǒng)實(shí)現(xiàn)方案

3、Optical see-through系統(tǒng)

在上述的兩套系統(tǒng)實(shí)現(xiàn)方案中，輸入計(jì)算機(jī)中的有兩個(gè)通道的信息，一個(gè)是計(jì)算機(jī)產(chǎn)生的虛擬信息通道，一個(gè)是來(lái)自于攝像機(jī)的真實(shí)場(chǎng)景通道。

而在optical see-through HMD實(shí)現(xiàn)方案中去除了后者，真實(shí)場(chǎng)景的圖像經(jīng)過(guò)一定的減光處理后，直接進(jìn)入人眼，虛擬通道的信息經(jīng)投影反射后再進(jìn)入人眼，兩者以光學(xué)的方法進(jìn)行合成。

4、三種系統(tǒng)結(jié)構(gòu)的性能比較

三種AR顯示技術(shù)實(shí)現(xiàn)策略在性能上各有利弊。

在基于monitor-based和video see-through顯示技術(shù)的AR實(shí)現(xiàn)中，都通過(guò)攝像機(jī)來(lái)獲取真實(shí)場(chǎng)景的圖像，在計(jì)算機(jī)中完成虛實(shí)圖像的結(jié)合并輸出。

整個(gè)過(guò)程不可避免的存在一定的系統(tǒng)延遲，這是動(dòng)態(tài)AR應(yīng)用中虛實(shí)注冊(cè)錯(cuò)誤的一個(gè)主要產(chǎn)生原因。

但這時(shí)由于用戶(hù)的視覺(jué)完全在計(jì)算機(jī)的控制之下，這種系統(tǒng)延遲可以通過(guò)計(jì)算機(jī)內(nèi)部虛實(shí)兩個(gè)通道的協(xié)調(diào)配合來(lái)進(jìn)行補(bǔ)償。

而基于optical see-through顯示技術(shù)的AR實(shí)現(xiàn)中，真實(shí)場(chǎng)景的視頻圖像傳送是實(shí)時(shí)的，不受計(jì)算機(jī)控制，因此不可能用控制視頻顯示速率的辦法來(lái)補(bǔ)償系統(tǒng)延遲。

另外，在基于monitor-based和video See-through顯示技術(shù)的AR實(shí)現(xiàn)中，可以利用計(jì)算機(jī)分析輸入的視頻圖像，從真實(shí)場(chǎng)景的圖像信息中抽取跟蹤信息（基準(zhǔn)點(diǎn)或圖像特征），從而輔助動(dòng)態(tài)AR中虛實(shí)景象的注冊(cè)過(guò)程。而基于optical see-through顯示技術(shù)的AR實(shí)現(xiàn)中，可以用來(lái)輔助虛實(shí)注冊(cè)的信息只有頭盔上位置傳感器。

審核編輯：何安