去年蘋(píng)果發(fā)布ARKit軟件框架，以及今年發(fā)布ARKit2，這兩次的發(fā)布對(duì)AR產(chǎn)業(yè)的發(fā)展將有很大的促進(jìn)作用，值得我們保持很高的關(guān)注。

從技術(shù)上來(lái)說(shuō)，AR牽涉到的面很廣，從傳感器（視覺(jué)/IMU等）、手機(jī)/眼鏡等硬件設(shè)備、軟件框架SDK、內(nèi)容生產(chǎn)工具（建模/渲染等）、各種交互技術(shù)（語(yǔ)音、視覺(jué)、觸覺(jué)等）、AR云平臺(tái)，以及基于云平臺(tái)之上的地圖、AI識(shí)別等技術(shù)，可以說(shuō)是集各種先進(jìn)技術(shù)于一體。

蘋(píng)果ARKit的軟件框架，主要包含了三層，第一層主要是快速穩(wěn)定的物理定位，包括實(shí)時(shí)運(yùn)算、運(yùn)動(dòng)定位；第二層是讓虛擬內(nèi)容和現(xiàn)實(shí)環(huán)境的無(wú)縫銜接，包括平面和邊界的感知；第三部分是渲染。按照下圖的軟件架構(gòu)，ARKit的工作流程為：

1、ARSCNView加載場(chǎng)景SCNScene

2、SCNScene啟動(dòng)相機(jī)ARCamera開(kāi)始捕捉場(chǎng)景

3、捕捉場(chǎng)景后ARSCNView開(kāi)始將場(chǎng)景數(shù)據(jù)交給ARSession

4、ARSession通過(guò)管理ARSessionConfiguration實(shí)現(xiàn)場(chǎng)景的追蹤并且返回一個(gè)ARFrame

5、給ARSCNView的scene添加一個(gè)子節(jié)點(diǎn)（3D物體模型）

而在ARKit2上又增加了新的功能，包括滿足多個(gè)設(shè)備同時(shí)顯示同一個(gè)虛擬場(chǎng)景，滿足多人合作游戲、工作的需求，以及統(tǒng)一的AR文件格式USDZ（類(lèi)似于做成PDF統(tǒng)一的格式）。在WWDC大會(huì)上還用AR演示了樂(lè)高模型，用iPad 對(duì)準(zhǔn)一個(gè)真實(shí)的樂(lè)高模型之后，它在屏幕中也變得“虛擬”了，用戶可以打開(kāi)模型的墻面看到里面的結(jié)構(gòu)。這說(shuō)明ARKit已經(jīng)能支持識(shí)別、3D重建技術(shù)了。

Google的ARCore從軟件架構(gòu)與原理上與ARKit類(lèi)似，都允許使用手機(jī)攝像頭，并能調(diào)整虛擬物體與物理世界的匹配，都支持Java/OpenGL，Unity和Unreal等。當(dāng)然ARKit只支持蘋(píng)果系列的產(chǎn)品，是相對(duì)封閉的，而Google是支持安卓系統(tǒng)的。由于不同廠商的手機(jī)型號(hào)兼容性問(wèn)題，而AR是需要軟硬件的緊密依賴(lài)，特別是在傳感器端，需要Google做大量的工作，所以從這個(gè)角度來(lái)看，蘋(píng)果會(huì)走的更靠前。

在傳感器端，VIO（Visual InertialOdometry，視覺(jué)慣性測(cè)量系統(tǒng)）一直是關(guān)注重點(diǎn)。高通推出了針對(duì)VR/AR的專(zhuān)用芯片XR1，推出的VIO技術(shù)，用以追蹤頭部6-DOF（6自由度）運(yùn)動(dòng)，這個(gè)系統(tǒng)使用 Hexagon 682 DSP來(lái)處理攝像頭約30fps的視頻流，同時(shí)使用始終喚醒（All-Ways Aware）的DSP 以800Hz或1000Hz的速率捕捉加速度計(jì)和陀螺儀的數(shù)據(jù)。將這些數(shù)據(jù)相結(jié)合，就能得到6自由度的位置信息。

深度信息的提取對(duì)VIO是至關(guān)重要的，從傳感器技術(shù)路線來(lái)說(shuō)包含了ToF、結(jié)構(gòu)光和雙目，各技術(shù)路線都有優(yōu)缺點(diǎn)，但只有3D信息才能為AR帶來(lái)更多的應(yīng)用服務(wù)，包括視覺(jué)定位服務(wù)、跟蹤、3D重建、交互等。深度視覺(jué)在手機(jī)的應(yīng)用一直是個(gè)挑戰(zhàn)，蘋(píng)果IphoneX在前置端采用結(jié)構(gòu)光，而Vivo的NEX在前置采用的是ToF。采用ToF的最大好處是不需要DOE，相比結(jié)構(gòu)光整個(gè)硬件結(jié)構(gòu)更為緊湊。據(jù)傳下代蘋(píng)果會(huì)推后置的ToF，那對(duì)AR的應(yīng)用生態(tài)會(huì)帶來(lái)很大的變化。

目前市面上的大部分AR都沒(méi)有對(duì)物理實(shí)體的3D重建，AR中的虛擬內(nèi)容看起來(lái)僅僅是在鏡頭中現(xiàn)實(shí)物體的前面移動(dòng)而已。但實(shí)際上3D重建（我的老本行，可惜荒廢了）對(duì)AR來(lái)說(shuō)具有重大的意義，3D 重建系統(tǒng)能夠找出場(chǎng)景中真實(shí)物體的形狀和結(jié)構(gòu)，并且允許虛擬事物之間相互碰撞以及隱藏在真實(shí)世界的后面。3D 重建通過(guò)從場(chǎng)景中獲取的點(diǎn)云，然后將其轉(zhuǎn)換為網(wǎng)格，并將隱形網(wǎng)格傳遞給Unity(連同真實(shí)世界的坐標(biāo))。之后將真實(shí)世界網(wǎng)格精準(zhǔn)地放置在所捕獲的場(chǎng)景上，這意味著虛擬事物似乎能夠與現(xiàn)實(shí)世界互動(dòng)。

在 3D 重建之后，從語(yǔ)義上對(duì)3D場(chǎng)景的理解會(huì)非常有意思。有別于現(xiàn)在CV廠商做的二維圖像識(shí)別，這是三維的世界（當(dāng)然并不排斥在很多AR場(chǎng)景應(yīng)用中，采用2D的識(shí)別技術(shù)來(lái)做），所以會(huì)圍繞3D的數(shù)據(jù)建立新的知識(shí)圖譜，這里面肯定需要大量AI技術(shù)的應(yīng)用。

目前傳統(tǒng)的地圖仍然存在著起點(diǎn)看不懂，轉(zhuǎn)向難辯認(rèn)的問(wèn)題，AR地圖則是很好的工具。目前國(guó)內(nèi)的AR導(dǎo)航，例如“隨便走”，采用的是識(shí)別關(guān)鍵字標(biāo)簽+攝像頭傳感器+直觀箭頭指引，為用戶指明方向。

這種技術(shù)實(shí)際上還是比較初級(jí)的，其一是由于與傳統(tǒng)地圖GPS的簡(jiǎn)單映射，誤差很大，其二是你無(wú)法知曉路上、建筑物、商場(chǎng)等的信息。英國(guó)的Blippar公司通過(guò)整合ARkit VIO和GPS，在圖像的特征點(diǎn)提取匹配的基礎(chǔ)上加上IMU，將里程計(jì)、光流和慣導(dǎo)做數(shù)據(jù)融合，實(shí)現(xiàn)更高精度的定位。利用類(lèi)似于Google街景數(shù)據(jù)庫(kù)的可視化數(shù)據(jù)，根據(jù)用戶對(duì)周?chē)h(huán)境的識(shí)別來(lái)確定用戶的坐標(biāo)位置。同時(shí)能夠?qū)崿F(xiàn)對(duì)環(huán)境的識(shí)別，建筑物的名稱(chēng)，街邊商鋪的店名、評(píng)價(jià)、評(píng)分（POI）都會(huì)顯示在地圖上。AR地圖的整個(gè)采集過(guò)程，從技術(shù)原理上應(yīng)該類(lèi)似于現(xiàn)在火熱的自動(dòng)駕駛地圖的采集，但是在3D重建、渲染、以及識(shí)別上應(yīng)該有更高的要求。

由于目前AR還處于早期發(fā)展階段，從產(chǎn)業(yè)的商業(yè)化策略來(lái)說(shuō)，目前大都采用比較簡(jiǎn)單的AR技術(shù)，在游戲、娛樂(lè)、教育、營(yíng)銷(xiāo)等領(lǐng)域做商業(yè)化落地。

2017年網(wǎng)易成立了人工智能事業(yè)部，把AR部分劃到里面。由于在游戲方面的優(yōu)勢(shì)，網(wǎng)易天然會(huì)把AR技術(shù)應(yīng)用在游戲上，推出了《悠夢(mèng)》、《破曉喚龍者》2款游戲。同時(shí)在營(yíng)銷(xiāo)上，網(wǎng)易洞見(jiàn)、網(wǎng)易云音樂(lè)，與農(nóng)夫山泉共同打造了一次AR營(yíng)銷(xiāo)，在4億瓶“樂(lè)瓶”上，印上了精選樂(lè)評(píng)，手機(jī)一掃，AR實(shí)時(shí)呈現(xiàn)每一瓶礦泉水自帶的音樂(lè)和故事，引發(fā)病毒式傳播討論。在策略上，網(wǎng)易主要在廣告營(yíng)銷(xiāo)、游戲、新零售等領(lǐng)域突破，其技術(shù)積累也是圍繞這些方面展開(kāi)，網(wǎng)易AR已經(jīng)形成了一整套的AR工具組合（ARStudio），包括AR內(nèi)容瀏覽器，以客戶端為載體；互聯(lián)網(wǎng)應(yīng)用引擎，涵蓋了AR底層的定位、AR云端的服務(wù)，甚至多人聯(lián)機(jī)、基于圖片的跟蹤識(shí)別、3D內(nèi)容渲染等；最后是游戲引擎，表現(xiàn)為AR Game Plugin。

美圖的策略則還是主要圍繞著人臉布局。2017年的財(cái)報(bào)顯示，美圖公司全年實(shí)現(xiàn)收益約45.28億元，同比增加186.8%；毛利10.44億元，同比增加336.7%；經(jīng)調(diào)整凈虧損同比下降91.5%至4600萬(wàn)元，公司全年收入及利潤(rùn)增長(zhǎng)超出市場(chǎng)之前的預(yù)期。美圖持續(xù)圍繞“變美”布局，已覆蓋超15億移動(dòng)設(shè)備，超4.5億的月活躍用戶數(shù)。美圖秀秀除了擅長(zhǎng)的圖片處理，還結(jié)合AR、人工智能等技術(shù)，不斷推出頗有創(chuàng)意的萌拍特效。積極與其他廠商合作帶來(lái)新的營(yíng)收，比如與Dior合作，用戶打開(kāi)美圖秀秀，進(jìn)入Dior唇膏試色界面，用戶可通過(guò)使用唇膏濾鏡選擇色號(hào)，直接在自己的自拍照上試色，并可從客戶端直接跳轉(zhuǎn)到購(gòu)買(mǎi)模式。一鍵式購(gòu)買(mǎi)相當(dāng)便利，而AR、人工智能等技術(shù)的運(yùn)用保證了線上唇膏試色效果的真實(shí)。

小熊尼奧在教育領(lǐng)域采用IP內(nèi)容+AR的策略，也取得了很大的成功。從成立以來(lái)，已經(jīng)有了AR地球儀、口袋動(dòng)物園、神奇立體識(shí)字卡片以及照照樂(lè)等軟硬件產(chǎn)品。在IP的塑造上，小熊尼奧推出了基于小熊尼奧的衍生動(dòng)畫(huà)片，同時(shí)和迪士尼、孩之寶這些IP大廠達(dá)成合作。小熊尼奧的策略是，生產(chǎn)更多符合兒童興趣的創(chuàng)意AR產(chǎn)品，同時(shí)圍繞IP不斷去生產(chǎn)新的內(nèi)容。

AR技術(shù)還有很多其他的應(yīng)用，包括電商、短視頻、直播、金融、汽車(chē)、工業(yè)等等，AR本身是一項(xiàng)帶有人的感情的技術(shù)，所以利用AR技術(shù)做出的產(chǎn)品需要直達(dá)人的內(nèi)心，與用戶建立情感的連接，才能把商業(yè)的落地做好。讓我們完全擁抱AR時(shí)代的到來(lái)！