我想在房間里看到宇宙的銀河系，我想早上1分鐘內(nèi)試穿8條裙子，我要讓游戲的“英雄”跳出來(lái)在寫(xiě)字臺(tái)上來(lái)一場(chǎng)大戰(zhàn)……我們的想法真是越來(lái)越多。

人們的靈感激發(fā)了很多可能性的創(chuàng)作，每一次科技革命都是人類(lèi)對(duì)“認(rèn)知”的進(jìn)化。去年在Facebook的開(kāi)發(fā)者大會(huì)上，藝術(shù)在AR與SLAM技術(shù)的驅(qū)動(dòng)下創(chuàng)造出完美的藝術(shù)作品，利用定位技術(shù)和場(chǎng)景幾何分析，F(xiàn)acebook團(tuán)隊(duì)將著名藝術(shù)家Heather Day的作品素材，巧妙地投影在真實(shí)空間中，隨著現(xiàn)場(chǎng)bgm旋律，優(yōu)美的線條和栩栩如生的畫(huà)作就出現(xiàn)在人們的面前。

Heather的藝術(shù)作品完美投影到真實(shí)世界中

硬件設(shè)備迭代、傳感器升級(jí)以及AR技術(shù)的發(fā)展，讓我們打破視覺(jué)空間的邊界，時(shí)空瞬移的挑戰(zhàn)不再是虛幻。提及AR領(lǐng)域，SLAM作為關(guān)鍵性的底層技術(shù)——同時(shí)定位與地圖構(gòu)建，將真實(shí)場(chǎng)景和想象空間結(jié)合、融入，借助計(jì)算機(jī)視覺(jué)和圖形學(xué)技術(shù)的力量，消除了虛和實(shí)的界限。

AR合影-動(dòng)態(tài)影像融合到真實(shí)世界中

AR集成了真實(shí)世界和虛擬世界的信息，兩種信息相互補(bǔ)充、疊加并實(shí)時(shí)交互。在三維空間中定位虛擬素材，讓不同角度空間都能看到虛擬信息與真實(shí)世界融合的效果，因此，空間6DoF定位和地圖構(gòu)建兩個(gè)關(guān)鍵性能力，不得不提：

6DoF定位——包括位置信息和角度信息，基于手機(jī)攝像頭我們會(huì)看到AR效果，從任意角度拍攝可以看到不同視角的場(chǎng)景，不同角度看到的視野能夠和真實(shí)世界融合在一起。所以，實(shí)時(shí)計(jì)算出手機(jī)設(shè)備的當(dāng)前空間位置和角度很關(guān)鍵，這就是6DoF定位能力。

地圖構(gòu)建——對(duì)整個(gè)場(chǎng)景三維空間、平面結(jié)構(gòu)的充分理解，比如哪里是地板，哪里是墻面，快速精準(zhǔn)的在線構(gòu)建場(chǎng)景，能夠支持實(shí)時(shí)定位和虛擬物體植入，當(dāng)識(shí)別到這些幾何信息我們就可以看到“在地板上放東西，在墻上掛壁畫(huà)”等虛實(shí)結(jié)合的AR效果。

除最為核心的同時(shí)定位和地圖構(gòu)建 SLAM和3D視覺(jué)技術(shù)還包括哪些知識(shí)點(diǎn)

平面/三維物體識(shí)別和跟蹤：基于業(yè)內(nèi)領(lǐng)先的圖像識(shí)別和跟蹤技術(shù)，能夠快速識(shí)別場(chǎng)景中平面/三維物體，對(duì)障礙物體進(jìn)行檢測(cè)跟蹤，如果把一個(gè)虛擬杯子放到某個(gè)場(chǎng)景中，算法能夠識(shí)別它的位置和環(huán)境的三維結(jié)構(gòu)，無(wú)論從哪個(gè)角度檢測(cè)、識(shí)別，畫(huà)面中的物體都會(huì)和真實(shí)世界對(duì)應(yīng)起來(lái)，這便是基于穩(wěn)定的三維跟蹤效果。

運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)（SFM）：對(duì)于某些視頻畫(huà)面，相比于實(shí)時(shí)運(yùn)動(dòng)跟蹤的SLAM，我們也可以離線來(lái)做，算法和SLAM類(lèi)似。一段拍攝好的畫(huà)面或視頻，通過(guò)離線處理，整個(gè)場(chǎng)景可用完整的三維點(diǎn)進(jìn)行恢復(fù)。一些無(wú)序拍攝的場(chǎng)景畫(huà)面，也可以通過(guò)SFM將場(chǎng)景三維結(jié)構(gòu)恢復(fù)。

實(shí)時(shí)深度估計(jì)和三維重建：如果想場(chǎng)景結(jié)構(gòu)在線恢復(fù)得更加完整，就要恢復(fù)出更加稠密的三維點(diǎn)云，也就是稠密三維重建。利用立體匹配算法，將畫(huà)面上的每個(gè)像素在空間上的3D距離計(jì)算出來(lái)，整個(gè)場(chǎng)景掃描的過(guò)程融合多幀畫(huà)面的深度信息，得到完整精準(zhǔn)的場(chǎng)景三維模型，這就是基于深度融合的實(shí)時(shí)三維重建算法。該算法在移動(dòng)設(shè)備上支持實(shí)時(shí)的景深虛化、雙目立體化、真實(shí)感渲染、陰影合成、虛實(shí)物體的遮擋和碰撞等交互效果，創(chuàng)建物理真實(shí)的“虛實(shí)融合”世界。

稠密三維重建

光照估計(jì)：通過(guò)計(jì)算機(jī)視覺(jué)和圖形學(xué)算法，基于真實(shí)場(chǎng)景的視頻數(shù)據(jù)估計(jì)出場(chǎng)景的光照環(huán)境，包括亮度、光源等，渲染時(shí)再將光照信息疊加在虛擬模型上，使渲染效果與真實(shí)環(huán)境更加貼合。

場(chǎng)景圖像+虛實(shí)結(jié)合

跨平臺(tái)的輕量級(jí)AR/VR引擎：不同于前幾項(xiàng)SLAM底層技術(shù)，跨平臺(tái)的輕量級(jí)AR/VR引擎將后端SLAM、三維重建和前端的三維繪制、渲染整合，集成了AR/VR引擎。最終呈現(xiàn)給用戶(hù)的是三維繪制的虛擬場(chǎng)景和真實(shí)世界的融合后的效果。具有跨平臺(tái)、庫(kù)體積小且支持多種光照和材質(zhì)模型，以及虛擬物體的遮擋、陰影投射、Avatar表情驅(qū)動(dòng)等特點(diǎn)。

游戲、機(jī)器人領(lǐng)域SLAM技術(shù)打前戰(zhàn) 我們能做的還有更多

為了保證機(jī)器在某些特定環(huán)境中路徑規(guī)劃更加智能，在機(jī)器人應(yīng)用領(lǐng)域，SLAM技術(shù)的存在也為機(jī)器人識(shí)別周?chē)h(huán)境、躲避障礙物、規(guī)劃路徑、場(chǎng)景地圖實(shí)時(shí)構(gòu)建等提供技術(shù)支持。

在自動(dòng)駕駛領(lǐng)域，SLAM應(yīng)用目的是解決定位和三維重建的難題。在自動(dòng)駕駛過(guò)程中，實(shí)時(shí)定位和路徑規(guī)劃能力很重要，必須要實(shí)時(shí)精準(zhǔn)地獲取信息和坐標(biāo)。關(guān)于地圖構(gòu)建方面，通過(guò)傳感器采集的信息，SLAM算法會(huì)將整個(gè)場(chǎng)景的高精度三維結(jié)構(gòu)進(jìn)行恢復(fù)，高精度地圖也是自動(dòng)駕駛中較為核心的部分。

SLAM與越來(lái)越多的場(chǎng)景相結(jié)合，很多用戶(hù)已經(jīng)感知到AR應(yīng)用的全新體驗(yàn)方式。SLAM與AR技術(shù)讓他們近距離感受到電子游戲中顛覆式的交互體驗(yàn)。原來(lái)我們的體驗(yàn)只在虛擬的3D場(chǎng)景里，如今游戲中虛擬的人設(shè)可以跳出手機(jī)在真實(shí)的場(chǎng)景里進(jìn)行打斗，我們不僅可以和游戲中的“英雄”合影，甚至可以在房間里和虛擬人設(shè)“交戰(zhàn)”。

OPPO聯(lián)手商湯打造AR開(kāi)發(fā)者平臺(tái)

王者榮耀APP入駐

“英雄”跳出了手機(jī)在真實(shí)世界里比拼

除此，SLAM的識(shí)別跟蹤技術(shù)也涉入電商領(lǐng)域，提升我們線上平臺(tái)的購(gòu)物體驗(yàn)。如果我們需要為家里購(gòu)置一臺(tái)冰箱，無(wú)需再擔(dān)心位置擺放、冰箱大小等這些瑣碎的問(wèn)題，通過(guò)手機(jī)攝像頭線上掃描空間環(huán)境，真實(shí)場(chǎng)景中的平面或三維物體就會(huì)快速被識(shí)別出，SLAM算法會(huì)聰明地將“虛擬冰箱”放在最為合適的三維空間里，添置在房間合適的位置上。

京東APP入駐 提升線上平臺(tái)購(gòu)物體驗(yàn)

近期，OPPO與商湯科技合作吸納多家APP進(jìn)駐，共同推進(jìn)AR應(yīng)用的普及，首批進(jìn)駐的APP中王者榮耀和京東，便是通過(guò)商湯的SLAM底層技術(shù)與AR支持讓更多消費(fèi)者感受到AR應(yīng)用的全新交互方式。針對(duì)垂直行業(yè)深度定制優(yōu)化的特點(diǎn)，商湯將會(huì)為互娛、游戲、電商、廣告、旅游、教育、家裝等行業(yè)開(kāi)發(fā)相應(yīng)的AR增強(qiáng)工具包，幫助APP廠商深化行業(yè)AR應(yīng)用。

深度定制化合作 通過(guò)APP交互給用戶(hù)最佳體驗(yàn)

由商湯科技研發(fā)的SenseAR底層引擎解決方案將AR基本能力賦予手機(jī)廠商?；谟布笆謾C(jī)廠商提供的信息和數(shù)據(jù)，通過(guò)算法實(shí)時(shí)處理，反饋空間定位信息、空間場(chǎng)景的三維信息，手機(jī)廠商將算法做整體封裝，作為手機(jī)的基礎(chǔ)能力，開(kāi)發(fā)者基于封裝的SDK和手機(jī)平臺(tái)就可以進(jìn)行更為復(fù)雜邏輯的應(yīng)用開(kāi)發(fā)。商湯科技將聯(lián)合合作伙伴一起搭建AR內(nèi)容創(chuàng)作平臺(tái)，提供AR內(nèi)容創(chuàng)作工具鏈和AR內(nèi)容素材給APP開(kāi)發(fā)商，解決AR內(nèi)容缺乏、創(chuàng)作效率低的痛點(diǎn)。

與同類(lèi)AR平臺(tái)相比，SenseAR平臺(tái)的硬件適配、軟件開(kāi)發(fā)的低成本，是平臺(tái)核心優(yōu)勢(shì)。與ARCore對(duì)硬件高標(biāo)準(zhǔn)的要求不同，SenseAR支持不同的硬件配置，在缺失陀螺儀的傳感器設(shè)備上也能穩(wěn)定運(yùn)行，即便是千元左右的大眾機(jī)型，都可以在手機(jī)上很好的呈現(xiàn)平臺(tái)的性能，覆蓋廣泛。并且支持安卓、iOS、Windows、Linux、Mac OS等多種操作系統(tǒng)，只需要開(kāi)發(fā)一次就能跨各種操作系統(tǒng)和硬件終端。