每一個(gè) AR 產(chǎn)品背后都有值得深入探究的技術(shù)，當(dāng)我們參與討論 AR 時(shí)，層出不窮的技術(shù)語(yǔ)言令小白望而卻步。

今天，Rokid R-Lab 研究科學(xué)家霍志宇博士就 AR 中的 6DoF 追蹤方案展開(kāi)討論，他從成本和性能角度出發(fā)，對(duì)目前流行的四種 6DoF 追蹤解決方案進(jìn)行了比較。希望每個(gè)人都能讀得懂，并形成自己對(duì) AR 的認(rèn)識(shí)和看法。

6DoF 追蹤帶給 AR眼鏡怎樣的體驗(yàn)飛躍？如何在設(shè)計(jì)一款 AR 眼鏡時(shí)，實(shí)現(xiàn)六自由度追蹤？以下，enjoy！

1

6DOF 追蹤的進(jìn)化：從標(biāo)識(shí)追蹤到 SLAM 定位，帶給 AR 體驗(yàn)質(zhì)的飛越

好的增強(qiáng)現(xiàn)實(shí)體驗(yàn)首先要是一種互動(dòng)體驗(yàn)，實(shí)現(xiàn)現(xiàn)實(shí)環(huán)境和虛擬世界的結(jié)合，而這種體驗(yàn)離不開(kāi) 6DoF 追蹤（Six degrees of freedom tracking）的加入。

6DoF 追蹤為用戶提供了前所未有的互動(dòng)體驗(yàn)和對(duì)虛擬世界的控制，可以說(shuō)，6DoF 追蹤是虛擬世界與現(xiàn)實(shí)世界建立聯(lián)系的基礎(chǔ)，是 AR 實(shí)現(xiàn)顛覆式體驗(yàn)的前提。

近年來(lái)，隨著技術(shù)的指數(shù)級(jí)的增長(zhǎng)，這種新型的 AR 互動(dòng)體驗(yàn)正在以超出我們想象的態(tài)勢(shì)發(fā)展。

AR 領(lǐng)域六自由度（6DoF）追蹤的應(yīng)用，最早可以追溯到 2003 年, 由 ARToolKit 所支持的首個(gè)移動(dòng)端 AR 應(yīng)用就出現(xiàn)在了 WinCE 平臺(tái)上，但早期運(yùn)體驗(yàn)并沒(méi)有那么優(yōu)秀。

早期 ARToolKit 應(yīng)用程序在 Android 手機(jī)上運(yùn)行

早期的 AR 利用標(biāo)識(shí)圖來(lái)跟蹤攝像機(jī)的位置和姿態(tài)，實(shí)現(xiàn) 6DoF 追蹤。使用者必須將標(biāo)識(shí)圖保留在視野范圍內(nèi)，虛擬內(nèi)容也只能覆蓋在標(biāo)識(shí)圖上，使用者稍微移動(dòng)便會(huì)失去對(duì)標(biāo)識(shí)物的追蹤，虛擬內(nèi)容便無(wú)法對(duì)現(xiàn)實(shí)進(jìn)行覆蓋，虛擬與現(xiàn)實(shí)的融合停留在比較淺層的階段，無(wú)法給予使用者沉浸式的體驗(yàn)。

3DoF 與 6DoF 技術(shù)對(duì)比圖

隨著 SLAM (simultaneous localization and mapping)技術(shù)的普遍應(yīng)用，6DoF 追蹤與 SLAM 相結(jié)合，沉浸式的 AR 體驗(yàn)時(shí)代終于來(lái)臨了。使用者可以擺脫標(biāo)識(shí)圖的束縛，進(jìn)行實(shí)時(shí)定位與地圖構(gòu)建，從而在虛擬內(nèi)容上產(chǎn)生更加沉浸和逼真的體驗(yàn)。

微軟 HoloLens 設(shè)備的 SLAM 功能演示

早期的 AR 眼鏡，為了在任意場(chǎng)景下都能提供最為精確和可靠的追蹤體驗(yàn)，需要裝備由多個(gè)魚(yú)眼攝像頭、深度攝像頭和其他傳感器驅(qū)動(dòng)的高性能追蹤系統(tǒng)。

不過(guò)這會(huì)讓設(shè)備變得沉重且昂貴。即便是功能最為豐富且擁用商用前景的 AR 眼鏡,也會(huì)因?yàn)槠涓甙旱某杀竞驮愀獾呐宕黧w驗(yàn)而遭到市場(chǎng)拒絕。

2016 年面世的 Meta 2 AR 眼鏡

因此，想在輕量級(jí) AR 設(shè)備領(lǐng)域取得成功，產(chǎn)品需要結(jié)合舒適性、經(jīng)濟(jì)性和技術(shù)可行性來(lái)進(jìn)行研發(fā)。包括 Rokid 在內(nèi)的很多 AR 眼鏡研發(fā)公司，正在嘗試通過(guò)有限的視覺(jué)設(shè)備和更少的算力來(lái)實(shí)現(xiàn) 6DoF 追蹤。

2

在AR眼鏡上實(shí)現(xiàn)6DoF追蹤，這4種流行方案到底誰(shuí)更好？

讓我們從成本和性能出發(fā)，比較以下四種流行的 6DoF 追蹤解決方案：

1、單攝像頭

● 硬件成本低

● 易于集成到多種眼鏡設(shè)計(jì)中

● 需要更專業(yè)的優(yōu)化和定制

● 適用于偏靜態(tài)場(chǎng)景

單攝像頭

視頻攝像頭是 AR 眼鏡的常用組件，主要用于拍攝高分辨率的照片和視頻。在外觀和可用性方面，將單個(gè)相機(jī)安裝在眼鏡上相對(duì)簡(jiǎn)單。

但是，視頻攝像機(jī)通常以低頻率（<60fps，大多數(shù)<30fps）運(yùn)行，無(wú)法在運(yùn)動(dòng)中捕捉的高質(zhì)量圖像。 “果凍效應(yīng)”和其他扭曲使得位置追蹤失敗。

2、單眼魚(yú)眼攝像頭

● 為 6DoF 追蹤所預(yù)留的傳感器

● 持續(xù)高頻刷新 6DoF 追蹤結(jié)果

● 會(huì)出現(xiàn)尺度漂移，使得虛擬物體會(huì)在場(chǎng)景中意外移動(dòng)

單魚(yú)眼攝像頭

一些 AR 眼鏡會(huì)配備用于 6DoF 追蹤的單個(gè)魚(yú)眼鏡頭。此解決方案會(huì)產(chǎn)生一些額外的功耗，但通常會(huì)為設(shè)備提供更好的 6DoF 追蹤效果。魚(yú)眼攝像頭的高相機(jī)幀更新率（> 90fps）和全局快門(mén)功能，可以使得 SLAM 系統(tǒng)在運(yùn)動(dòng)場(chǎng)景中保持可靠的追蹤位置。但單個(gè)魚(yú)眼攝像機(jī)應(yīng)放置在眼鏡前面，這會(huì)產(chǎn)生一些設(shè)計(jì)限制。

單魚(yú)眼攝像頭比較不足的的地方在于它所支持的場(chǎng)景規(guī)模有限。一旦移動(dòng)范圍過(guò)大，SLAM 系統(tǒng)就容易產(chǎn)生尺度漂移，導(dǎo)致虛擬對(duì)象在場(chǎng)景中意外移動(dòng)。

3、雙目魚(yú)眼攝像頭

● 高功耗

● 追蹤、尺度估算準(zhǔn)確

● 眼鏡的工業(yè)設(shè)計(jì)會(huì)面臨挑戰(zhàn)

基于雙目魚(yú)眼的 6DoF 追蹤系統(tǒng)已被不同的 AR / VR 頭戴式設(shè)備制造商證明是一種可以量產(chǎn)的解決方案，高通已經(jīng)使用雙目魚(yú)眼視覺(jué)在其 VR 頭盔上展示了高質(zhì)量的 6DoF 位置追蹤功能。

雙目魚(yú)眼攝像頭模組

由于它提供實(shí)時(shí)的地圖初始化、強(qiáng)大的追蹤和對(duì)環(huán)境尺度的準(zhǔn)確測(cè)量，因此額外增加攝像機(jī)所產(chǎn)生的功耗和成本是值得的。

與單眼解決方案相比，雙目魚(yú)眼攝像頭可以更快地?cái)U(kuò)展場(chǎng)景，并能更準(zhǔn)確的測(cè)量環(huán)境尺度從而防止漂移。即使傳感器數(shù)量加倍，計(jì)算復(fù)雜度也不比單眼視覺(jué)系統(tǒng)高很多。但該方案的實(shí)現(xiàn)需要高質(zhì)量?jī)?yōu)化和定制工作，并且功耗高、發(fā)熱大，需要更強(qiáng)的系統(tǒng)和硬件支持。

4、運(yùn)用邊緣計(jì)算

● 成本高昂

● 能實(shí)現(xiàn)高質(zhì)量的 6DoF 追蹤

● 穩(wěn)定性高，可兼容不同平臺(tái)

英特爾推的定位追蹤實(shí)感攝像頭T265 可在邊緣執(zhí)行計(jì)算任務(wù)

邊緣計(jì)算在 AR 設(shè)備中變得越來(lái)越流行，例如，HoloLens 已經(jīng)通過(guò)邊緣計(jì)算來(lái)運(yùn)行其 SLAM 功能，使 CPU 和 OS 在用戶應(yīng)用程序上更高效地工作。對(duì)于輕量級(jí) AR 眼鏡，通過(guò)邊緣計(jì)算來(lái)運(yùn)行 SLAM 不僅可以減少計(jì)算負(fù)荷，還可以使 AR 眼鏡兼容不同類(lèi)型的主機(jī)平臺(tái)。

這個(gè)解決方案的最優(yōu)之處就在于，它可以在任何主機(jī)平臺(tái)上均衡性能，無(wú)需定制優(yōu)化算法。

然而，輕量級(jí) AR 眼鏡通過(guò)邊緣計(jì)算運(yùn)行 6DoF 并不容易。這些類(lèi)型的 AR 眼鏡上的芯片通常僅設(shè)計(jì)用于驅(qū)動(dòng)顯示器并傳輸傳感器數(shù)據(jù)而無(wú)剩余資源用于其他計(jì)算工作。因此可行的解決方案是將成熟的 6DoF 追蹤模塊集成到 AR 眼鏡板上。

目前還沒(méi)有關(guān)于哪種解決方案對(duì)于輕型眼鏡“完美”的結(jié)論。設(shè)計(jì)人員需要根據(jù) AR 眼鏡的應(yīng)用場(chǎng)景，來(lái)定義其產(chǎn)品的功能和預(yù)期用途，以便做出最佳的軟硬件選擇。

Rokid AR 團(tuán)隊(duì)致力于研究最自然的人機(jī)交互體驗(yàn)，并通過(guò) Rokid Glass 和 Rokid Vision（即將在 5 月的美國(guó) AWE 上發(fā)布） 一系列產(chǎn)品來(lái)實(shí)現(xiàn)。研究一個(gè)技術(shù)如何應(yīng)用，是我們每天都需要反復(fù)思考的問(wèn)題。

隨著輕量級(jí) AR 眼鏡的逐漸普及，具有 6DoF 追蹤功能的產(chǎn)品是能夠給消費(fèi)者帶去優(yōu)質(zhì)體驗(yàn)的基礎(chǔ)，也是 AR 產(chǎn)品走向千家萬(wàn)戶的關(guān)鍵技術(shù)之一。