對(duì)于VR/AR設(shè)備來說，顯示技術(shù)和內(nèi)容生態(tài)可能是最為重要的兩個(gè)元素，但同樣不可忽視的還有設(shè)備中集成的一系列傳感器。這些傳感器的存在是設(shè)備交互的關(guān)鍵，而VR/AR的本質(zhì)其實(shí)就是人機(jī)交互的創(chuàng)新，沒有了這些傳感器，這些虛擬現(xiàn)實(shí)與尋常的顯示設(shè)備并無二致，毫無創(chuàng)新性可言。那么如今的VR/AR設(shè)備中，有哪些傳感器正在頻繁露面呢？我們不妨以在游戲VR設(shè)備上玩轉(zhuǎn)市場的索尼為例。

圖像傳感器

索尼在前不久發(fā)布了PSVR2，并聲稱支持了注視點(diǎn)渲染技術(shù)。這種渲染技術(shù)專注于渲染人注視點(diǎn)范圍內(nèi)的場景，通過降低周邊視覺的成像質(zhì)量來降低設(shè)備負(fù)載。畢竟VR/AR設(shè)備說到底還是移動(dòng)設(shè)備，其功耗和性能都相對(duì)有限，但在這樣的定位下，VR/AR往往需要更高的幀數(shù)。況且與人眼一樣，我們其實(shí)無需對(duì)視覺死角內(nèi)的場景付出過多關(guān)注，所以注視點(diǎn)渲染技術(shù)減輕GPU負(fù)擔(dān)的方案正在席卷整個(gè)業(yè)界。

那么這一技術(shù)是如何實(shí)現(xiàn)的呢？答案就是眼動(dòng)追蹤。眼動(dòng)追蹤有多種實(shí)現(xiàn)手段，但對(duì)于VR/AR設(shè)備來說，該技術(shù)主要利用光源對(duì)眼鏡進(jìn)行照射來產(chǎn)生反射，并使用圖像傳感器來采集光源在角膜和瞳孔上的反射，從而通過角度等參數(shù)來計(jì)算眼動(dòng)的向量，最終判斷人的視線方向。

Tobii Eye Tracker 5 / Tobii

比如Tobii的眼動(dòng)儀就采用了近紅外光源，并利用兩個(gè)圖像傳感器、先進(jìn)的圖像處理算法和三維眼球模型來計(jì)算眼睛和視線的位置。而索尼的PSVR2也配備了兩個(gè)紅外攝像頭，分別完成兩個(gè)眼睛的眼動(dòng)追蹤，另有四個(gè)攝像頭來完成控制器與頭顯的跟蹤。

眼動(dòng)追蹤不僅可以用于注視點(diǎn)渲染，也為VR/AR創(chuàng)造了另一重?cái)?shù)據(jù)輸入，這對(duì)于游戲或者視頻內(nèi)容的創(chuàng)作者來說，也就多了一重交互方式，方便他們用眼動(dòng)數(shù)據(jù)來創(chuàng)造面部表情追蹤、注視反饋和視線鎖定目標(biāo)等功能。

運(yùn)動(dòng)傳感器

為了進(jìn)一步提升沉浸感，VR/AR設(shè)備中往往還加入了陀螺儀、磁力計(jì)和加速度計(jì)等運(yùn)動(dòng)傳感器，陀螺儀主要用于確定角度和姿勢輸入，而磁力計(jì)主要用磁場強(qiáng)度等參數(shù)來定位設(shè)備位置，而加速度計(jì)則顧名思義用來測量加速度。這些傳感器不僅分布在頭戴設(shè)備上，也集成在了控制器上。

運(yùn)動(dòng)傳感器完成姿勢識(shí)別 / 索尼

索尼在去年底公開了一份專利，其中就提到了如何用這些運(yùn)動(dòng)傳感器來完成人體姿勢的識(shí)別匹配。索尼稱目前許多定位方案需要攝像頭或激光之類的視覺追蹤，所以除了頭戴設(shè)備和控制器上的傳感器以外，還需要在使用區(qū)域內(nèi)部署額外的距離傳感器，且中間不能存在障礙物。

PSVR2 Sense控制器 / 索尼

而索尼的這項(xiàng)專利減少了追蹤設(shè)備的數(shù)量，僅使用頭顯和控制器上的運(yùn)動(dòng)傳感器就能重構(gòu)真實(shí)的人體模型。該技術(shù)根據(jù)陀螺儀、磁力計(jì)和加速度計(jì)的數(shù)據(jù)來在數(shù)據(jù)庫中找到正確的匹配，最終確定姿勢和動(dòng)作。不過從索尼的PSVR2和PSVR2 Sense控制器的規(guī)格來看，兩者仍然在采用三軸陀螺儀+三軸加速度計(jì)的六軸運(yùn)動(dòng)感知系統(tǒng)。

BMX160絕對(duì)方向傳感器 / 博世

當(dāng)然了，目前更常見的是IMU和絕對(duì)方向傳感器這樣的高集成方案，比如博世的BMI270和BMX160。BMX絕對(duì)方向傳感器集成了一個(gè)3軸數(shù)字加速度計(jì)、16位數(shù)字陀螺儀和地磁傳感器，即便在三者同時(shí)運(yùn)行時(shí)也只有1585μA的低功耗，非常適合作為AR/VR可穿戴設(shè)備的傳感器融合方案。

小結(jié)

傳感器其實(shí)本來就是針對(duì)特定工作而生的元件，如今在元宇宙概念為AR/VR煥發(fā)的第二春下，專為虛擬現(xiàn)實(shí)場景準(zhǔn)備的傳感器也將迎來新一輪爆發(fā)式增長?？紤]到還有蘋果、微軟和騰訊等大廠的入局，及時(shí)把握這一輪增長，AR/VR與傳感器廠商都能從中獲益。