作者：Gina Roos，主編

虛擬現(xiàn)實 (VR) 系統(tǒng)的設計人員面臨著許多挑戰(zhàn)。這些范圍從選擇正確的計算能力和冷卻系統(tǒng)到將所有這些組件打包成一個小尺寸，同時降低成本。但也許最重要的挑戰(zhàn)是人體工程學——確保耳機對用戶來說是舒適的。許多設計權衡與外形尺寸有關。為什么？如果耳機在運行內容時太重或太熱，用戶將不會使用該設備。

負責Oculus VR 產品的 Facebook 虛擬現(xiàn)實硬件產品經理 Prabhu Parthasarathy 表示，雖然人體工程學“非常關鍵”，但它需要硬件、軟件和技術的獨特組合 。

“在設計我們的任何產品時，我們從不孤立地看待單個組件；相反，我們會考慮我們試圖創(chuàng)造的整體產品體驗，包括其獨特的受眾和用例，”他說。

但 Parthasarathy 承認，“魔法”發(fā)生在軟件和硬件集成中。

“魔法發(fā)生在兩個方面——一個是編寫軟件和體驗，讓它像魔法一樣工作，這非常困難，另一部分是讓人體工程學正確，使所有這些都適合讓你忘記的形狀因素硬件和生活在虛擬世界中。”

從一開始就有多種類型的 VR 系統(tǒng)，從基于 PC 的系統(tǒng)（其中頭戴式設備連接到 PC，它負責所有繁重的游戲和圖形工作）到一體式 VR 系統(tǒng)，可以運行所有耳機中的軟件。

Oculus VR 是一家做到了這一切的公司的一個很好的例子。該公司于 2012 年推出，其理念是讓每個人都能負擔得起 VR。兩年后，F(xiàn)acebook 以 20 億美元收購了這家公司，盡管它只有一個耳機原型。

“Facebook 看到了一個機會，并表示，'連接人們的自然進程最終將達到我們希望人們在虛擬世界和社區(qū)中相遇的地步，'”Parthasarathy 解釋說。

第一個產品是 Oculus Rift，這是一個 PC VR 系統(tǒng)，它允許用戶在 PC 上運行為 VR 體驗而開發(fā)的游戲。這些系統(tǒng)不會在游戲大小或圖形類型方面限制游戲開發(fā)者，并且在外部傳感器的幫助下，系統(tǒng)可以確定玩家在現(xiàn)實世界中的位置并將其轉換為虛擬世界。

緊隨其后的是 Oculus Go，它是該公司第一個不受束縛的一體式 VR 系統(tǒng)，其中軟件完全在耳機上運行，但受到三自由度 (DoF) 方向跟蹤的限制。三自由度系統(tǒng)可以跟蹤三個軸。在 VR 頭顯中，它可以檢測到一個人向左/向右移動以及向上/向下和向左/向右轉動他或她的頭。

但它不跟蹤前后運動或蹲伏與站立。這就是六自由度的用武之地，它對系統(tǒng)硬件、軟件和成本都有重大影響。它檢測六個軸上的位置——前/后、左/右和上/下。跟蹤系統(tǒng)可能很復雜，需要額外的硬件和軟件，從而增加成本。

最新的創(chuàng)新是 Oculus Quest，這是該公司首款帶有觸摸控制器的六自由度一體式 VR 系統(tǒng)。該系統(tǒng)彌補了前兩個系統(tǒng)之間的差距，需要硬件和軟件團隊之間的緊密集成。

Oculus Quest 是一款帶有觸摸控制器的六自由度一體式 VR 系統(tǒng)。

構建塊使用 Oculus Quest VR 系統(tǒng)作為設計示例，Parthasarathy 向我們介紹了 VR 系統(tǒng)的關鍵組件——在高層次上。

與許多產品一樣，計算系統(tǒng)的核心是處理器。工程團隊選擇了高通移動芯片組驍龍 835 作為其計算系統(tǒng)的核心。Snapdragon 835 有八個內核，時鐘速度高達 2.45 GHz，并配備了 Adreno 540 GPU。Oculus 設計該系統(tǒng)以優(yōu)化芯片的性能，包括新的冷卻系統(tǒng)，以更高的時鐘頻率運行 CPU。稍后將詳細介紹冷卻系統(tǒng)。

如果處理器是系統(tǒng)的核心，那么最重要 的是跟蹤系統(tǒng)。

為了讓追蹤發(fā)揮作用，Quest 設計師開發(fā)了 Oculus Insight 由內而外的追蹤系統(tǒng)，這是公司的核心競爭力之一，也是最大的創(chuàng)新領域。這允許用戶在現(xiàn)實世界中所做的事情在虛擬世界中瞬間發(fā)生，這要歸功于耳機中的所有傳感器（攝像頭），因為他們在移動時檢測到控制器。

該系統(tǒng)使用來自慣性測量單元 (IMU)、超廣角相機和紅外 LED 組合的更多數(shù)據來跟蹤 VR 耳機和控制器的 6 自由度位置。

Parthasarathy 說，這是一個復雜的系統(tǒng)，由硬件組件——傳感器、IMU 等——復雜的軟件組成，包括傳感器融合和計算機視覺算法。

Oculus Insight由內而外跟蹤的核心 是同步定位和映射（SLAM），它使用計算機視覺算法“融合”來自多個傳感器的傳入數(shù)據，以在不斷更新的數(shù)字地圖中確定對象的位置. 它還使用其他傳感器，例如來自耳機和控制器中 IMU 的加速度和速度數(shù)據，這些數(shù)據在移動芯片組上實時處理。

Oculus Insight 由四個超廣角傳感器組成，用于分析頭戴設備外部的環(huán)境，而計算機視覺算法則用于實時跟蹤精確定位。該系統(tǒng)跟蹤一個人的全方位運動，并精確定位兩個手持控制器和耳機的位置。

“Insight 使用來自這些傳感器的信息來創(chuàng)建您環(huán)境的 3D 地圖，以便讓您安全地在您的游戲空間范圍內，同時將您的動作精確地轉換為 VR，從而帶來令人難以置信的身臨其境的體驗，”Parthasarathy 說。

數(shù)字信號處理優(yōu)化包括異步地圖更新，它允許系統(tǒng)在后臺根據用戶環(huán)境的變化更新地圖。IMU 獨立運行，輸出數(shù)據存儲在內存緩沖區(qū)中，以最大限度地減少系統(tǒng)延遲。

Oculus Insight 一次實時處理多個數(shù)據線程。

接下來是查看系統(tǒng)，或顯示器和光學器件。雖然 Oculus 在其部分產品中使用 LCD 技術，但該公司為 Quest 選擇了 OLED 技術。OLED 顯示屏提供 72Hz 的刷新率和每只眼睛 1,600 × 1,440 的分辨率。Quest 還集成了鏡頭間距調整功能，以提高視覺舒適度。

“制作引人入勝的 VR 體驗的關鍵之一是鏡頭，”Parthasarathy 說?！斑@些 [Fresnel] 鏡頭非常特別，并且是針對頭顯的尺寸和尺寸以及您想要通過頭顯解鎖的各種體驗量身定制的。

“在為無線耳機 Quest 考慮合適的顯示器時，我們需要能夠以相對較低的功耗提供出色視覺效果的東西，以及結合我們一流鏡頭的 OLED 屏幕——與我們在 Oculus Go 中使用的鏡頭相同——提供了適當?shù)钠胶猓彼a充道。

然后是無線組件。由于 Oculus Quest 是一個獨立系統(tǒng)，它使用 Wi-Fi。但這還不是全部。還需要其他通信組件，特別是需要與耳機幾乎實時通信的兩個手控制器。

實時部分是最大的挑戰(zhàn)，它減少了用戶在現(xiàn)實世界中所做的事情和將其轉化為虛擬世界之間的延遲。

“VR 的魔力在于，當我在現(xiàn)實世界中移動我的手時，我們需要它在虛擬世界中幾乎瞬間發(fā)生，”Parthasarathy 說?！叭绻阍诂F(xiàn)實世界中所做的事情與你在虛擬世界中看到的事情之間存在滯后，那么這種體驗就會非常不和諧，以至于你有時會被它所推遲。”

為了減少延遲，Quest 設計人員開發(fā)了自己的協(xié)議來在控制器和耳機之間進行通信。Parthasarathy 說，作為比較，低延遲協(xié)議之一的低功耗藍牙 (BLE) 運行時間約為 7.5 毫秒?！岸鷻C和控制器之間的通信延遲約為 2.5 毫秒，這太棒了?！?/p>

接下來是權力。Parthasarathy 說，VR 的關鍵之一是為人們提供系統(tǒng)不會抑制的體驗，這意味著提供足夠長的電池壽命，讓他們可以做他們想做的事情。

但與此同時，這個想法不僅僅是在耳機中放置一個大電池，他補充道?！澳惚仨毷褂米銐虼蟮碾姵貋砣菁{這些體驗，但又不能讓耳機非常不舒服和沉重。”

Parthasarathy 沒有詳細說明，但表示 Quest 使用定制的電池組。盡管這項技術——可充電電池——并不是獨一無二的，但電池必須是適合耳機的外形尺寸。

根據文檔，Quest 使用 3,648-mAh 可充電鋰離子電池組，額定功率為 14-Wh。雙節(jié)電池的標稱電壓為 3.6 V，重量約為 70 克。

雖然 Parthasarathy 表示 Oculus 主要使用現(xiàn)成的技術，但它通常需要其設計師和組件供應商之間的緊密合作。無論是電池還是顯示器或其他組件，通常都會有很多定制工作恰好滿足他們的要求。

例如，用于跟蹤系統(tǒng)的許多組件都是現(xiàn)成的部件，例如紅外 LED。但在其他情況下，像 IMU 這樣的部件需要進行一些調整。

“我們使用普遍可用的 IMU，但我們對跟蹤的要求非常嚴格，以至于有時我們會去找供應商說，‘你們 90% 的規(guī)格符合我們的要求，但你們能否讓另外 10% 更嚴格以滿足我們獨特的系統(tǒng)要求？'”Parthasarathy 說?！拔覀儾幌氤蔀闉樗惺挛镄D定制硬件的企業(yè)，因此我們嘗試利用現(xiàn)成的組件。

“這款耳機的組件很少，我們只是去找供應商說，‘給我們一些這樣的設備’，我們只是將它們集成到我們的系統(tǒng)中，”他說?！巴ǔＥc供應商有非常密切的合作——比如光學和顯示器?！?/p>

另一個例子是系統(tǒng)冷卻，這是這些系統(tǒng)的一大設計挑戰(zhàn)。Oculus Quest 使用風扇、散熱器和非?！靶路f的架構”的組合，可以讓熱量消散并防止設備過熱。

它使用基于風扇的主動冷卻系統(tǒng)來調節(jié)溫度，這使得 Quest 能夠以更高的時鐘速率持續(xù)運行，因此它可以從 Qualcomm Snapdragon 835 SoC 中獲得更多功率。除了主動混合風扇技術外，該系統(tǒng)還包括熱管和定制設計的散熱路徑。

一旦滿足硬件要求，推動軟件創(chuàng)新是 Oculus 產品的一大支柱。Parthasarathy 說，推動新體驗的方法是達到硬件滿足廣泛性能指標的程度，然后使用軟件突破界限。

“軟件創(chuàng)新使我們能夠將我們的硬件發(fā)揮到最大潛力，同時隨著時間的推移繼續(xù)為人們解鎖越來越好的體驗，”他說?！斑@對我們來說是一個很大的關注領域?！?/p>

一個例子是最初在 Rift S 上推出的Passthrough+功能，它為人們在 VR 中提供立體正確的實時環(huán)境視圖（例如，能夠“透視”傳感器并在仍然佩戴耳機），Parthasarathy 說。

“在 Quest 上實現(xiàn)這一點需要在高性能圖像處理和 3D 計算方面取得進步，現(xiàn)在它已經推出，當你走出游戲空間時，Passthrough+ 會打開，以確保你可以輕松找到回去的路?！?/p>

將它們結合在一起人體工程學是一個重要的設計概念，在許多情況下，它與 VR 系統(tǒng)的組件選擇有關。一切都是實現(xiàn)最佳設計的平衡行為，構成 VR 系統(tǒng)的所有關鍵組件都是設計權衡。

Parthasarathy 說，這一切都是為了在完全沉浸在體驗中的感覺和舒適之間找到適當?shù)钠胶?，同時還要擁有合適的硬件，因此跟蹤是完美的，以及良好的電池壽命和出色的顯示效果。

想一想，他說：“你想擁有一個適合你頭上的耳機，還是想戴上一些感覺就像你的太陽鏡但仍然給你同樣的沉浸感的東西？每個人都想要太陽鏡外形。不幸的是，太陽鏡外形的挑戰(zhàn)在于，您不能完全適應您想要的那種處理、電池或豐富的光學和顯示技術，同時又要使其足夠舒適。

“人體工程學本身并不是最大的挑戰(zhàn)，”Parthasarathy 說?！盀榱颂峁┻@種引人入勝的體驗，你必須考慮到系統(tǒng)的所有方面。

“如果我只想改善人體工程學，這是一個非常簡單的單側杠桿，我可以按下它。但這將伴隨著我們想要做的其他方面的重大妥協(xié)，所以一切都是一個權衡?！?/p>

VR 始于 PC 上的一切，而現(xiàn)在，設計師正試圖在不依賴 PC 和顯卡或大型冷卻系統(tǒng)的馬力的情況下獲得類似的體驗。

“為了在一體式和獨立式 VR 頭戴設備上解鎖類似體驗，需要大量工作和非常獨特的技術，例如固定中心點渲染，我們可以非常巧妙地卸載大量工作，因此我們可以為開發(fā)人員提供盡可能多的 GPU，以便他們制作出色的游戲，”Parthasarathy 說。

“如果你與任何系統(tǒng)工程師交談，他們會告訴你在冷卻和計算以及幀速率和運行頻率之間存在巨大的權衡，”他說?！斑@里發(fā)生了很多事情，我們正在努力解決它?！?/p>

現(xiàn)在，Oculus 正致力于推動人們在 PC 上熟悉的圖形和游戲體驗。該公司最近的一項創(chuàng)新是取消系統(tǒng)中的控制器。去年年底，Oculus 開發(fā)了一個 SDK，允許 VR 開發(fā)人員構建體驗，讓玩家可以在沒有控制器或其他外圍設備的情況下使用自己的雙手。

Quest 的計算機視覺團隊使用深度學習來了解玩家手指的位置，僅使用 Quest 上的單色相機。Oculus 解釋說，該技術創(chuàng)建了一組 3D 點來準確地表示您在 VR 中的手和手指的運動。

手部追蹤是軟件產生重大影響的一個領域?！巴ㄟ^軟件創(chuàng)新，我們可以解鎖全新的輸入和交互模式，而無需任何新硬件，”Parthasarathy 說?！霸谝苿有酒M上啟用這是一個巨大的挑戰(zhàn)。

“為了實現(xiàn)這一目標，我們的計算機視覺團隊開發(fā)了一種應用深度學習的新方法，僅使用 Quest 中內置的單色相機即可了解手指的位置。不需要有源深度感應相機、額外的傳感器或額外的處理器。

“相反，深度學習與基于模型的跟蹤相結合來預測用戶手的位置和手上的點，然后在 3D 模型中重建用戶的手和手指的‘姿勢’，”他說?！斑@一切都是在移動處理器上完成的，不會影響我們專門用于用戶應用程序的資源?！?/p>

從長遠來看，VR 設計師仍然面臨許多設計挑戰(zhàn)，例如制作更小的外形尺寸和更舒適的頭顯，同時仍能提供相同的 VR 體驗，以及更長的電池壽命。其中一些是由客戶驅動的——比如大約 400 到 500 美元的合理價格點。

Parthasarathy 說：“我們正試圖找到一個持續(xù)改善用戶體驗的最佳點，為客戶提供他們想要的東西，同時突破技術的界限并使其更容易獲得。” “我可以用 2,500 或 3,000 美元的耳機解決這些問題，但這不是本意。我們希望讓大多數(shù)人都能訪問它?！?/p>

審核編輯 黃昊宇