作者：Kristof Beets，Imagination Technologies PowerVR產(chǎn)品管理資深總監(jiān)

我們所處的世界充滿(mǎn)著由太陽(yáng)或其他人造光源發(fā)射出的數(shù)以?xún)|計(jì)的光線(xiàn)。當(dāng)光照射到物體表面時(shí)，光線(xiàn)會(huì)以各種方式反彈、分散和反射，直至最終到達(dá)我們的眼睛。正是這種復(fù)雜的交互作用創(chuàng)造了我們的現(xiàn)實(shí)“視界”。光線(xiàn)追蹤是一種用于三維（3D）圖形的照明技術(shù)，它可以模擬真實(shí)世界中的光線(xiàn)照射方式。雖然它能產(chǎn)生最逼真的效果，但是從傳統(tǒng)上看，其過(guò)程對(duì)于計(jì)算機(jī)而言還是過(guò)于復(fù)雜，以致無(wú)法實(shí)時(shí)創(chuàng)建三維圖形。

如今，它被廣泛用于為廣告和電影創(chuàng)建超逼真的渲染效果，但是在這些應(yīng)用中，即使利用當(dāng)今功能非常強(qiáng)大的計(jì)算服務(wù)器，生成每一幀數(shù)據(jù)仍需花費(fèi)數(shù)小時(shí)。光線(xiàn)追蹤是個(gè)時(shí)髦詞，作為實(shí)時(shí)圖形的發(fā)展方向，它令人們感到非常興奮（也有人將其視為炒作，這取決于你的看法）。在本文中，我們將認(rèn)識(shí)光線(xiàn)追蹤，并了解實(shí)現(xiàn)它的方法。

簡(jiǎn)化問(wèn)題

在三維游戲中，場(chǎng)景由各種物體組成，當(dāng)這些物體組合在一起時(shí)，就會(huì)形成數(shù)百萬(wàn)個(gè)三角形。光線(xiàn)追蹤最基本的功能就是發(fā)射出一條光線(xiàn)，然后沿著它在三維場(chǎng)景中的路徑來(lái)定位它所到達(dá)的第一個(gè)物體，進(jìn)而確定應(yīng)該如何對(duì)該物體進(jìn)行照明。然而，用場(chǎng)景中的每個(gè)物體去測(cè)試一條光線(xiàn)以確定它們是否相交，這樣的做法效率太低、計(jì)算成本太高，完全無(wú)法實(shí)時(shí)進(jìn)行。

因此，為了使用光線(xiàn)追蹤技術(shù)，我們需要解決這一問(wèn)題。

使用場(chǎng)景層次結(jié)構(gòu)將兔子劃分到多個(gè)小方框中

這可以通過(guò)建立光線(xiàn)追蹤加速結(jié)構(gòu)來(lái)實(shí)現(xiàn)。為了做到這一點(diǎn)，我們可以圍繞整個(gè)游戲場(chǎng)景繪制一個(gè)方框，然后將其劃分為多個(gè)較小的方框，再將這些小方框細(xì)分為更小的方框，我們按這種方式不斷將方框進(jìn)行細(xì)分，直到小方框中的三角形數(shù)量達(dá)到便于管理的程度為止。我們將其稱(chēng)為場(chǎng)景層次結(jié)構(gòu)，它幫助我們將問(wèn)題簡(jiǎn)化到一定程度，使現(xiàn)有的圖形處理器可以有效地進(jìn)行處理。

這種方法之所以有用，是因?yàn)楫?dāng)我們向游戲場(chǎng)景中發(fā)射光線(xiàn)時(shí)，可以根據(jù)場(chǎng)景層次結(jié)構(gòu)逐層進(jìn)行檢查。首先，我們要檢查光線(xiàn)到底有沒(méi)有射入最大的方框（即我們的場(chǎng)景）。如果有，我們將繼續(xù)檢查下一層的小方框。在這個(gè)階段，我們會(huì)發(fā)現(xiàn)光線(xiàn)射入了一些方框，但沒(méi)有射入另一些方框。接下來(lái)，我們可以不斷將光線(xiàn)未射入的方框排除在外，只重點(diǎn)關(guān)注光線(xiàn)射入的那些方框，直至我們找到光線(xiàn)與三角形相交的地方。至此，我們終于找到了自己的目標(biāo)。

這種層次結(jié)構(gòu)使我們能夠找到光線(xiàn)和三角形最近的交點(diǎn)，而不必測(cè)試場(chǎng)景中的每個(gè)三角形。這極大地簡(jiǎn)化了問(wèn)題，因此可以更快地完成處理過(guò)程。

在幾何處理階段（該階段硬件會(huì)完成物體的動(dòng)畫(huà)處理工作）之后，我們會(huì)將那些三角形置入一個(gè)稱(chēng)為場(chǎng)景層次生成器的專(zhuān)用硬件中，該生成器可以生成上面所述的加速結(jié)構(gòu)。我們還添加了一些專(zhuān)門(mén)的光線(xiàn)/方框/三角形測(cè)試器，它們是專(zhuān)用的固定功能硬件，用于通過(guò)加速結(jié)構(gòu)進(jìn)行光線(xiàn)追蹤，并確定光線(xiàn)與三角形的交點(diǎn)。與使用軟件可編程管線(xiàn)相比，在專(zhuān)用硬件中完成所有這些操作要快得多，而且更節(jié)省面積和功耗。

那么，當(dāng)硬件確定光線(xiàn)照射到一個(gè)三角形之后，下一步該做什么？接下來(lái)我們會(huì)觸發(fā)一個(gè)片段著色器，這是一個(gè)小程序，可以確定該三角形特定位置的顏色，這一步和傳統(tǒng)的渲染方式基本相似。然后，通過(guò)該片段著色器程序，我們將更多的光線(xiàn)發(fā)射到三維場(chǎng)景中，隨著此過(guò)程的不斷重復(fù)，就可以建立起我們的光線(xiàn)追蹤場(chǎng)景。

一致性問(wèn)題

但是，現(xiàn)在我們又有一個(gè)新問(wèn)題。我們向場(chǎng)景中發(fā)射了大量光線(xiàn)，那么該如何高效地進(jìn)行所有處理工作呢？我們需要從存儲(chǔ)器內(nèi)的加速結(jié)構(gòu)中獲取方框和三角形，并且當(dāng)每條光線(xiàn)每次照射到一個(gè)物體上時(shí)都會(huì)觸發(fā)一次片段程序。

不幸的是，光線(xiàn)是不穩(wěn)定的，它們不一定會(huì)沿著同一方向傳播。在專(zhuān)業(yè)術(shù)語(yǔ)中，我們將此描述為不一致性——這會(huì)帶來(lái)問(wèn)題。不一致的數(shù)據(jù)訪(fǎng)問(wèn)對(duì)現(xiàn)代的圖形處理器（GPU）來(lái)說(shuō)是不利的。這有點(diǎn)像在按字母順序排列的名片簿中查找信息，但給我們的名字卻是按完全隨機(jī)的順序排列的——這就需要我們不停地來(lái)回翻查，會(huì)占用寶貴的時(shí)間和精力。

光線(xiàn)追蹤加速結(jié)構(gòu)

更糟糕的是，當(dāng)光線(xiàn)隨機(jī)地向四處反彈時(shí)，它們還會(huì)照射到不同的物體和三角形上，這些物體和三角形需要分別著色和添加陰影，這將觸發(fā)不同的著色器程序。然而，GPU喜歡以并行方式處理著色器。這正是GPU的強(qiáng)大之處：以大規(guī)模并行方式處理數(shù)據(jù)的能力使其比其他處理器（如CPU）更具優(yōu)勢(shì)。這是因?yàn)镚PU的算術(shù)邏輯單元（ALU）本質(zhì)上采用了單指令多線(xiàn)程（SIMT）方式。但是，如果每條光線(xiàn)會(huì)觸發(fā)一個(gè)不同的著色器，那么將無(wú)法在GPU上運(yùn)行，因?yàn)檫@需要多指令多線(xiàn)程（MIMT）架構(gòu)，該架構(gòu)在芯片面積和功耗方面的效率都很低。

針對(duì)此問(wèn)題的一種解決方案是采用Imagination Technologies開(kāi)發(fā)的一致性引擎，該引擎可以追蹤光線(xiàn)，并且在場(chǎng)景中所有混亂的光線(xiàn)之間找到秩序。

如果你看下面的圖片，一開(kāi)始可能會(huì)覺(jué)得光線(xiàn)是隨機(jī)的。但是，如果你更仔細(xì)地觀(guān)察，會(huì)發(fā)現(xiàn)實(shí)際上是存在一致性的。

為了更清楚地對(duì)此進(jìn)行解釋?zhuān)?qǐng)注意圖中物體的某些部分是如何反射相同黃色對(duì)象的。盡管看起來(lái)很混亂，但還是會(huì)發(fā)現(xiàn)有一些光線(xiàn)是沿著同一方向傳播的，并照射到了相似的對(duì)象上。我們的一致性引擎會(huì)對(duì)此進(jìn)行查找，并將這些光線(xiàn)分組，從而使它們更易于被GPU處理。這就是“魔法”，我們重新實(shí)現(xiàn)了高效的數(shù)據(jù)訪(fǎng)問(wèn)和執(zhí)行，從而降低了處理的功耗以及對(duì)帶寬的需求。

混合渲染的好處

太好了，我們現(xiàn)在可以高效地進(jìn)行光線(xiàn)追蹤了。然而，正如我們前面說(shuō)的，現(xiàn)實(shí)世界中會(huì)有數(shù)以?xún)|計(jì)的光線(xiàn)向四面八方反射，從而形成我們眼睛看到的圖像。因此，即使考慮到我們實(shí)現(xiàn)的所有效率提升，使用光線(xiàn)追蹤來(lái)創(chuàng)建整個(gè)場(chǎng)景仍然是有問(wèn)題的。那么解決方案是什么？混合渲染。

雖然傳統(tǒng)的柵格化渲染在如今是一種很好的方法，但它卻困擾于空間交互問(wèn)題，例如燈光/陰影、反射和折射——而這些復(fù)雜的事情正是光線(xiàn)追蹤所擅長(zhǎng)的。通過(guò)混合渲染方法，我們可以同時(shí)利用兩者的優(yōu)勢(shì)，對(duì)簡(jiǎn)單的物體使用柵格化渲染，然后從著色器發(fā)射一些光線(xiàn)，并有選擇性地創(chuàng)建數(shù)量有限的空間光線(xiàn)追蹤查詢(xún)，進(jìn)而創(chuàng)建超逼真的陰影、照明效果和精確的反射。通過(guò)使用這種混合渲染方法，我們極大地減少了所需追蹤的光線(xiàn)數(shù)量，這最終使我們實(shí)現(xiàn)了實(shí)時(shí)性能。

手機(jī)上的光線(xiàn)追蹤：真的會(huì)實(shí)現(xiàn)嗎？

答案很簡(jiǎn)單：是的，會(huì)實(shí)現(xiàn)。如今智能手機(jī)中的GPU相比其首次推出時(shí)已經(jīng)取得了巨大的進(jìn)步，這不僅體現(xiàn)在功能方面，在實(shí)際可實(shí)現(xiàn)的性能方面亦是如此。事實(shí)上，高端智能手機(jī)已經(jīng)突破了1 TFLOPS（每秒萬(wàn)億次浮點(diǎn)運(yùn)算）的計(jì)算壁壘，而這曾是專(zhuān)用游戲機(jī)的專(zhuān)屬能力。這其中的核心問(wèn)題是效率。智能手機(jī)依賴(lài)于電池續(xù)航時(shí)間，而光線(xiàn)追蹤相比傳統(tǒng)的渲染方法更高效，因此它很有可能會(huì)很快地被添加到移動(dòng)設(shè)備體驗(yàn)中。

利用上述創(chuàng)新，Imagination可以實(shí)現(xiàn)高效的光線(xiàn)追蹤。在智能手機(jī)中，使用傳統(tǒng)的柵格化方法在游戲中“偽造”陰影和反射的成本非常高。在Unity或Unreal等現(xiàn)代游戲引擎中，反射是使用級(jí)聯(lián)陰影貼圖生成的。這需要多次渲染屏幕中的幾何體，并將陰影貼圖查找表寫(xiě)入存儲(chǔ)器中，所有這些操作都會(huì)消耗周期和帶寬，并產(chǎn)生大量的GPU和系統(tǒng)功耗。

通過(guò)使用光線(xiàn)追蹤，我們可以向光源發(fā)射一條光線(xiàn)，如果該光線(xiàn)碰到了光以外的任何東西，我們就知道該片段處于陰影中。所以，使用我們簡(jiǎn)化且高度優(yōu)化的光線(xiàn)追蹤解決方案會(huì)簡(jiǎn)單得多，相比級(jí)聯(lián)陰影貼圖所需的預(yù)處理，它是一種功耗更低的解決方案。

在分析我們自2016年以來(lái)的原型光線(xiàn)追蹤硬件時(shí)，我們發(fā)現(xiàn)相比陰影、反射和其他技術(shù)，光線(xiàn)追蹤的功耗通常不到一半，但獲得的質(zhì)量卻高得多。這里需要意識(shí)到的是，一種復(fù)雜但“虛假”的技術(shù)比簡(jiǎn)單的光線(xiàn)追蹤技術(shù)功耗更高，而光線(xiàn)追蹤技術(shù)實(shí)現(xiàn)的效果卻逼真得多，這使得它不僅適合現(xiàn)代的高端智能手機(jī)，而且是非常理想的選擇。

人工智能和超分辨率

雖然在智能手機(jī)中應(yīng)用光線(xiàn)追蹤是一種選擇，但我們同樣對(duì)云游戲的日益普及感到興奮，這得益于5G網(wǎng)絡(luò)和邊緣計(jì)算的發(fā)展。在云游戲中，我們的光線(xiàn)追蹤架構(gòu)所實(shí)現(xiàn)的帶寬和功效很可能也是至關(guān)重要的。

我們需要不斷地進(jìn)行創(chuàng)新，才能以更少的成本實(shí)現(xiàn)更多的成果，因此，我們對(duì)人工智能（AI）處理的飛速發(fā)展感到非常興奮。再加上神經(jīng)網(wǎng)絡(luò)，它們可以與光線(xiàn)追蹤結(jié)合使用，從而提供更高的效率。例如，當(dāng)我們?yōu)榱颂岣咝蕛H追蹤相關(guān)光線(xiàn)時(shí)，可能會(huì)得到含有噪聲的結(jié)果。神經(jīng)網(wǎng)絡(luò)在降噪方面有很好的前景，可以利用學(xué)到的“智能”來(lái)填補(bǔ)缺失的細(xì)節(jié)。這和現(xiàn)實(shí)中的工作方式是一致的，因?yàn)槲覀兊拇竽X也會(huì)填補(bǔ)有限的人類(lèi)視覺(jué)系統(tǒng)留下的許多空白。

神經(jīng)網(wǎng)絡(luò)可以用來(lái)提高圖像質(zhì)量，同時(shí)無(wú)需使用更高的分辨率

另一個(gè)極具潛力的概念是超分辨率。它同樣是利用神經(jīng)網(wǎng)絡(luò)的能力，去智能地學(xué)習(xí)如何填補(bǔ)缺失的細(xì)節(jié)，以支持GPU以較低的分辨率進(jìn)行渲染，從而提高性能并降低功耗，同時(shí)仍然保持視覺(jué)質(zhì)量。

面向未來(lái)

毫無(wú)疑問(wèn)，實(shí)時(shí)光線(xiàn)追蹤擁有光明的前景，這對(duì)于任何對(duì)三維圖形感興趣的人來(lái)說(shuō)無(wú)疑是令人興奮的。由于光線(xiàn)追蹤基于真實(shí)世界的物理原理，因此可以提供最高水平的真實(shí)感，同時(shí)相比我們迄今為止一直在使用的技巧和近似方法，它還可以提供很高的效率。低功耗的柵格化圖形處理、開(kāi)創(chuàng)性的光線(xiàn)追蹤操作，再加上人工智能和神經(jīng)網(wǎng)絡(luò)的持續(xù)創(chuàng)新，所有這些結(jié)合在一起，有助于將圖形處理提升到一個(gè)新的高度。

作者簡(jiǎn)介：


Kristof Beets，現(xiàn)任Imagination Technologies的PowerVR產(chǎn)品管理資深總監(jiān)，他已在Imagination工作超過(guò)19年，先后擔(dān)任過(guò)各種開(kāi)發(fā)、產(chǎn)品和營(yíng)銷(xiāo)職位。

申請(qǐng)轉(zhuǎn)載文章
公眾號(hào)：物理演示實(shí)驗(yàn)室（UPC-Phy-Demo-Lab）
審核編輯：何安