Facebook Reality Labs（FRL）在今年早些時候亮相了Half Dome，這款頭顯原型的眼動追蹤攝像頭、寬視場光學元件、以及自主聚焦的顯示器都預告著行業(yè)朝逼真VR體驗前進的下一步。通過調整顯示器以匹配用戶眼睛運動，Half Dome的變焦設計能夠令每一個虛擬對象清晰對焦。在為VR創(chuàng)建更為舒適、自然和身臨其境的感覺目標中，這一方法帶來了真正的進步。但要實現(xiàn)其所有的潛能，Half Dome的先進硬件需要搭載同樣先進的軟件。

在今年OC5大會的主題演講中，Oculus首席科學家邁克爾·亞伯拉什就透露過借助可以實時實現(xiàn)“自然注視跟隨模糊”的AI渲染器DeepFocus，他們“在解決這個問題上已經(jīng)取得了相當大的進步”。他同時表示Oculus將在未來幾個月內發(fā)表他們的研究成果。

今天，Oculus正式向我們分享了DeepFocus。這一基于AI的渲染系統(tǒng)能夠協(xié)助Half Dome實現(xiàn)模擬人類感知世界的散焦效果。它是第一款能夠實現(xiàn)如此效果的系統(tǒng)，可以模糊用戶當下無法聚焦的場景部分，并且是以一種逼真、實時的注視跟隨方式實現(xiàn)。于本月在日本東京召開的SIGGRAPH亞洲大會上，Oculus已經(jīng)展示了相關的研究論文，他們同時開源了DeepFocus，包括系統(tǒng)的代碼和用于訓練的數(shù)據(jù)集，目標是幫助更廣泛的VR研究人員將模糊融入至他們的研究之中。以下映維網(wǎng)整理了Oculus團隊的具體分享。

渲染模糊對超逼真體驗而言十分關鍵

DeepFocus由FRL的多學科研究團隊開發(fā)。這與電影美學或炫酷的視覺效果無關。實際上，渲染模糊越精確，用戶就越不可能注意到它。FRL的視覺科學家瑪麗娜·贊諾麗（Marina Zannoli）很早就加入了DeepFocus項目，并認為對于真正逼真的體驗而言，關鍵是聚焦和散焦視覺效果的組合。贊諾麗指出：“我們最終的目標是提供與現(xiàn)實無法區(qū)分的視覺體驗。我們的眼睛就像是微小的相機：當它們聚焦于一個特定的對象時，不同深度的場景部分將看起來很模糊。那些模糊的區(qū)域有助于我們的視覺系統(tǒng)理解世界的三維結構，并幫助我們決定下一個焦點。盡管變焦VR頭顯可以在用戶注視的任何位置提供清晰的圖像，但DeepFocus使得我們能夠像現(xiàn)實世界一樣渲染場景的其余部分：自然模糊。”

逼真視網(wǎng)膜模糊一個最大的潛在優(yōu)勢是，其可以帶來更為舒適的VR體驗。FRL的顯示系統(tǒng)研究小組負責人道格拉斯·蘭曼（Douglas Lanman）解釋說：“重點是實現(xiàn)全天候的身臨其境。無論你是連續(xù)數(shù)小時開玩游戲，還是查閱一個無聊的電子表格，眼睛疲勞，視覺疲勞，以及你愿意花一天時間看著的精美圖片，所有這一切都很重要。”

在2015年Half Dome項目仍位于早期階段的時候，蘭曼就已經(jīng)認識到了渲染模糊的必要性。即便開展項目只是僅數(shù)月時間，但早期原型已經(jīng)展示了在VR中創(chuàng)造清晰焦點的積極前景。但基于軟件的散焦效果是一個主要障礙。我們的過程無法利用現(xiàn)有的技術來渲染非VR游戲中的實時模糊，因為它們更多是與影視攝制方法有關，目標是產(chǎn)生炫酷的電影效果（如精美的散焦背景），并且專門用于平板顯示器和電視，而非奔著逼真感這個目的去。這種快速但不準確的“游戲模糊”實現(xiàn)方法與Half Dome的任務背道而馳。對于Half Dome，其目標是忠實地還原光線進入人類視網(wǎng)膜的方式。

我們投入了數(shù)個月的時間來探索如何通過傳統(tǒng)技術來優(yōu)化計算顯示，但結果仍然不夠快，無法產(chǎn)生真正的實時模糊，無法準確匹配物理現(xiàn)實。這些早期的努力揭示了在VR中渲染逼真模糊的雙重挑戰(zhàn)，亦即我們需要令人難以置信的高渲染速度，以及先進頭顯所需的高圖像質量水平。渲染模糊不是應用于場景時的一次性過程。注視跟隨的模糊必須實現(xiàn)快速，近乎即時的散焦效果，從而才能基本上匹配每個眼睛的運動。與此同時，其保真度無法單純通過降低非聚焦對象的分辨率來實現(xiàn)。

蘭曼發(fā)現(xiàn)，單純地投入更多的處理能力來解決問題并不可行。對于2016年的Half Dome demo，其通過稱為累積緩沖渲染（accumulation buffer rendering）的過程實現(xiàn)了實時模糊，其中每個場景渲染32次。但這種方法可行的原因只是因為整個場景十分簡單，它不可能支持更廣泛的VR體驗，尤其是因為蘭曼專注于為整個VR社區(qū)提供所有的軟件解決方案。蘭曼指出：“我希望它能夠立即用于每一個游戲，這樣我們就不必要求開發(fā)者改變他們的游戲，我渴望開箱即用的解決方案。”

2. 將深度學習帶到VR

蘭曼決定開發(fā)由AI驅動的軟件，而不是被動地等待未來的處理器來滿足我們的要求，或者要求用戶自行提供更多的處理能力。具體而言，他希望利用深度學習，一種能夠通過對大量相關數(shù)據(jù)進行訓練，并從中學習如何執(zhí)行特定任務的AI系統(tǒng)。深度學習算法通常用于分析圖像，甚至是生成圖像。盡管芯片廠商一直在朝這個方向發(fā)展，通過在最新的芯片中添加兼容AI的學習核心來提高圖像質量的上限，但在與VR相關的系統(tǒng)中，深度學習卻少之又少。蘭曼說道：“我們決定利用那些正在推動行業(yè)趨勢的相同AI工具。不僅僅只是生成像素，而且要提供前所未有的真實感。”

對于這個深度學習戰(zhàn)略，蘭曼從聘請不列顛哥倫比亞大學的人工智能研究員肖磊開始，后者的博士研究包括數(shù)值優(yōu)化和計算攝影學的機器學習。蘭曼指出：“我相信當時是肖磊來到實驗室的第一天，我告訴他道，‘我希望像Half Dome這樣的計算顯示器能夠首次實時運行，而且這個解決方案必須適用于Oculus Store中的每款內容，無需要求開發(fā)者進行重新編譯。”

對于已經(jīng)成為FRL研究科學家的肖磊，他的任務是根據(jù)已經(jīng)用于ASW 2.0幀平滑技術，以及大多數(shù)游戲引擎都普遍提供的基本顏色和深度（RGB-D）輸入來生成逼真的模糊，而不是根據(jù)一些復雜的，與焦點相關的新參數(shù)。這一領域早已存在相關的研究，但在虛擬場景深度不連續(xù)處出現(xiàn)的偽影，以及現(xiàn)代VR顯示分辨率下的運行時性能不足一直都在對其造成困擾。理論上，如果AI系統(tǒng)有著對散焦的充分理解，這時無論相鄰像素的相對深度或3D注視位置如何，它都可以預測相鄰像素是如何混合在一起。如果這種技術可以用于簡單的RGB-D輸入，我們就可以將逼真的模糊應用于幾乎所有的VR體驗。

為了實現(xiàn)成熟圖像理解和直接輸入的這種組合，肖磊建立了一個全新的神經(jīng)網(wǎng)絡架構：一個專門針對實時渲染模糊進行優(yōu)化的架構。與用于深度學習圖像分析的更傳統(tǒng)AI系統(tǒng)不同，肖磊研發(fā)的系統(tǒng)可以處理視覺效果，并且同時維持高質量VR所需的超清晰圖像分辨率。

但與所有基于深度學習的系統(tǒng)一樣，F(xiàn)RL需要大量的訓練數(shù)據(jù)。具體來說，DeepFocus需要瀏覽數(shù)千個以不同距離放置各種對象的圖像，并建立起對聚焦和散焦的理解。但是，沒有現(xiàn)成的數(shù)據(jù)集能夠提供DeepFocus團隊所需的各種曲面和形狀。所以肖磊和FRL的技術美術馬特·查普曼（Matt Chapman）自行創(chuàng)建了這樣一個數(shù)據(jù)庫。

DeepFocus團隊

查普曼是從Oculus產(chǎn)品團隊來到FRL，而他在產(chǎn)品團隊期間曾創(chuàng)建過一系列著名和優(yōu)秀的demo。對于DeepFocus，查普曼將美學放在了一邊，并為肖磊提供了一個虛擬對象的交互式堆積場。查普曼的隨機場景生成器生成了由大量對象組成的場景，包括來自盧浮宮雕塑的3D掃描，以及合成球體，立方體和3D曲線。這些對象隨機放置在3D空間中，深度范圍從25厘米到10米。

由此產(chǎn)生的對象集合令人眼花繚亂，但一種方法可以解決隨機場景生成器的視覺問題。這種不自然的，令人眼花繚亂的幾何形狀和遮擋物具有比現(xiàn)實生活中更多種類的紋理，表面和其他特征，但可以作為深度學習系統(tǒng)的一種焦點分析訓練營。“這是我第一次與技術美術進行密切合作。”肖磊如是說道。像馬特·查普曼這樣的技術美術在研究機構中很少見，但對于FRL的AR和VR創(chuàng)新方法而言至關重要。肖磊表示：“為了改進隨機場景生成器，從微調對象，紋理和材料的分布到減少ground truth圖像的渲染時間，馬特和我進行了大量的迭代。”總的來說，他們利用隨機場景生成器繪制了196000張圖像來對系統(tǒng)進行訓練，使得DeepFocus能夠理解如何在多變和不熟悉的VR環(huán)境中渲染模糊。

在接下來的一年中，DeepFocus團隊增加了視覺科學家（如贊諾麗），以及研究科學家亞歷山大·費克斯（Alexander Fix）和安東·凱普蘭延（Anton Kaplanyan）。他們幫助設計了系統(tǒng)的深度學習方法。FRL的圖形研究團隊負責人凱普蘭延表示：“對于之前用于渲染高度逼真模糊的方法，它們全都是基于人工制作的數(shù)學模型，邊界情況與限制會導致低質量的結果和偽影。利用深度學習，我們的系統(tǒng)能夠實現(xiàn)復雜的效果和關系，例如前景與背景散焦，以及遮擋邊界處的正確模糊。通過生成豐富的ground truth數(shù)據(jù)庫，我們能夠覆蓋更廣泛的散焦效果，并為景深合成設立了新的標準。”

為了幫助證明DeepFocus能夠實際應用于Half Dome，并且利用當前的處理器來實時渲染模糊，F(xiàn)RL的研究軟件工程師薩拉·諾里（Salah Nouri）加入了項目。曾參與過3A級游戲制作的諾里表示：“當我加入團隊時，他們已經(jīng)建立好網(wǎng)絡架構，而且運行時已經(jīng)足夠用于以1080p分辨率運行的常規(guī)PC或主機游戲。但我們至少需要將性能提高四倍，因為VR的要求更高。”

諾里能夠在搭載四枚顯卡的設備上演示DeepFocus和Half Dome。盡管這是比消費者目前可用的設備功能更強大，但仍然屬于一項重大的技術進步。諾里表示：“我們需要非常小心地將四枚顯卡之間的工作并行化，以便它們之間的內存?zhèn)鬏敳粫a(chǎn)生任何額外的延遲，同時幾乎無需任何計算成本。”

FRL對軟件或硬件的探索尚未結束，我們的最終目標是在一枚顯卡上實時運行渲染模糊。但無論是將人工智能技術集成到圖形渲染中，還是開發(fā)新的，更具沉浸感的逼真VR體驗，我們在SIGGRAPH亞洲大會展示的四顯卡demo與研究代表了一個重要的里程碑。蘭曼說道：“我們想看看渲染模糊可以為VR帶來什么增益，但它必須是在真實的游戲和真實的VR設置中運行。我們做到了，而那解鎖了全新的理解。”

3. 未來屬于DeepFocus

對于DeepFocus和Half Dome，我們現(xiàn)在擁有了可以更好理解真實感如何對用戶AR與VR體驗作出貢獻的工具。盡管我們現(xiàn)在是將DeepFocus用于Hald Dome之中，但系統(tǒng)的深度學習可以實現(xiàn)跨硬件兼容。我們的研究論文表明，除了在變焦顯示器上渲染實時模糊外，DeepFocus同時支持用于多焦點和光場顯示的高質量圖像合成。這使得我們的系統(tǒng)適用于所有下一代頭顯技術。

通過開源我們的DeepFocus與訓練數(shù)據(jù)，我們不僅為開發(fā)新VR系統(tǒng)的工程師提供了框架，而且為視覺科學家和研究長期感知問題的其他研究人員提供了框架。例如，我們的視覺系統(tǒng)是如何利用環(huán)境中的模糊來重新聚焦呢？對于世界的三維結構，模糊可以為大腦提供什么信息呢？DeepFocus有可能提供了渲染實時模糊的最后一塊拼圖，但基于我們系統(tǒng)的前沿研究才剛剛開始。