NVIDIA最新的“RTX”顯卡將深刻影響VR發(fā)展
RTX卡基于公司的圖靈架構,為加速光線跟蹤和人工智能的圖形鋪平了道路,并且還基于“Pascal”架構,為NVIDIA之前的10系列GPU帶來了VR特定的增強功能。
圖靈體系結構引入了兩種新型“核心”(用于快速處理特定任務的處理器),這些在以前的GeForce卡中是找不到的:RT核心和張量核心。RT內(nèi)核旨在加速光線跟蹤操作,該模擬可模擬光在場景周圍反彈的方式以及與對象的交互。Tensor Core旨在加速張量操作,這對于AI推理很有用,就像神經(jīng)網(wǎng)絡和深度學習一樣。
這意味著除了通常的基于CUDA的渲染之外,RTX卡還能夠將加速光線跟蹤和AI處理引入渲染混合,這可以產(chǎn)生一些令人印象深刻的實時反射等。但是,由于更逼真的閃電,超出了獲得更好圖形的潛力,RTX卡為VR帶來了什么?
?
?
超寬視場頭顯的多視圖渲染
在過去幾年中,所謂的“單程立體”渲染已經(jīng)成為渲染VR頭戴式立體景觀的重要部分,因為每只眼睛需要看到略微不同的場景視圖以創(chuàng)建精確的3D視圖。單通道立體聲允許通過單個渲染通道為兩只眼睛渲染場景的幾何形狀,而不是每只眼睛一次通過。
即將推出的超寬FOV頭顯,如StarVR One,通常使用彼此成角度的顯示器,以實現(xiàn)其廣闊的視野。在沒有失真的情況下渲染(特別是當每個眼睛的視圖的內(nèi)容在每個顯示器的擴展的FOV和角度時非常不同時)并不是一項輕松的任務。
RTX GPU現(xiàn)在能夠進行多視圖渲染,NVIDIA稱其類似于單通道立體聲的下一代版本。多視圖渲染可以通過從2到4的單次通過來實現(xiàn)可能的幾何投影的數(shù)量,從而允許在具有傾斜顯示的頭顯的單次通過中渲染超寬視場。該公司還表示,所有四個投影現(xiàn)在都與位置無關,并且能夠沿任何軸移動,這將在未來的耳機中實現(xiàn)更復雜的顯示布局。
看來,多視圖渲染的每個視角也應該能夠通過同時多投影(Pascal卡引入的功能)對鏡頭匹配著色進行分段。
?
?
Foveated Rendering的可變速率著色
在您的外圍視圖中,您不會注意到更高效渲染的漸變渲染細節(jié)已經(jīng)被討論多年了,但實際實現(xiàn)在很大程度上依賴于許多當前頭顯中沒有的眼動追蹤技術。但是,由于在一系列下一代頭顯中需要進行眼動跟蹤,因此對于有效的渲染渲染方法的需求變得越來越重要。
NVIDIA表示,他們的新RTX卡支持一種稱為可變速率著色的功能,可以動態(tài)調(diào)整場景的一部分與另一部分的陰影效果。目前尚不清楚這個功能究竟是如何工作的,但它聽起來像是上一個Multi-res Shading功能的下一步,它就像一個靜態(tài)的漸變渲染解決方案。
加速光線跟蹤聲音模擬
事實證明,光線追蹤不僅僅涉及光線。光線跟蹤還可用于模擬聲波在環(huán)境中反彈時的復雜交互。正如NVIDIA所指出的,今天VR的許多空間音頻實現(xiàn)提供了準確的位置聲音,但通常不考慮聲音如何與用戶周圍環(huán)境的幾何形狀相互作用,這會對準確性和沉浸感產(chǎn)生重大影響。
NVIDIA在2016年發(fā)布了他們的VRWorks音頻解決方案,該解決方案可以在GPU上實時模擬聲音。通過新的RTX卡中的RT Cores,該公司表示,與前一代產(chǎn)品相比,VRWorks Audio的實施速度提高了6倍。由于VRWorks Audio要求分享GPU的處理能力,新加速的功能可能對開發(fā)人員更具吸引力,因為他們可以比以前更多地保留GPU的圖形任務功能。
?
?
VirtualLink
當然還有VirtualLink,一種基于USB-C的連接標準。VirtualLink連接器提供四個高速HBR3 DisplayPort通道,一個用于車載攝像頭的USB3.1數(shù)據(jù)通道,以及高達27瓦的功率,所有這些都在一根電纜中。該標準被稱為“專為VR而設計”,針對延遲和下一代頭顯的需求進行了優(yōu)化。
所有轉向卡在技術上都支持VirtualLink(包括Quadro卡),但根據(jù)制造商的不同,端口可能因卡而異。對于NVIDIA而言,該公司自己的'創(chuàng)始版'版本的2080 Ti,2080和2070已被確認包含在內(nèi)。
上面提到的所有功能(VirtualLink除外)都是NVIDIA VRWorks軟件包的一部分,必須由開發(fā)人員或游戲引擎開發(fā)者專門實現(xiàn)。該公司表示,可變速率著色,多視圖渲染和VRWorks音頻SDK將于9月份通過VRWorks更新提供給開發(fā)人員。