以5G之名拯救VR,靠譜嗎
而從娛樂游戲中誕生的VR,如今更被一些人視為下一代的計(jì)算平臺(tái)。但這個(gè)平臺(tái)不會(huì)像現(xiàn)在VR頭顯(HDM)那樣笨重,不會(huì)遮擋人的正常視線,而且應(yīng)該時(shí)尚、便攜。
高通展示了一款時(shí)尚輕便的XR概念眼鏡。眼鏡看上去和普通眼鏡一樣,但在鏡架、鏡框和鏡片上,集成了多種傳感器和芯片,例如骨傳感器、定向揚(yáng)聲器、追蹤與記錄攝像頭、健康傳感器、慣性傳感器、高敏感話筒、4G5G的多模連接芯片、許多被動(dòng)和主動(dòng)的使用魚眼鏡頭和長(zhǎng)焦鏡頭的相機(jī)、光電夜視和熱成像傳感器、眼球追蹤相機(jī)以及耐用并且半透明顯示的光學(xué)投影組件。這些組件的重量、集成度和性能,絕定了XR眼鏡的佩帶體驗(yàn)。
這種移動(dòng)XR眼鏡的好處是可靠,隨時(shí)隨地可以使用,無需設(shè)置,電池供電時(shí)長(zhǎng),超輕設(shè)計(jì),而且可以利用移動(dòng)生態(tài)系統(tǒng)的規(guī)模,實(shí)現(xiàn)低成本。而現(xiàn)在用得較多的是基于PC的HDM設(shè)備,雖然不受功率和熱量限制,但高端體驗(yàn)昂貴,HDM與PC之間的電線限制了直觀的操作和沉浸感,而且PC的HDM使用限于固定位置。
但目前移動(dòng)XR的情況還遠(yuǎn)沒有如此樂觀。據(jù)賽迪集團(tuán)發(fā)布的VR產(chǎn)業(yè)地圖,其中對(duì)VR技術(shù)產(chǎn)業(yè)做了成熟度矩陣分析,有大量的基礎(chǔ)技術(shù)需要長(zhǎng)期等待,如透明顯示器的成熟預(yù)計(jì)要用5到10年,這是XR眼鏡的重要組件。
中國(guó)移動(dòng)研究院副院長(zhǎng)魏晨光認(rèn)為,VR產(chǎn)業(yè)發(fā)展面臨的挑戰(zhàn)主要是VR設(shè)備的普及不夠,PC VR雖然有更好的畫質(zhì),但價(jià)格昂貴缺乏便攜性;Mobile VR雖然價(jià)格低但比較重,而且計(jì)算能力有限。
需求是最好的推動(dòng)力,當(dāng)VR頭顯熱度降低、移動(dòng)XR方式日受重視,用于移動(dòng)XR的技術(shù)將會(huì)加速成熟。在使用移動(dòng)XR時(shí),5G的低時(shí)延、大寬帶和高可靠等特點(diǎn)可以為移動(dòng)XR更好的使用體驗(yàn)和性能體現(xiàn)打下基礎(chǔ)。
5G支撐邊緣云渲染
使用移動(dòng)XR,必然要分割渲染。分割渲染是將必須在XR眼鏡上做的渲染處理和可以放在邊緣云上做的渲染處理分開,但在最終呈現(xiàn)時(shí)兩個(gè)渲染應(yīng)該同步,這樣我們才能看到完整的虛擬現(xiàn)實(shí)或者增強(qiáng)現(xiàn)實(shí)的畫面。
清華大學(xué)與美國(guó)普渡大學(xué)展開的Furion項(xiàng)目是想解決手機(jī)VR的邊緣計(jì)算問題,這雖然和移動(dòng)XR需要的邊緣云渲染不完全相同,但對(duì)研究分割渲染的特點(diǎn)有重要的借鑒作用。
Furion項(xiàng)目在無線VR的探索中開始用了兩種方法,一種是云端渲染高質(zhì)量VR畫面發(fā)至手機(jī),遇到的問題是移動(dòng)網(wǎng)絡(luò)帶寬不足、幀率受帶寬波動(dòng)影響畫面不穩(wěn);另一種是手機(jī)本地渲染VR應(yīng)用,出現(xiàn)的問題是手機(jī)發(fā)燙、畫面容易卡頓。手機(jī)VR的發(fā)展受電源、GPU/CPU資源的限制,針對(duì)移動(dòng)VR,企業(yè)提出不同的解決辦法。微軟提出FlashBack,核心思想是預(yù)渲染+緩存預(yù)測(cè)。但VR需要預(yù)存50GB,以現(xiàn)在智能手機(jī)的存儲(chǔ)無法支持實(shí)時(shí)交互的虛擬現(xiàn)實(shí)應(yīng)用。
Furion項(xiàng)目將手機(jī)VR分出兩層:一層內(nèi)容是前景交互和背景環(huán)境,另一層是前景交互和背景環(huán)境有可預(yù)測(cè)性的渲染工作。手機(jī)上根據(jù)實(shí)時(shí)交互渲染前景,遠(yuǎn)端做預(yù)渲染背景并進(jìn)行編碼。將臨近的編碼數(shù)據(jù)預(yù)先傳到手機(jī)上,根據(jù)實(shí)時(shí)交互,手機(jī)CPU解壓并協(xié)同顯示,以此實(shí)現(xiàn)手機(jī)與邊緣云的協(xié)同渲染。清華大學(xué)教授崔勇說,手機(jī)上解碼一個(gè)全景幀大約需要40ms的延時(shí),我們采用了并行解碼的方式,多核CPU并行解碼后,延時(shí)降低到約13ms。通過Furion系統(tǒng)做的手機(jī)VR與邊緣云協(xié)同渲染,效果還是比較滿意的,原來本地渲染效果每秒5~7幀,使用后提高到每秒58幀左右。
無論是VR、AR、MR以及我們文中提到的XR,還是正在發(fā)展中的越來越逼真的3D全息顯示,每幀圖像的數(shù)據(jù)量在成倍地增長(zhǎng),每秒的幀數(shù)也從24向36、64、124的方向發(fā)展。VR高帶寬、低延時(shí)、大計(jì)算量的特點(diǎn),對(duì)通信網(wǎng)絡(luò)提出了新的挑戰(zhàn)。5G網(wǎng)絡(luò)具有更高速率、更低時(shí)延、軟件定義網(wǎng)絡(luò)和移動(dòng)邊緣計(jì)算等5G網(wǎng)絡(luò)新技術(shù)可以根據(jù)業(yè)務(wù)需求匹配網(wǎng)絡(luò)和計(jì)算資源,將更好地滿足VR業(yè)務(wù)需求,推動(dòng)VR創(chuàng)新應(yīng)用的發(fā)展,為用戶帶來更豐富的體驗(yàn)。
聚象科技,成立于2013年,是目前國(guó)內(nèi)最早且最有發(fā)展?jié)摿Φ奶摂M現(xiàn)實(shí)(VR)、增強(qiáng)現(xiàn)實(shí)(AR)的內(nèi)容及服務(wù)提供商,二三維GIS應(yīng)用和智慧數(shù)字多媒體互動(dòng)展示技術(shù)的增值服務(wù)供貨商,同時(shí)也是人工智能技術(shù)、大數(shù)據(jù)服務(wù)以及基于行業(yè)軟件應(yīng)用開發(fā)的軟硬件集成商和研發(fā)企業(yè)。公司位于深圳、南寧、澳門三地。公司集創(chuàng)新、研發(fā)、生產(chǎn)、服務(wù)、銷售為一身,利用粵港澳大灣區(qū)及中國(guó)-東盟經(jīng)濟(jì)圈的特殊地理優(yōu)勢(shì),全力打造大灣區(qū)、東盟及泛北部灣創(chuàng)新科技領(lǐng)域中,虛擬現(xiàn)實(shí)及增強(qiáng)現(xiàn)實(shí)內(nèi)容服務(wù)第一品牌。聚象科技也是集5G+VR+AR+AI+物聯(lián)網(wǎng)智能互聯(lián)的企業(yè)。5G+技術(shù)新媒體和應(yīng)用是未來科技的生產(chǎn)力,聚象科技提前布局5G+在VR虛擬現(xiàn)實(shí)和AR增強(qiáng)現(xiàn)實(shí)以及全息互動(dòng)投影等的應(yīng)用研究開發(fā)。為未來5G+數(shù)字化全互動(dòng)領(lǐng)域做持續(xù)技術(shù)創(chuàng)新。
聚象科技,專業(yè)AR/VR以及數(shù)字多媒體互動(dòng)展示服務(wù)提供商
關(guān)注我們的公眾號(hào)了解更多項(xiàng)目案例和產(chǎn)品信息:
達(dá)達(dá)樂園公眾號(hào)
聚象科技公眾號(hào)
青秀區(qū)聚象科技公司總部:
辦公地址:廣西南寧市民族大道92-1號(hào)新城國(guó)際7樓
電話:+86-0771-5384355
手機(jī):+86-18172373496,+86-19914861584,+86-19914853634
QQ:2927006379
郵箱(E-mail):該 Email 地址已受到反垃圾郵件插件保護(hù)。要顯示它需要在瀏覽器中啟用 JavaScript。
高新區(qū)聚象科技分部:
辦公地址:廣西南寧市高新區(qū)高新大道東段25號(hào)南寧市科技企業(yè)孵化基地一樓109號(hào)房
電話:+86-0771-5384355
手機(jī):+86-18172373496,+86-19914861584,+86-19914853634
QQ:2927006379
郵箱(E-mail):該 Email 地址已受到反垃圾郵件插件保護(hù)。要顯示它需要在瀏覽器中啟用 JavaScript。