新的虛擬現(xiàn)實(shí)體驗(yàn)可提供極高質(zhì)量的圖像

科學(xué)家們推出了一種新的虛擬現(xiàn)實(shí)(VR)沉浸式體驗(yàn)，該體驗(yàn)基于一種新穎的系統(tǒng)，該系統(tǒng)使用光場捕捉并渲染來自現(xiàn)實(shí)世界的高質(zhì)量逼真圖像。

谷歌公司推出了基于新系統(tǒng)的全新虛擬現(xiàn)實(shí)(VR)沉浸式體驗(yàn)，該系統(tǒng)使用光場捕捉并呈現(xiàn)來自現(xiàn)實(shí)世界的高質(zhì)量逼真圖像。由Google領(lǐng)先的研究人員組成的團(tuán)隊(duì)，歡迎來到Light Fields，這是科技巨頭闖入新興的光場VR體驗(yàn)舞臺，這是VR視頻技術(shù)的一個(gè)令人興奮的角落，因?yàn)樗兄Z提供極高質(zhì)量的圖像和體驗(yàn)在虛擬世界中。

谷歌今年早些時(shí)候發(fā)布了歡迎使用Light Fields作為Steam VR上的免費(fèi)應(yīng)用程序，用于HTC Vive，Oculus Rift和Windows混合現(xiàn)實(shí)耳機(jī)。創(chuàng)作者將在今年會議的新空間Immersive Pavilion的SIGGRAPH 2018展示VR體驗(yàn)。該館專門用于虛擬，增強(qiáng)和混合現(xiàn)實(shí)，并將包含：Vrcade，VR，AR和MR游戲或體驗(yàn)的空間;VR Theatre，一個(gè)講故事的盛會，是計(jì)算機(jī)動畫節(jié)的一部分;和著名的村莊，用于展示大型項(xiàng)目。SIGGRAPH 2018年8月12日至16日在不列顛哥倫比亞省溫哥華舉行，是一年一度的聚會，展示了世界領(lǐng)先的專業(yè)人士，學(xué)者和創(chuàng)意人才，他們處于計(jì)算機(jī)圖形學(xué)和互動技術(shù)的最前沿。

歡迎來到光場的目的地包括美國國家航空航天局的航天飛機(jī)發(fā)現(xiàn)號，向觀眾提供飛行甲板內(nèi)的宇航員視圖，該視圖從未向公眾開放;Gamble House的原始柚木和桃花心木內(nèi)飾，加利福尼亞州帕薩迪納的建筑瑰寶;以及位于加利福尼亞州格拉納達(dá)山的輝煌的圣斯蒂芬教堂，這里有超過14,000件閃閃發(fā)光的彩色玻璃墻。

“我喜歡VR中的光場可以將你傳送到現(xiàn)實(shí)世界中的異國情調(diào)，真正讓你相信自己就在那里，”Google的軟件工程師Ryan Overbeck說。“對我來說，這很神奇。”

為了將這種體驗(yàn)變?yōu)楝F(xiàn)實(shí)，Overbeck與一個(gè)團(tuán)隊(duì)合作，其中包括Google的高級工程師Paul Debevec，他負(fù)責(zé)管理該項(xiàng)目并領(lǐng)導(dǎo)工程師薛明宇，Jay Busch和Graham Fyffe的硬件部分。有了Overbeck，Daniel Erickson和Daniel Evangelakos專注于軟件終端。研究人員設(shè)計(jì)了一個(gè)全面的系統(tǒng)，用于從現(xiàn)實(shí)世界中捕獲的鏡頭中捕獲和渲染高質(zhì)量的球形光場靜止圖像。他們開發(fā)了兩款易于使用的光場攝像機(jī)裝置，基于GoPro Hero4action運(yùn)動相機(jī)，可有效捕捉球體表面的數(shù)千張圖像。然后，這些圖像通過基于云的光場處理管道。

除此之外，Overbeck解釋道，“處理管道使用計(jì)算機(jī)視覺將圖像放置在3D中并生成深度圖，我們使用vp9視頻編解碼器[視頻格式化]的修改版本將光場數(shù)據(jù)壓縮到可管理的尺寸。”他指出，為了渲染光場數(shù)據(jù)集，團(tuán)隊(duì)使用了一種渲染算法，可以實(shí)時(shí)混合數(shù)千個(gè)光場圖像。

該團(tuán)隊(duì)依靠Google在計(jì)算機(jī)視覺，圖形，視頻壓縮和機(jī)器學(xué)習(xí)方面的優(yōu)秀工程師庫來克服光場技術(shù)帶來的獨(dú)特挑戰(zhàn)。他們還與WebM團(tuán)隊(duì)(制作vp9視頻編解碼器)密切合作，開發(fā)出融入其系統(tǒng)的高質(zhì)量光場壓縮格式，并充分利用Jump VR團(tuán)隊(duì)的專業(yè)知識，幫助制作圖像并生成深度地圖。(Jump是Google的專業(yè)VR系統(tǒng)，用于大規(guī)模實(shí)現(xiàn)3D-360視頻制作。)

事實(shí)上，通過Welcome to Light Fields，Google團(tuán)隊(duì)展示了光場VR技術(shù)的潛力和前景，展示了該技術(shù)能夠以無與倫比的真實(shí)感提供真正身臨其境的體驗(yàn)。盡管光場技術(shù)已經(jīng)在計(jì)算機(jī)圖形學(xué)中研究和探索了30多年，但實(shí)際提供高質(zhì)量光場經(jīng)驗(yàn)的實(shí)際系統(tǒng)尚未成為可能。

團(tuán)隊(duì)創(chuàng)建VR光場體驗(yàn)背后的一部分動力是激發(fā)新生的領(lǐng)域。

“歡迎來到Light Fields，證明現(xiàn)在有可能制造一個(gè)引人注目的光場VR瀏覽器，它運(yùn)行在消費(fèi)級硬件上，我們希望這些知識能夠鼓勵(lì)其他人參與構(gòu)建光場技術(shù)和媒體，”Overbeck說道。 。“我們理解，為了最終制作基于光場的引人注目的消費(fèi)產(chǎn)品，我們需要一個(gè)蓬勃發(fā)展的光場生態(tài)系統(tǒng)。我們需要開放式光場編解碼器，我們需要藝術(shù)家創(chuàng)造美麗的光場圖像，我們需要人們使用VR以便搞光場。“