Nvidia探索了如何訓(xùn)練模型來(lái)繪制新世界

這是一個(gè)你可以思考的單詞串：AI交互式圖形。Nvidia是主要行為。GPU brainiacs完全支持圖形行業(yè)的下一章“AI”。當(dāng)您根據(jù)視頻素材將神經(jīng)網(wǎng)絡(luò)系統(tǒng)帶入虛擬世界的桌面時(shí)，會(huì)發(fā)生令人敬畏的事情。

創(chuàng)建逼真的數(shù)字場(chǎng)景通常需要很多(和很多)耐心。“現(xiàn)在我們可以將工作卸載到人工智能算法上，”威爾奈特在麻省理工學(xué)院技術(shù)評(píng)論中看到Nvidia正在研究的內(nèi)容時(shí)說(shuō)道。

Nvidia正在宣布它所說(shuō)的第一個(gè)交互式AI呈現(xiàn)虛擬世界，并將其稱(chēng)為“AI突破”。研究小組由負(fù)責(zé)深度學(xué)習(xí)的副總裁Bryan Catanzaro領(lǐng)導(dǎo)。“我們實(shí)際上正在教授模型如何基于真實(shí)視頻進(jìn)行繪制，”他在麻省理工學(xué)院技術(shù)評(píng)論中說(shuō)。

研究科學(xué)家王廷春表示，這些框架是由人工智能技術(shù)提供的。換句話說(shuō)，該團(tuán)隊(duì)已經(jīng)訓(xùn)練了一個(gè)神經(jīng)網(wǎng)絡(luò)，在對(duì)現(xiàn)有視頻進(jìn)行訓(xùn)練后渲染3D環(huán)境。

突破從某人的問(wèn)題開(kāi)始。在Nvidia，假設(shè)問(wèn)題是，如果我們能夠根據(jù)現(xiàn)實(shí)世界的視頻訓(xùn)練AI模型來(lái)繪制新世界怎么辦?因此，它現(xiàn)在已經(jīng)完成了顯示這種圖像生成的技術(shù)。

目標(biāo)用戶是開(kāi)發(fā)人員和藝術(shù)家。他們的想法是為汽車(chē)，游戲或虛擬現(xiàn)實(shí)創(chuàng)建交互式3D虛擬世界。

選擇城市環(huán)境視頻來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

“我們得到了不同城市的駕駛序列，”王廷春說(shuō)。然后他們使用另一個(gè)分段網(wǎng)絡(luò)，從那些序列中提取高級(jí)語(yǔ)義。

UE4引擎幫助生成彩色布局 - 不同的對(duì)象被賦予不同的顏色。網(wǎng)絡(luò)又將表示轉(zhuǎn)換為圖像。

[UE4指虛幻引擎4 的邊緣將其描述為“用于標(biāo)題例如Fortnite，PUBG，戰(zhàn)爭(zhēng)機(jī)器4，和許多其他流行的引擎”。虛幻引擎4網(wǎng)站稱(chēng)它是“ 由游戲開(kāi)發(fā)者為游戲開(kāi)發(fā)者制作的一整套游戲開(kāi)發(fā)工具。”]

Nvidia在加拿大蒙特利爾的NeurIPS會(huì)議上展示了它的進(jìn)展，該會(huì)議專(zhuān)注于人工智能研究。

是的，但是，除了gee-whiz因素之外，重點(diǎn)是什么?內(nèi)容創(chuàng)建很昂貴，這種AI路線可以節(jié)省資金并節(jié)省時(shí)間。新的Atlas觀察到“為了讓虛擬世界更加身臨其境，藝術(shù)家需要用建筑物，巖石，樹(shù)木和其他物體填充它們?？焖賱?chuàng)建和放置所有這些虛擬物體會(huì)增加相當(dāng)高的開(kāi)發(fā)時(shí)間和成本。 “

對(duì)于游戲開(kāi)發(fā)或其他應(yīng)用程序，Nvidia探索了一種方法，允許開(kāi)發(fā)人員通過(guò)使用從現(xiàn)實(shí)世界中學(xué)習(xí)的AI來(lái)以較低的成本創(chuàng)建。新聞稿指出，由于輸出是綜合生成的，“可以輕松編輯場(chǎng)景以刪除，修改或添加對(duì)象。”

The Verge的James Vincent向讀者介紹了Nvidia的研究成果：

“問(wèn)題是，如果深度學(xué)習(xí)算法以每秒25幀的速度為世界生成圖形，它們?nèi)绾伪３謱?duì)象看起來(lái)一樣?Catanzaro說(shuō)這個(gè)問(wèn)題意味著系統(tǒng)的初始結(jié)果是'痛苦的'看看“顏色和紋理”每一幀都會(huì)改變。該團(tuán)隊(duì)為系統(tǒng)提供了短期記憶，因此它可以將新框架與以前的框架進(jìn)行比較。因此，它可以創(chuàng)建與屏幕上的內(nèi)容一致的新框架。

Nvidia新聞稿稱(chēng)“這項(xiàng)研究處于早期階段”。