計算機科學家開發(fā)了一種系統(tǒng)來合成計算機動畫的逼真聲音

計算機生成圖像的進步為生活帶來了生動逼真的動畫，但是與我們在屏幕上模擬的內容(例如兩個物體碰撞)相關的聲音通常是錄音?，F(xiàn)在，斯坦福大學的研究人員開發(fā)出一種系統(tǒng)，可以自動為各種動畫現(xiàn)象提供準確的聲音。

“計算能夠為人類模擬現(xiàn)實是一個圣杯。我們可以使用物理和計算機圖形為場景制作動畫并進行視覺渲染，但是，對于聲音，它們通常都會被制作出來，”Doug James教授說道。斯坦福大學的計算機科學。“目前沒有辦法為復雜的動畫內容生成逼真的同步聲音，例如自動濺水或撞擊物體。這就填補了這個空白。”

研究人員將作為ACM SIGGRAPH 2018的一部分介紹他們在這個聲音合成系統(tǒng)上的工作，這是計算機圖形學和交互技術的領先會議。研究人員說，除了活躍電影和虛擬現(xiàn)實世界外，該系統(tǒng)還可以幫助工程公司在物理生產之前對產品的聲音進行原型設計，并希望鼓勵設計更安靜，更少刺激。

詹姆斯實驗室和計算與數學工程研究所(ICME)的研究生 Jui-Hsien Wang表示：“我花了數年時間試圖解決偏微分方程 - 它控制聲音的傳播方式。” 該論文的第一作者。“這實際上是一個你不僅可以解決這個問題的地方，但是一旦你完成它就可以聽到它。這對我來說非常令人興奮，而且很有趣。”

通過幾何和物理運動，系統(tǒng)可以計算出每個物體的振動，以及如何像揚聲器那樣激發(fā)聲波。它計算由快速移動和振動的表面拋出的壓力波，但不會復制室內聲學。因此，雖然它不能在宏偉的大教堂中重現(xiàn)回聲，但它可以解決諸如撞擊鈸，顛倒的碗旋轉到停止，玻璃填滿水或虛擬人物用擴音器說話等場景中的詳細聲音。

與動畫相關的大多數聲音依賴于預先錄制的剪輯，這需要大量的手動操作來與屏幕上的動作同步。這些片段也受限于存在的噪音 - 它們無法預測任何新的東西。產生和預測聲音的其他系統(tǒng)與詹姆斯及其團隊的聲音一樣準確，僅在特殊情況下工作，或者假設幾何體不會變形很多。對于每個單獨的對象，它們還需要很長的預計算階段。

“我們基本上只是一個渲染按鈕，具有最少的預處理功能，可以在一個聲波模擬中將所有物體放在一起，”詹姆斯實驗室的研究生，該論文的共同作者Ante Qu說。

由此方法產生的模擬聲音非常詳細。它考慮了動畫中每個物體產生的聲波，但也根據它們與場景中其他物體和聲波的相互作用來預測這些波的彎曲，反彈或減弱情況。

未來的挑戰(zhàn)

在目前的形式中，該集團的流程需要一段時間來創(chuàng)建成品。但是，現(xiàn)在他們已經證明了這種技術的潛力，他們可以專注于性能優(yōu)化，例如在并行GPU硬件上實現(xiàn)他們的方法，這應該會大大加快。

而且，即使在目前的狀態(tài)下，結果也值得等待。

“我們用系統(tǒng)生成的第一個水聲是我們模擬過的最好的水聲之一 - 水是計算機產生的聲音中的巨大挑戰(zhàn)，”詹姆斯說。“我們認為我們可能會有所改善，但它比以前的方法要好得多，甚至開箱即用。這真的很引人注目。”

盡管該樂隊的作品忠實地呈現(xiàn)各種物體的旋轉，摔倒和撞擊聲，但更復雜的物體和相互作用 - 如斯特拉迪瓦里小提琴的回響音 - 仍然難以實際模擬。該組織表示，將不得不等待未來的解決方案。