使用ARKit記錄空間聲音并在虛擬3D波形中移動(dòng)

代碼藝術(shù)家Zach Lieberman在iOS 11中利用了蘋果公司新的ARKit框架，構(gòu)建了一個(gè)令人毛骨悚然的概念驗(yàn)證的空間音頻應(yīng)用程序，該應(yīng)用程序可用于記錄增強(qiáng)現(xiàn)實(shí)中的聲音并通過(guò)在虛擬3D波形中移動(dòng)來(lái)回放聲音。這是一個(gè)演示此操作的快速視頻(請(qǐng)務(wù)必打開(kāi)聲音)

在太空錄音并通過(guò)其移動(dòng)(視頻有聲音!)播放的快速測(cè)試#openframeworks pic.twitter.com/GdZcK3rj1L

— zach lieberman(@zachlieberman)2017年9月6日

他使用ARKit和OpenFrameworks(用于創(chuàng)意編碼的開(kāi)源C ++工具箱)構(gòu)建了該文件。

我可以在博物館中看到這種用途，作為一種交互式藝術(shù)裝置：想象一下以這種方式錄制音樂(lè)作品時(shí)，音符和節(jié)奏占據(jù)著人們可以通過(guò)移動(dòng)3D波形進(jìn)行播放的空間模式。

甚至可以設(shè)置裝置或?qū)Ｓ媒∩砺窂剑藗兛梢栽谄渲新芤圆シ蓬A(yù)先錄制的音樂(lè)?；蛘?，如何在增強(qiáng)現(xiàn)實(shí)中進(jìn)行尋寶游戲，您必須在整個(gè)房屋中找到音頻線索?

可能性無(wú)窮無(wú)盡-如果您可以使用ARKit進(jìn)行空間音頻處理，那么就可以想象增強(qiáng)現(xiàn)實(shí)的單詞，推文，表情符號(hào)，浮動(dòng)的樂(lè)譜等等。

這是Zach的更多演示，展示了ARKit如何實(shí)時(shí)檢測(cè)對(duì)象點(diǎn)。

快速測(cè)試動(dòng)畫(huà)點(diǎn)云數(shù)據(jù)pic.twitter.com/34mQvuKXNd

另一個(gè)pic.twitter.com/5RSFSzSg5N

它的冷靜來(lái)看待的特征點(diǎn)，看到模型，可以大廈(THX @xavitribo)pic.twitter.com/8rqObs8seI

Zach的演示讓我想起了Kimchi and Chips工作室的“光屏障”系列，該項(xiàng)目使用數(shù)百個(gè)校準(zhǔn)的視頻投影在空中創(chuàng)建體積圖。如下面嵌入的視頻所示，這些光投影在霧域中合并，以創(chuàng)建圖形對(duì)象，這些圖形對(duì)象會(huì)隨著時(shí)間的推移在物理空間中進(jìn)行動(dòng)畫(huà)處理。

今天早些時(shí)候，我們展示了由開(kāi)發(fā)商最終的測(cè)量應(yīng)用的Rinat Khanov，叫MeasureKit，你可以用任何東西，就像一個(gè)人的高度，到物體的距離，兩點(diǎn)之間的角度，通過(guò)更多的對(duì)象指向你的iPhone來(lái)衡量剛想。