使用這款基于AI的網(wǎng)絡(luò)應(yīng)用程序 將任何圖像與虛構(gòu)的音景相匹配

聲音可以令人驚嘆地喚起; 我們遠(yuǎn)離辦公室和家庭，坐在陰涼的森林中潺潺流淌的小溪旁邊，或在暴露的山邊顫抖。但日本研究人員的一個(gè)新項(xiàng)目利用了這種富有想象力的潛力，并將其與人工智能相結(jié)合，實(shí)現(xiàn)了神奇的效果。由此產(chǎn)生的網(wǎng)絡(luò)應(yīng)用程序 - “ Imaginary Soundscape ” - 使用機(jī)器學(xué)習(xí)來匹配您上傳的任何圖片以及合適的音頻配對(duì)。

例如，上傳日本木刻的漁船，系統(tǒng)提供波浪和水聲; 加載夜鶯的抽象畫，你會(huì)得到風(fēng)鈴和鳥兒的花園音景。通常結(jié)果正是你所期望的，但更有趣的是當(dāng)系統(tǒng)選擇你可能沒有想到的圖片中的元素時(shí)(比如將威震天與拖拉機(jī)聲音配對(duì))，或者根本沒有任何意義(如這幅畫的手與現(xiàn)場(chǎng)體育比賽的聲音相匹配)。

一些快速提示：當(dāng)您上傳藝術(shù)作品，人類活動(dòng)照片和抽象圖像時(shí)，您往往會(huì)獲得有趣的結(jié)果。上傳模因只會(huì)讓機(jī)器感到困惑。

所有這些都是相對(duì)簡(jiǎn)單的AI機(jī)制的產(chǎn)物。它使用對(duì)象識(shí)別來識(shí)別圖像中的元素，然后將這些元素與超過52,000個(gè)聲音文件的數(shù)據(jù)集進(jìn)行匹配。負(fù)責(zé)的研究人員Yuma Kajihara，Shoya Dozono和Toky的Nao Tokui多年來一直在研究這種“交叉模式”模型。早期版本的Imaginary Soundscapes于1月份推出，用于將音頻與Google街景圖像進(jìn)行匹配，您可以閱讀Tokui的這篇博文，了解該項(xiàng)目的更多背景知識(shí)。(他引用Brian Eno作為靈感。)

這是一個(gè)有趣的小應(yīng)用程序，是AI支持的新型創(chuàng)意表達(dá)的絕佳示例。系統(tǒng)并不完美 - 異議識(shí)別會(huì)產(chǎn)生錯(cuò)誤，聲音數(shù)據(jù)庫(kù)也不可避免地不完整 - 但這是魅力的一部分。如果有的話，它產(chǎn)生的偶然和意外的音景比“正確”的比賽更有趣。請(qǐng)?jiān)谙旅娴脑u(píng)論中告訴我們您的配對(duì)。