語言可以幫助AI在新環(huán)境中導(dǎo)航

本周于預(yù)印本服務(wù)器Arxiv.org上發(fā)布的一項(xiàng)新研究中，多倫多大學(xué)和致力于促進(jìn)AI的獨(dú)立非營利組織Vector Institute的科學(xué)家提出了BabyAI ++，該平臺(tái)用于研究描述性文本是否有助于AI在動(dòng)態(tài)范圍內(nèi)進(jìn)行概括。環(huán)境。它和幾個(gè)基準(zhǔn)模型都將很快在GitHub上提供。

機(jī)器學(xué)習(xí)中最強(qiáng)大的技術(shù)之一-強(qiáng)化學(xué)習(xí)，即通過獎(jiǎng)勵(lì)激勵(lì)軟件代理實(shí)現(xiàn)目標(biāo)，也是最有缺陷的技術(shù)之一。它的樣本效率低下，這意味著需要大量的計(jì)算周期才能完成，并且沒有其他數(shù)據(jù)來覆蓋變化，因此它很難適應(yīng)與訓(xùn)練環(huán)境不同的環(huán)境。

BabyAI ++的級(jí)別由可以拾取和放置的對象組成。可以解鎖和打開的門;以及代理商必須承擔(dān)的各種任務(wù)。像環(huán)境本身一樣，任務(wù)是隨機(jī)生成的，并通過“嬰兒語言”(一種使用一部分英語詞匯的組合語言)傳達(dá)給代理。

上述文本揭示了正在使用的瓷磚類型以及與每個(gè)瓷磚匹配的顏色。由于顏色和圖塊類型之間的配對是隨機(jī)的，因此代理必須了解其描述才能正確導(dǎo)航地圖。

在BabyAI ++中，每個(gè)級(jí)別都分為兩種配置：培訓(xùn)和測試。在訓(xùn)練配置中，代理會(huì)暴露于該級(jí)別中的所有圖塊和顏色類型，但會(huì)阻止顏色類型對的某些組合。在測試配置中，將啟用所有顏色類型對，從而迫使代理使用語言基礎(chǔ)將圖塊的類型與顏色相關(guān)聯(lián)。

本文介紹了使用基準(zhǔn)模型進(jìn)行的幾項(xiàng)實(shí)驗(yàn)，其中一項(xiàng)(注意力融合)使用所謂的注意力機(jī)制將相關(guān)文本嵌入(數(shù)學(xué)表示)分配給場景嵌入特征圖(映射嵌入的功能)上的位置到要素空間或AI處理的變量所在的尺寸)。對于最困難的級(jí)別，此注意力融合模型的測試成功率(經(jīng)過5個(gè)步驟或動(dòng)作后達(dá)到60%的測試成功率)比最具挑戰(zhàn)性的次優(yōu)模型高16.2%，并且使用更少的幀完成了該級(jí)別的圖片數(shù)量(約65相比75)。