微軟剛剛為OpenAI打造了世界一流的超級(jí)計(jì)算機(jī)

去年，微軟宣布向OpenAI投資10億美元，該組織的使命是創(chuàng)造人工智能，并使其對(duì)人類安全。這里沒(méi)有終結(jié)者般的反烏托邦。沒(méi)有讓人類變成回形針的混亂機(jī)器。僅有具有一般智能的計(jì)算機(jī)才能幫助我們解決最大的問(wèn)題。

一年過(guò)去了，我們?nèi)〉昧诉@種伙伴關(guān)系的第一個(gè)成果。在今年的Build 2020開(kāi)發(fā)者大會(huì)上，微軟展示了微軟的最新和最偉大的產(chǎn)品。該公司表示，他們已經(jīng)完成了專門用于OpenAI機(jī)器學(xué)習(xí)研究的超級(jí)計(jì)算機(jī)。但這不是普通的超級(jí)計(jì)算機(jī)。這是一臺(tái)機(jī)器的野獸。該公司表示，每個(gè)GPU服務(wù)器具有285,000個(gè)CPU內(nèi)核，10,000個(gè)GPU和每秒400吉比特的網(wǎng)絡(luò)連接。

微軟表示，與全球最快的超級(jí)計(jì)算機(jī)相比，它排名第五。

該公司未發(fā)布性能數(shù)據(jù)，該計(jì)算機(jī)也未公開(kāi)進(jìn)行基準(zhǔn)測(cè)試，也未列入被廣泛關(guān)注的Top500超級(jí)計(jì)算機(jī)列表。但是即使沒(méi)有官方排名，也可以肯定地說(shuō)它是世界一流的機(jī)器。

“隨著我們?cè)絹?lái)越了解我們需要什么以及組成超級(jí)計(jì)算機(jī)的所有組件的不同限制，我們真的可以說(shuō)，'如果我們可以設(shè)計(jì)我們的夢(mèng)想系統(tǒng)，它會(huì)是什么樣?” ” OpenAI首席執(zhí)行官Sam Altman說(shuō)。“然后，Microsoft得以構(gòu)建它。”

OpenAI將如何使用此夢(mèng)想機(jī)?該公司正在構(gòu)建更大的狹窄AI算法-我們離AGI還很遙遠(yuǎn)-他們需要大量的計(jì)算能力才能做到這一點(diǎn)。

對(duì)超大型AI模型的追求

最先進(jìn)的AI模型(即機(jī)器學(xué)習(xí)算法中的神經(jīng)網(wǎng)絡(luò))的規(guī)模一直在快速增長(zhǎng)。同時(shí)，根據(jù)OpenAI，訓(xùn)練這些模型所需的計(jì)算能力每3.4個(gè)月翻一番。

模型越大，您需要訓(xùn)練它的計(jì)算機(jī)越大。

這種增長(zhǎng)部分歸因于每個(gè)模型中使用的參數(shù)數(shù)量。簡(jiǎn)而言之，這些是對(duì)神經(jīng)網(wǎng)絡(luò)中的數(shù)據(jù)進(jìn)行操作而得出的“神經(jīng)元”值。OpenAI的GPT-2算法從提示中生成令人信服的文本，包含近15億個(gè)參數(shù)。微軟的自然語(yǔ)言生成AI模型Turing NLG的大小超過(guò)10倍，具有170億個(gè)參數(shù)?，F(xiàn)在，據(jù)報(bào)道，周四剛剛宣布的OpenAI的GPT-3由驚人的1750億個(gè)參數(shù)組成。

還有另一個(gè)趨勢(shì)在發(fā)揮作用。

盡管許多機(jī)器學(xué)習(xí)算法都是在人類標(biāo)記的數(shù)據(jù)集上進(jìn)行訓(xùn)練的，但是Microsoft，OpenAI和其他公司也正在追求“無(wú)監(jiān)督”的機(jī)器學(xué)習(xí)。這意味著，有了足夠的原始，未標(biāo)記的數(shù)據(jù)，算法就會(huì)通過(guò)識(shí)別數(shù)據(jù)中的模式來(lái)進(jìn)行自我學(xué)習(xí)。

某些最新系統(tǒng)還可以在給定域中執(zhí)行多個(gè)任務(wù)。在數(shù)十億個(gè)互聯(lián)網(wǎng)頁(yè)面的原始文本(從Wikipedia條目到自行出版的書)上訓(xùn)練的算法，可以推斷單詞，概念和上下文之間的關(guān)系。它不僅可以像生成文本那樣僅做一件事，還可以將其學(xué)習(xí)轉(zhuǎn)移到同一領(lǐng)域的多個(gè)相關(guān)任務(wù)中，例如閱讀文檔和回答問(wèn)題。

圖靈NLG和GPT-3算法屬于此類。

微軟首席技術(shù)官凱文·斯科特(Kevin Scott)說(shuō)：“這些模型令人興奮的是它們將實(shí)現(xiàn)的功能廣泛。“這是關(guān)于能夠一次在自然語(yǔ)言處理中完成一百項(xiàng)令人興奮的事情，以及在計(jì)算機(jī)視覺(jué)中完成一百項(xiàng)令人興奮的事情，當(dāng)您開(kāi)始看到這些感知領(lǐng)域的組合時(shí)，您將擁有很難的新應(yīng)用程序甚至現(xiàn)在就可以想象。”