研究人員公布了一種剪枝算法 使人工智能應(yīng)用程序運(yùn)行得更快

隨著越來(lái)越多的人工智能應(yīng)用程序轉(zhuǎn)向智能手機(jī)，深度學(xué)習(xí)模型越來(lái)越小，可以讓?xiě)?yīng)用程序運(yùn)行得更快，節(jié)省電池電量.. 現(xiàn)在，麻省理工學(xué)院的研究人員有了一種新的更好的方法來(lái)壓縮模型。

它是如此簡(jiǎn)單，以至于他們?cè)谏蟼€(gè)月的一條推特上公布了它：訓(xùn)練模型，修剪它最薄弱的連接，以其快速、早期的訓(xùn)練速度重新訓(xùn)練模型，并重復(fù)，直到模型像你想要的那么小。

“就這樣，”亞歷克斯·倫達(dá)博士說(shuō)。 麻省理工D.學(xué)生。 “人們修剪模特的標(biāo)準(zhǔn)方法是非常復(fù)雜的?！?/p>

倫達(dá)在本月遠(yuǎn)程召開(kāi)國(guó)際學(xué)習(xí)代表大會(huì)時(shí)討論了這項(xiàng)技術(shù)。 倫達(dá)是這項(xiàng)工作的合著者，喬納森·弗蘭克爾是一位博士研究員。 麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)系(EECS)的D.名學(xué)生，以及電氣工程和計(jì)算機(jī)科學(xué)助理教授邁克爾·卡賓-計(jì)算機(jī)科學(xué)和人工科學(xué)實(shí)驗(yàn)室的所有成員。

尋找更好的壓縮技術(shù)是從弗蘭克爾和卡賓去年在ICLR獲獎(jiǎng)彩票假說(shuō)論文中產(chǎn)生的。 他們表明，如果在訓(xùn)練早期發(fā)現(xiàn)正確的子網(wǎng)絡(luò)，深度神經(jīng)網(wǎng)絡(luò)只能以十分之一的連接來(lái)完成。 他們的發(fā)現(xiàn)是在計(jì)算能力和能量訓(xùn)練更大的深度學(xué)習(xí)模型的需求呈指數(shù)增長(zhǎng)的同時(shí)出現(xiàn)的，這一趨勢(shì)一直持續(xù)到今天。 這種增長(zhǎng)的代價(jià)包括地球變暖的碳排放增加和創(chuàng)新的潛在下降，因?yàn)榕c大型科技公司無(wú)關(guān)的研究人員爭(zhēng)奪稀缺的計(jì)算資源。 日常用戶也受到影響。 大型人工智能模型消耗了手機(jī)帶寬和電池功率。

彩票假說(shuō)引發(fā)了一系列主要是理論上的后續(xù)論文。 但在一位同事的建議下，F(xiàn)rankle決定看看它對(duì)剪枝可能有什么教訓(xùn)，其中一種搜索算法對(duì)搜索樹(shù)中評(píng)估的節(jié)點(diǎn)數(shù)進(jìn)行修剪。 該領(lǐng)域已經(jīng)存在了幾十年，但在神經(jīng)網(wǎng)絡(luò)在圖像網(wǎng)絡(luò)競(jìng)爭(zhēng)中成功地對(duì)圖像進(jìn)行分類后，又出現(xiàn)了復(fù)蘇。 隨著模型越來(lái)越大，研究人員增加了人工神經(jīng)元層以提高性能，其他人提出了降低它們的技術(shù)。

宋寒，現(xiàn)在是麻省理工學(xué)院的助理教授，是一位先驅(qū)。 在一系列有影響力的論文的基礎(chǔ)上，韓提出了一種修剪算法，他稱之為AMC，或AutoML用于模型壓縮，這仍然是行業(yè)標(biāo)準(zhǔn)。 在Han的技術(shù)下，冗余神經(jīng)元和連接被自動(dòng)移除，并對(duì)模型進(jìn)行重新訓(xùn)練以恢復(fù)其初始精度..

為了回應(yīng)韓的工作，弗蘭克爾最近在一篇未發(fā)表的論文中建議，可以通過(guò)將較小的、修剪過(guò)的模型重新纏繞到其初始參數(shù)或權(quán)重，并以更快的初始速度對(duì)較小的模型進(jìn)行再訓(xùn)練來(lái)進(jìn)一步改進(jìn)結(jié)果。

在目前的ICLR研究中，研究人員意識(shí)到，該模型可以簡(jiǎn)單地恢復(fù)到其早期訓(xùn)練率，而不需要擺弄任何參數(shù)。 在任何修剪方案中，模型得到的越小，它就越不準(zhǔn)確。 但是，當(dāng)研究人員將這種新方法與韓的AMC或Frankle的重量提取方法進(jìn)行比較時(shí)，無(wú)論模型收縮多少，它的性能都會(huì)更好。

目前還不清楚為什么修剪技術(shù)的效果和它一樣。 研究人員說(shuō)，他們將把這個(gè)問(wèn)題留給其他人回答。 對(duì)于那些希望嘗試它的人來(lái)說(shuō)，該算法與其他剪枝方法一樣容易實(shí)現(xiàn)，而不需要耗時(shí)的調(diào)優(yōu)，研究人員說(shuō)。

弗蘭克爾說(shuō)：“這是“書(shū)”中的剪枝算法?！?“很清楚，很普通，而且很簡(jiǎn)單。”

韓，就他而言，現(xiàn)在已經(jīng)部分地將重點(diǎn)從壓縮AI模型轉(zhuǎn)移到引導(dǎo)AI，從一開(kāi)始就設(shè)計(jì)小型、高效的模型。 他的最新方法，“一勞永逸”，也在ICLR首次亮相。 在新的學(xué)習(xí)率方法中，他說(shuō)：“我很高興看到新的修剪和再訓(xùn)練技術(shù)的發(fā)展，讓更多的人獲得高性能的人工智能應(yīng)用?！?/p>