機(jī)器學(xué)習(xí)基礎(chǔ)設(shè)施的頂級(jí)AI研究進(jìn)展

隨著深度學(xué)習(xí)模型在現(xiàn)實(shí)世界中的業(yè)務(wù)應(yīng)用中變得越來(lái)越流行以及訓(xùn)練數(shù)據(jù)集變得越來(lái)越大，機(jī)器學(xué)習(xí)(ML)基礎(chǔ)結(jié)構(gòu)正成為許多公司中的關(guān)鍵問(wèn)題。

為了幫助您了解ML基礎(chǔ)架構(gòu)的最新研究進(jìn)展，我們總結(jié)了最近在該領(lǐng)域引入的一些最重要的研究論文。閱讀這些摘要時(shí)，您將可以從領(lǐng)先的科技公司(包括Google，Microsoft和LinkedIn)的經(jīng)驗(yàn)中學(xué)習(xí)。

我們選擇的論文涵蓋了數(shù)據(jù)標(biāo)簽和數(shù)據(jù)驗(yàn)證框架，用于ML模型的分布式訓(xùn)練的不同方法，用于跟蹤生產(chǎn)中ML模型性能的新穎方法等等。

標(biāo)記培訓(xùn)數(shù)據(jù)越來(lái)越成為部署機(jī)器學(xué)習(xí)系統(tǒng)的最大瓶頸。我們展示了Snorkel，這是首創(chuàng)??的系統(tǒng)，它使用戶能夠訓(xùn)練最先進(jìn)的模型而無(wú)需人工標(biāo)記任何訓(xùn)練數(shù)據(jù)。相反，用戶編寫了表示任意試探法的標(biāo)簽函數(shù)，這些試探法可能具有未知的準(zhǔn)確度和相關(guān)性。通過(guò)整合我們最近提出的機(jī)器學(xué)習(xí)范例數(shù)據(jù)編程的第一個(gè)端到端實(shí)現(xiàn)，Snorkel對(duì)輸出進(jìn)行了降噪處理而無(wú)須了解真實(shí)情況。我們根據(jù)過(guò)去一年與公司，代理商和研究實(shí)驗(yàn)室的合作經(jīng)驗(yàn)，提供了一個(gè)靈活的接口層來(lái)編寫標(biāo)簽功能。在用戶研究中，主題專家構(gòu)建模型的速度提高了2.8倍，平均預(yù)測(cè)性能提高了45倍。相對(duì)于7個(gè)小時(shí)的手工貼標(biāo)，為5%。我們研究了在這種新設(shè)置中的建模權(quán)衡，并提出了用于自動(dòng)權(quán)衡決策的優(yōu)化器，該優(yōu)化器可使每次管道執(zhí)行的速度提高1.8倍。通過(guò)與退伍事務(wù)部和食品與藥物管理局的兩次合作，在代表其他部署的四個(gè)開(kāi)源文本和圖像數(shù)據(jù)集上，Snorkel的預(yù)測(cè)性能比以前的啟發(fā)式方法平均提高了132%，并且不超過(guò)大型手工策展訓(xùn)練集的預(yù)測(cè)性能的3.60%。