微軟研究院的Lin Xiao在NeurIPS上獲得時間測試獎

在NeurIPS本周在加拿大溫哥華被檢查1400余件人工智能研究為他們的新方法或突破-但這些論文的一個不同于所有的休息。

微軟研究院的林嘯本周被任命為“時間測試獎”的獲得者，該獎項授予人工智能研究，該獎項在過去10年中為人工智能領域做出了重要而持久的貢獻。

召集了一個特別委員會來回顧10年前在NeurIPS上發(fā)表的論文，并將列表縮小到對機器學習產生持久影響的18篇論文，在一定程度上衡量了這些論文在過去十年中獲得了最多引用。迄今為止，肖的論文被其他研究人員引用了600多次。

NeurIPS的組織者周日宣布了Xiao的工作，這是他的獲獎者，他在一個會議廳中詳細介紹了此后的結果和取得的進展，參加會議的13,000名與會者中有1,000名。

肖在今天的舞臺上說：“十年前，這次會議規(guī)模很小，但是我覺得它和一個相對年輕的研究員一樣令人興奮。” “當時幾個非常激動人心的主題相互碰撞，為這項工作創(chuàng)造了動力。”

該論文的標題為“ 正則隨機學習和在線優(yōu)化的雙重平均方法 ”，于2009年發(fā)表，提出了一種新的在線算法，稱為正則雙重平均或RDA。

RDA專注于隨機梯度下降，它借鑒了1951年Robbins和Monro關于該主題的著作和“ 凸問題的原始對偶次梯度方法 ”。

肖說：“我想感謝尤里·內斯特羅夫(Yurii Nesterov)教授在本文中的影響和啟發(fā)，以及我研究中的幾乎所有內容。” “這項工作是他論文的簡單延伸。”

去年的時間測試獎得主，由Facebook AI Research的Leon Bottou和Google AI的Olivier Bousquet共同完成，其研究重點是用于大型機器學習的隨機梯度下降。

為了優(yōu)化RDA模型的性能，Xiao的工作結合了規(guī)則正則化，鼓勵通過在線學習來學習算法。稀疏正則化用于將模型中的某些權重設置為零，這是使隨機梯度下降更容易理解的一種方式。

“我相信RDA的動機在今天仍然有效，因為一方面，我們知道在線算法由于其處理的數(shù)據量而處于機器學習的主要階段的可能性。另一方面，我認為稀疏性對于使我們適應越來越大的模型至關重要。不管怎么說，稀疏往往是有效的部分。”

本周早些時候，NeurIPS會議組織者還為新的AI研究授予了最高榮譽，其中包括分布式學習方面的杰出論文，以及認為統(tǒng)一收斂可能無法解釋深度學習的普遍性的論文獲得了杰出新方向獎。可以在此NeurIPS Medium帖子中看到更多獲得最高榮譽的研究成果。