IBM增加了噪音以提高人工智能在模擬存儲器上的準確性

在本周發(fā)表在《自然通訊》(Nature Communications)雜志上的一項研究中，IBM位于瑞士蘇黎世的實驗室的研究人員聲稱，他們已經開發(fā)出一種技術，可以利用相變存儲器在機器學習工作負載上實現(xiàn)節(jié)能和高精度。通過使用基于電阻的存儲設備開發(fā)內存計算方法，他們的方法結合了用于存儲和計算數(shù)據(jù)的隔間，在此過程中顯著降低了有功功率消耗。

許多現(xiàn)有的人工智能推斷裝置在物理上拆分了內存和處理單元，導致人工智能模型被存儲在芯片外的內存中。這增加了計算開銷，因為數(shù)據(jù)必須在單元之間重新分配，這一過程會減慢處理速度并影響電力使用。IBM的技術表面上用相變存儲器解決了這些問題，相變存儲器是一種非易失性存儲器，比常用的閃存技術更快。這項工作，如果被證明是可擴展的，可能會為強大的硬件鋪平道路，在無人機、機器人、移動設備和其他計算受限設備上運行人工智能。

正如IBM團隊所解釋的，相變內存設備的挑戰(zhàn)在于它往往會引入計算上的不精確性。這是因為它在本質上是相似的;由于可和讀寫電導噪聲的影響，其精度受到限制。

本研究提出的解決方案需要在人工智能模型的軟件訓練過程中加入額外的噪聲，以提高模型的彈性。結果表明它是成功的——在繪制了訓練后的權值(即權重)后，在流行的CIFAR-19數(shù)據(jù)集上訓練一個帶噪聲的ResNet模型的準確率達到了93.7%，在ImageNet上的準確率達到了71.6%。轉換輸入數(shù)據(jù)的參數(shù))到相變存儲器組件。此外，將特定模型的權值映射到原型芯片中的723444個相變存儲設備上后，一天內的準確率保持在92.6%以上。研究人員稱這是一項記錄。

為了進一步提高隨時間推移的準確性，該研究的合作者還開發(fā)了一種補償技術，在推理過程中周期性地修正激活函數(shù)(決定模型輸出的方程)。他們說，這使得硬件的準確率提高到了93.5%。

與此同時，該團隊嘗試使用模擬相變存儲組件訓練機器學習模型。在一個混合精度的架構下，他們報告說，他們設法在幾種小尺度模型上獲得了“軟件等效”的精度，包括多層感知器、卷積神經網絡、長-短期記憶網絡和生成對抗網絡。最近發(fā)表在《神經科學前沿》(Frontiers in Neuroscience)雜志上的一項研究詳細介紹了這些訓練實驗。

IBM在該領域的最新工作是引進該公司用于人工智能培訓的相變存儲芯片。在研究階段，公司的研究人員展示了該系統(tǒng)可以以電荷的形式存儲重量數(shù)據(jù)，每平方毫米的計算量是顯卡的100倍，而耗電量是顯卡的280倍。

IBM在一份聲明中表示:“在越來越多地向基于人工智能的技術過渡的時代，包括物聯(lián)網電池驅動的設備和自動駕駛汽車，這些技術將極大地受益于快速、低功率、可靠準確的DNN推理引擎。”“我們在研究中制定的策略顯示，在實現(xiàn)精確的人工智能硬件加速器架構方面有巨大的潛力，以一種節(jié)能的方式支持DNN培訓和推斷。”