一種超維計(jì)算系統(tǒng)，可在內(nèi)存中執(zhí)行所有核心計(jì)算

超維計(jì)算(HDC)是一種新興的計(jì)算方法，受到人腦神經(jīng)活動(dòng)模式的啟發(fā)。這種獨(dú)特的計(jì)算類型可以使人工智能系統(tǒng)根據(jù)以前遇到的數(shù)據(jù)或場(chǎng)景保留內(nèi)存并處理新信息。

過(guò)去開發(fā)的大多數(shù)HDC系統(tǒng)只能在特定任務(wù)上表現(xiàn)出色，例如自然語(yǔ)言處理(NLP)或時(shí)間序列問題。在《自然電子》上發(fā)表的一篇論文中，蘇黎世IBM研究中心和蘇黎世聯(lián)邦理工學(xué)院的研究人員介紹了一種新的HDC系統(tǒng)，該系統(tǒng)可以在內(nèi)存中執(zhí)行所有核心計(jì)算，并且可以應(yīng)用于各種任務(wù)。

這項(xiàng)研究的兩位主要研究人員Abu Sebastian和Abbas Rahimi對(duì)TechXplore說(shuō)：“我們的工作是由內(nèi)存計(jì)算和超維計(jì)算這兩個(gè)概念之間的自然契合開始的。”“在蘇黎世的IBM研究中心，我們一直在開發(fā)基于相變存儲(chǔ)器(PCM)的內(nèi)存計(jì)算平臺(tái)，而在蘇黎世聯(lián)邦理工學(xué)院，我們一直在探索一種大腦啟發(fā)的計(jì)算范例，稱為超維計(jì)算。”

研究人員在過(guò)去的工作中觀察到，HDC涉及的主要操作，即編碼和關(guān)聯(lián)內(nèi)存搜索，都涉及對(duì)系統(tǒng)內(nèi)存中大型分布模式的操縱和比較。由于此特性，可以使用PCM交叉開關(guān)陣列有效地制造這些系統(tǒng)，從而實(shí)現(xiàn)模擬內(nèi)存計(jì)算的優(yōu)勢(shì)。

塞巴斯蒂安和拉希米解釋說(shuō)：“這種量身定制的組合不僅避免了馮·諾伊曼的瓶頸(又名記憶墻)，而且還顯著提高了能源效率以及對(duì)可，噪聲和故障的魯棒性。”“大約兩年前，這一發(fā)現(xiàn)促使我們?cè)贓TH和IBM之間朝這個(gè)方向發(fā)起了一項(xiàng)聯(lián)合研究。”

為了對(duì)神經(jīng)活動(dòng)模式進(jìn)行建模，HDC系統(tǒng)使用豐富的代數(shù)，該代數(shù)定義了一組規(guī)則來(lái)構(gòu)建，綁定和捆綁不同的超向量。超向量是具有獨(dú)立且分布相同的分量的全息10,000維(偽)隨機(jī)向量。通過(guò)使用這些超向量，HDC可以創(chuàng)建功能強(qiáng)大的計(jì)算系統(tǒng)，該系統(tǒng)可用于完成復(fù)雜的認(rèn)知任務(wù)，例如對(duì)象檢測(cè)，語(yǔ)言識(shí)別，語(yǔ)音和視頻分類，時(shí)間序列分析，文本分類和分析推理。

Sebastian，Rahimi及其同事在論文中提出了一個(gè)完整的內(nèi)存HDC系統(tǒng)，該系統(tǒng)可以處理各種任務(wù)。他們的系統(tǒng)有兩個(gè)關(guān)鍵組成部分：HDC編碼器和關(guān)聯(lián)存儲(chǔ)器。

Sebastian和Rahimi說(shuō)：“我們的系統(tǒng)通過(guò)憶阻器件上的邏輯和點(diǎn)積運(yùn)算在內(nèi)存中執(zhí)行核心計(jì)算。”“由于HDC固有的魯棒性，有可能近似于與HDC相關(guān)的數(shù)學(xué)運(yùn)算，使其適合于硬件實(shí)現(xiàn)，并在不影響精度的情況下使用模擬內(nèi)存計(jì)算。”

過(guò)去開發(fā)的大多數(shù)內(nèi)存HDC體系結(jié)構(gòu)僅適用于有限的任務(wù)集，例如單語(yǔ)言識(shí)別或二進(jìn)制分類任務(wù)。此外，這些系統(tǒng)主要在仿真中進(jìn)行了評(píng)估，并使用了基于小型原型的緊湊型模型，帶有少量電阻裝置。

相比之下，由Sebastian和Rahimi開發(fā)的系統(tǒng)利用了700,000多個(gè)PCM設(shè)備。因此，它可以說(shuō)是迄今為止提供的最大內(nèi)存內(nèi)HDC實(shí)驗(yàn)演示之一。

該原型是最早被編程為支持不同的超向量表示，尺寸以及輸入符號(hào)和輸出類別的HDC系統(tǒng)之一。這使其適用于從NLP到新聞分類和生物信號(hào)處理的多種應(yīng)用。

塞巴斯蒂安和拉希米說(shuō)：“我們的工作通過(guò)在嘈雜的硬件基板上執(zhí)行各種分類任務(wù)，同時(shí)達(dá)到與精確軟件實(shí)現(xiàn)相當(dāng)?shù)臏?zhǔn)確性，真正證明了模擬內(nèi)存計(jì)算的潛在優(yōu)勢(shì)。”“這種強(qiáng)大的模擬內(nèi)存計(jì)算是通過(guò)對(duì)數(shù)據(jù)表示，具有優(yōu)美近似值的關(guān)聯(lián)操作以及自然使它們能夠?qū)崿F(xiàn)的材料和基底提供新穎的外觀來(lái)實(shí)現(xiàn)的。”

研究人員通過(guò)一系列實(shí)驗(yàn)對(duì)系統(tǒng)進(jìn)行了評(píng)估，測(cè)試了它們?cè)贏I技術(shù)通常解決的三個(gè)任務(wù)上的性能，這些任務(wù)是基于肌電信號(hào)分析的語(yǔ)言分類，新聞分類和手勢(shì)識(shí)別。在所有這些任務(wù)中，他們的HDC系統(tǒng)在任務(wù)的復(fù)雜性和分類精度之間實(shí)現(xiàn)了接近最佳的權(quán)衡。Sebastian，Rahimi及其同事使用760,000個(gè)相變存儲(chǔ)設(shè)備測(cè)試了他們的系統(tǒng)，該設(shè)備執(zhí)行了模擬內(nèi)存計(jì)算過(guò)程，發(fā)現(xiàn)該系統(tǒng)實(shí)現(xiàn)了與流行軟件技術(shù)類似的精度。

“我們通過(guò)實(shí)驗(yàn)證明，與基于65納米CMOS技術(shù)的優(yōu)化數(shù)字系統(tǒng)相比，使用基于PCM的內(nèi)存計(jì)算的HDC平臺(tái)可以節(jié)省600%的能源。”

將來(lái)，在最近的這項(xiàng)研究中引入的HDC系統(tǒng)將可以創(chuàng)建具有高級(jí)存儲(chǔ)功能的新技術(shù)，從而可以完成許多不同的分類任務(wù)。該系統(tǒng)很快將在各種實(shí)際環(huán)境中實(shí)施和測(cè)試，這將使研究人員可以進(jìn)一步評(píng)估其性能。

塞巴斯蒂安和拉希米說(shuō)：“在我們的HDC體系結(jié)構(gòu)中，信息的編碼和內(nèi)存的存儲(chǔ)在構(gòu)造上是分開的過(guò)程。”“最近在現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)中，人們認(rèn)識(shí)到這種關(guān)鍵的解開關(guān)系，以使它們擺脫災(zāi)難性的遺忘，并能實(shí)現(xiàn)短時(shí)學(xué)習(xí)和終身保留。我們的架構(gòu)和表示系統(tǒng)將在下一代AI的開發(fā)中發(fā)揮核心作用。提供可以快速學(xué)習(xí)的系統(tǒng)，在整個(gè)生命周期中保留信息，即使使用正確的材料和基材也可以有效地做到這一點(diǎn)。”