使用消融來檢查人工神經(jīng)網(wǎng)絡的結構

亞琛工業(yè)大學機械工程信息管理研究所的一組研究人員最近探索了神經(jīng)科學技術的使用，以確定人工神經(jīng)網(wǎng)絡(ANNs)中信息的結構。在他們的論文中，預先發(fā)表在arXiv上，研究人員應用了一種稱為消融的技術，該技術需要在神經(jīng)網(wǎng)絡架構上切除部分大腦以確定其功能。

“我們的想法受到神經(jīng)科學領域研究的啟發(fā)，其中一個主要目標是了解我們的大腦是如何工作的，”兩位研究人員Richard Meyes和Tobias Meisen通過電子郵件告訴TechXplore。“在消融研究中發(fā)現(xiàn)了許多關于大腦功能的見解，這種方法是大腦的特定部分以受控方式受到嚴重損害，影響大腦執(zhí)行日常任務的能力，例如產(chǎn)生言語或動作。”

Meyes，Meisen和他們的同事Peter Lillian進行的這項研究的目的是從生物學角度審視人工神經(jīng)網(wǎng)絡，評估其結構和不同組成部分的功能。他們決定使用消融技術做到這一點，這是一項在神經(jīng)科學研究中使用的技術已有二百多年了。

基本上，消融包括選擇性地去除或破壞大腦特定區(qū)域的組織，其唯一目的是觀察這種損傷的行為影響，從而更好地理解這些區(qū)域的功能。在幾項研究中已經(jīng)對人工神經(jīng)網(wǎng)絡進行了消融，但這些研究主要集中在調(diào)整網(wǎng)絡層并改變其結構，因此更像是參數(shù)搜索而非生物消融。

圖片來源：Lillian，Meyes和Meisen。

在他們的研究中，研究人員希望破壞人工神經(jīng)網(wǎng)絡的各個部分并觀察它們?nèi)绾斡绊懰麄兊谋憩F(xiàn)。最終，他們希望利用這些觀察結果來比較人工神經(jīng)網(wǎng)絡的組織與生物神經(jīng)網(wǎng)絡的組織。

“人工神經(jīng)網(wǎng)絡(ANNs)消融背后的想法很簡單，”Meyes和Meisen解釋道。“首先，我們訓練網(wǎng)絡執(zhí)行特定任務，例如識別手寫數(shù)字。其次，我們切斷了網(wǎng)絡的一小部分，并評估網(wǎng)絡性能如何因損壞而發(fā)生變化。第三，我們確定是否存在損壞損壞部分的位置與其對網(wǎng)絡性能的影響之間的關系。這樣，我們發(fā)現(xiàn)網(wǎng)絡的特定能力，例如執(zhí)行受控機器人的前向運動，是局部表示的并且可以有目的地被破壞。 “

通過消除訓練有素的人工神經(jīng)網(wǎng)絡導航線圈并檢查這些干預措施如何影響他們的輸出，研究人員收集了許多有趣的發(fā)現(xiàn)，表明人工和生物網(wǎng)絡之間確實存在聯(lián)系和相似之處。這些相似之處與網(wǎng)絡如何自我安排以及如何存儲信息有關。

刪除每個消融組時，將保存不包含該組的輸出。在對每組進行消融后，研究人員最終得到了一個輸出列表，顯示了網(wǎng)絡部件移除后網(wǎng)

“我們最有趣的發(fā)現(xiàn)是觀察到網(wǎng)絡損壞的性能通常會降低，而網(wǎng)絡的非常具體的能力，例如識別特定數(shù)字，可以通過破壞特定部分來增強，”Meyes和Meisen說。“我們的研究表明神經(jīng)網(wǎng)絡的表現(xiàn)可以通過在正確的區(qū)域仔細破壞它來增加。此外，我們的研究表明神經(jīng)科學方法在人工神經(jīng)網(wǎng)絡中的應用可能為理解人工智能開辟了新的視角。”

盡管Meyes，Meisen和Lillian收集了令人著迷的結果，但他們的研究有一些局限性，僅僅是檢查生物和人工神經(jīng)網(wǎng)絡之間聯(lián)系的第一步。例如，他們的實驗受限于強化學習的使用，并依賴于實時機器人訓練的模型。未來的研究可以更詳細和更大規(guī)模地檢查人工神經(jīng)網(wǎng)絡與大腦網(wǎng)絡之間的相似性。

“我們現(xiàn)在計劃繼續(xù)探索我們關于進行神經(jīng)科學啟發(fā)人工神經(jīng)網(wǎng)絡研究的總體思路，”Meyes和Meisen說。“我們接下來的步驟之一就是可視化人工神經(jīng)網(wǎng)絡中的活動，就像大腦活動可以通過fMRI等成像方法可視化一樣。我們的目標是使人工神經(jīng)網(wǎng)絡的決策過程更加透明，并在人工智能中獲得新的視角。一般。”