該工具可預測代碼在芯片上運行的速度

麻省理工學院的研究人員發(fā)明了一種機器學習工具，可以預測計算機芯片執(zhí)行來自各種應用程序的代碼的速度。

為了使代碼盡可能快地運行，開發(fā)人員和編譯器(將編程語言轉換為機器可讀代碼的程序)通常使用性能模型，這些模型通過模擬給定的芯片體系結構來運行代碼。

編譯器使用該信息來自動優(yōu)化代碼，而開發(fā)人員使用該信息來解決將運行該代碼的微處理器的性能瓶頸。但是，機器代碼的性能模型是由相對較少的專家小組手寫的，并且未經(jīng)適當驗證。結果，模擬的性能測量通常會偏離實際結果。

在一系列會議論文中，研究人員描述了一種新穎的機器學習管道，該管道可自動執(zhí)行此過程，從而使其變得更輕松，更快，更準確。在 6月份的國際機器學習大會上發(fā)表的 一篇論文中，研究人員介紹了Ithemal，這是一種神經(jīng)網(wǎng)絡模型，它以“基本塊”(計算指令的基本片段)的形式訓練標記數(shù)據(jù)，以自動預測其持續(xù)時間使用給定的芯片執(zhí)行以前看不見的基本塊。結果表明，Ithemal的性能要比傳統(tǒng)的手動調整模型精確得多。

然后，在11月舉行的IEEE國際工作負載表征研討會上，研究人員展示 了一個基準測試套件，這些 套件來自多個領域，包括機器學習，編譯器，密碼學和可用于驗證性能模型的圖形。他們將超過300,000個已分析的塊合并到一個名為BHive的開源數(shù)據(jù)集中。在評估過程中，Ithemal預測了英特爾芯片運行代碼的速度要比英特爾自身構建的性能模型還要好。

最終，開發(fā)人員和編譯器可以使用該工具來生成代碼，這些代碼可以在越來越多的多樣化“黑匣子”芯片設計上更快，更高效地運行。現(xiàn)代計算機處理器不透明，極其復雜且難以理解。編寫對這些處理器執(zhí)行得盡可能快的計算機代碼也面臨著巨大的挑戰(zhàn)。”合著者邁克爾·卡賓(Michael Carbin)說，他是電機工程與計算機科學系(EECS)的助理教授，計算機科學與工程學的研究員。人工智能實驗室(CSAIL)。“該工具是朝著對這些芯片的性能進行完全建模以提高效率的重要一步。”

最近，在 12月NeurIPS會議上發(fā)表的 一篇論文中，該團隊提出了一種自動生成編譯器優(yōu)化的新技術。具體來說，它們會自動生成一個名為Vemal的算法，該算法將某些代碼轉換為向量，可用于并行計算。Vemal優(yōu)于LLVM編譯器中使用的手工矢量化算法，LLVM編譯器是業(yè)界常用的編譯器。

從數(shù)據(jù)中學習

卡賓說，手工設計性能模型可能是“一門妖術”。英特爾提供了超過3000頁的詳盡文檔，描述了其芯片的體系結構。但是目前只有一小部分專家將構建性能模型，以模擬這些架構上代碼的執(zhí)行。

Mendis說：“英特爾的文檔既沒有錯誤也不完整，并且英特爾將省略某些事情，因為它是專有的。” “但是，當您使用數(shù)據(jù)時，您不需要了解文檔。如果有隱藏的東西，您可以直接從數(shù)據(jù)中學習。”

為此，研究人員記錄了給定微處理器用于計算基本塊指令的平均周期數(shù)-基本上是啟動，執(zhí)行和關閉的順序-無需人工干預。使過程自動化可以快速分析成千上萬個塊。

特定領域的架構

在培訓中，Ithemal模型分析了數(shù)百萬個自動剖析的基本塊，以準確了解不同的芯片體系結構將如何執(zhí)行計算。重要的是，Ithemal將原始文本作為輸入，不需要手動向輸入數(shù)據(jù)添加功能。在測試中，可以將以前看不見的基本塊和給定的芯片提供給Ithemal，并且Ithemal將生成一個數(shù)字，指示芯片將以多快的速度執(zhí)行該代碼。

研究人員發(fā)現(xiàn)，Ithemal的準確率(即預測速度與實際速度之間的差異)比傳統(tǒng)的手工模型降低了50%。此外，在他們的下一篇論文中，他們表明Ithemal的錯誤率是10%，而Intel性能預測模型在多個不同領域的各種基本塊上的錯誤率是20%。

Mendis說，該工具現(xiàn)在使人們可以更輕松地快速了解任何新芯片架構的性能速度。例如，特定領域的體系結構，例如Google專門用于神經(jīng)網(wǎng)絡的新型Tensor處理單元，目前正在構建中，但并未得到廣泛理解。Mendis說：“如果要在某些新架構上訓練模型，只需從該架構收集更多數(shù)據(jù)，通過我們的探查器運行它，使用該信息來訓練Ithemal，現(xiàn)在您就有了一個預測性能的模型，” Mendis說。

接下來，研究人員正在研究使模型可解釋的方法。機器學習在很大程度上是一個黑匣子，因此尚不清楚為什么特定模型會做出預測。“我們的模型說一個處理器要執(zhí)行一個基本塊需要10個周期。現(xiàn)在，我們正在嘗試找出原因。” Carbin說。“對于這些類型的工具而言，這是一個很好的粒度級別，將是驚人的。”

他們還希望使用Ithemal進一步增強Vemal的性能，并自動實現(xiàn)更好的性能。