研究人員為高性能計算創(chuàng)建了第一個可組合的可組合存儲平臺

大規(guī)模，先進的高性能計算(通常稱為超級計算)對于解決復雜和大問題至關重要。

從回答關于宇宙起源的形而上學詢問到發(fā)現(xiàn)抗癌藥物到支持高速流媒體服務，一切都需要處理大量數(shù)據(jù)。

但是，對于這些高級計算機系統(tǒng)而言必不可少的存儲平臺一直處于僵硬的框架中，需要用戶在功能定制或高可用性之間進行選擇。

現(xiàn)在，弗吉尼亞理工大學的研究人員已經(jīng)找到了一種方法，可以讓高性能計算(HPC)數(shù)據(jù)系統(tǒng)通過名為BespoKV的首個框架靈活地發(fā)展，也許有助于有朝一日實現(xiàn)HPC的目標。 exascale，或每秒10億次計算。

研究人員將于11月13日在德克薩斯州達拉斯舉行的計算機協(xié)會/ IEEE超級計算會議上發(fā)表他們的研究結果。

新平臺運行的主要因素是關鍵價值(KV)系統(tǒng)。KV系統(tǒng)存儲和檢索來自非常快速的基于內(nèi)存的存儲而不是較慢的磁盤的重要數(shù)據(jù)。這些系統(tǒng)越來越多地用于當今使用分布式系統(tǒng)的高性能應用程序，這些應用程序由許多計算機組成以解決問題。高性能計算依賴于計算機以前所未有的速度接收，處理和分析大量數(shù)據(jù)。目前，最好的系統(tǒng)每秒運行千萬億次計算或千萬億次計算。

這項研究與處理大量數(shù)據(jù)的行業(yè)有關，無論是空間占用，電影流媒體網(wǎng)站的強烈視覺圖形; 大型信用卡公司的數(shù)百萬金融交易; 或社交媒體上的用戶生成內(nèi)容。想想像Facebook這樣的大型媒體網(wǎng)站，其內(nèi)容不斷變換和不斷訪問。當用戶將內(nèi)容上載到其個人資料頁面時，該信息駐留在多個服務器上。

但是，如果您必須不斷訪問某些內(nèi)容，KV系統(tǒng)作為存儲介質(zhì)可以更加高效，因為內(nèi)容從附近的內(nèi)存存儲器加載，而不是遠處的存儲服務器。這允許系統(tǒng)在完成任務或請求時提供非常高的性能。

“我對關鍵價值系統(tǒng)感興趣，因為這個非?；A和簡單的存儲平臺尚未在高性能計算系統(tǒng)中被利用，它可以提供很多好處，”報告的第一作者Ali Anwar說道。弗吉尼亞理工大學畢業(yè)生，目前在IBM Research工作。“BespoKV是一個新穎的框架，可以使HPC系統(tǒng)提供很多靈活性和性能，而不是被束縛在嚴格的存儲設計上。”

BespoKV的主要創(chuàng)新之處在于它支持組合一系列具有理想功能的KV商店。它的工作原理是采用一個名為datalet的單服務器KV存儲，并支持即時和即用的分布式KV存儲。現(xiàn)在，開發(fā)人員可以將數(shù)據(jù)集放入BespoKV并將分布式系統(tǒng)的“混亂管道”卸載到框架，而不是從頭開始重新設計系統(tǒng)來完成特定任務。BespoKV將KV 存儲設計解耦到用于分布式管理的控制平面和用于本地數(shù)據(jù)存儲的數(shù)據(jù)平面。

該框架還為企業(yè)和機構尚未預見的工作負載提供新的HPC服務。

當前最先進的KV商店的主要限制效果之一是它們在設計時考慮了預先存在的分布式服務，并且通常專門用于特定設置。另一個限制因素是不靈活的單片設計，其中分布式功能深入烘焙到具有后端數(shù)據(jù)存儲的系統(tǒng)中，后端數(shù)據(jù)存儲執(zhí)行管理庫存，訂單和供應等操作。這些KV存儲的嚴格設計不能適應不斷變化的用戶對無數(shù)后端，拓撲，一致性和許多其他服務的需求。

計算機科學教授阿里巴特說：“大公司的開發(fā)人員可以真正投入到使用BespoKV設計創(chuàng)新HPC存儲系統(tǒng)的過程中。” “數(shù)據(jù)訪問性能是HPC存儲系統(tǒng)的主要限制，通常采用混合解決方案來提供靈活性和性能，這很麻煩。我們已經(jīng)創(chuàng)建了一種方法來顯著加快系統(tǒng)行為，以符合所需的性能，一致性，和可靠性水平。“

BespoKV可以靈活，因為它允許所需服務和可用組件之間的任意映射，同時支持分布式管理服務以實現(xiàn)和啟用與數(shù)據(jù)集相關聯(lián)的分布式KV存儲。

“現(xiàn)在我們已經(jīng)證明我們可以在強大的HPC系統(tǒng)中使用KV系統(tǒng)進行高效而簡單的操作，客戶不必在可擴展性和靈活性之間做出選擇，”Butt說。