Tapis計算平臺將科學(xué)計算工具編織在一起

希望降低研究難度并在工具帶中添加新的計算工具的科學(xué)家可以探索Tapis項目。Tapis軟件平臺旨在幫助研究人員更輕松地利用功能強大的超級計算機，并集成和管理來自不同遙遠來源的數(shù)據(jù)。

科學(xué)基金會(NSF)向德克薩斯高級計算中心(TACC)和德克薩斯大學(xué)奧斯汀分校(UT Austin)授予了290萬美元的資助，此外還向夏威夷大學(xué)(UH)提供了100萬美元的獎勵。NSF獎項于2019年9月開始，旨在支持Tapis的持續(xù)開發(fā)，Tapis是TACC-API的縮寫，從掛毯一詞開始，將服務(wù)和功能融合在一起。一個應(yīng)用程序編程接口(API)是一個接口的軟件系統(tǒng)已建成或改造的另一個程序使用。

“ Tapis是用于計算科學(xué)和計算研究的研究計算平臺，”負(fù)責(zé)TACC的云計算和交互式計算小組的首席研究員(PI)喬·斯塔布斯說。“ Tapis是一個軟件系統(tǒng)，可以幫助研究人員使用我們在TACC和其他地方擁有的超級計算機和其他類型的計算資源。”

“描述Tapis的最簡單方法是，它是一個基于Web的應(yīng)用程序，它提供了現(xiàn)代科學(xué)家進行數(shù)據(jù)密集型，計算密集型研究所需的所有工具，”大學(xué)網(wǎng)絡(luò)基礎(chǔ)設(shè)施主管Co-PI Gwen A. Jacobs說。夏威夷系統(tǒng)。“ Tapis的與眾不同之處之一是，它將研究人員需要的所有重要工具編織在一起。這就是Tapis的真正力量。”

Tapis將在使用計算工具進行研究的過程中為具有不同專業(yè)知識的各種用戶提供服務(wù)。擁有高端計算資源和編程經(jīng)驗的“高級用戶”將是其中的一員。Tapis將幫助他們自動化和簡化大型的工作流程或軟件應(yīng)用程序管道。

在光譜的另一端，科學(xué)家才剛剛開始探索將先進計算應(yīng)用于他們的研究的可能性。Stubbs說：“我們正在嘗試使用Tapis為他們做的事情，是在超級計算機上運行計算程序的最簡單方法。”

然后是中間一個小組，通常是大型軟件開發(fā)項目，專注于特定的研究領(lǐng)域，例如免疫學(xué)，天文學(xué)或生物信息學(xué)。

Stubbs說：“ Tapis的目標(biāo)是使研究人員能夠以更加用戶友好的方式訪問這些計算資源。”

由NSF資助的計算資源被廣泛描述為網(wǎng)絡(luò)基礎(chǔ)設(shè)施，即研究人員共享的在線生態(tài)系統(tǒng)，由高級計算資源作為后盾，托管在數(shù)據(jù)中心中，并得到專家的支持。“那些網(wǎng)絡(luò)基礎(chǔ)設(shè)施項目的Web開發(fā)人員團隊和其他開發(fā)人員可以利用Tapis更快地構(gòu)建其網(wǎng)絡(luò)基礎(chǔ)設(shè)施項目。”

為此，一個示例是TAPIS API框架對流傳感器數(shù)據(jù)的支持，其中在復(fù)雜的工作流程中，一個事件(例如，對傳感器陣列的檢測)可能觸發(fā)另一個事件，依此類推，甚至是多個分析例程。

雅各布斯解釋說：“事件驅(qū)動的計算意味著工作流并非一直在運行。對于那些需要從傳感器和數(shù)據(jù)等來源獲取數(shù)據(jù)的科學(xué)家來說，這是一個很棒的功能上傳。這意味著他們不必手動運行所有代碼。工作流建立之后，就可以進行免提計算，從而實現(xiàn)免提分析。”

Tapis將整合由地球科學(xué)基金會(NSF)資助的EarthCube組成的地球科學(xué)(CHORDS)項目云托管實時數(shù)據(jù)服務(wù)，以實現(xiàn)事件驅(qū)動的計算。

從某種意義上說，應(yīng)用于科學(xué)的API允許不同的系統(tǒng)相互通信。Stubbs說：“使用Tapis的想法是要有一個機器可讀和易用的接口來連接計算資源，例如超級計算機，還有高性能的存儲系統(tǒng)，例如我們的Corral存儲系統(tǒng)或我們的全局文件系統(tǒng)，Stockyard，以及我們希望擁有一個易于在其他程序中訪問和操作的界面。”

Tapis將提供的另一個功能是新的安全內(nèi)核，其作用類似于控制對系統(tǒng)資源的訪問的門。Tapis安全內(nèi)核將被分散化，使科學(xué)家可以更輕松地站立自己的應(yīng)用程序并保留對機密數(shù)據(jù)的本地控制。

夏威夷大學(xué)網(wǎng)絡(luò)基礎(chǔ)設(shè)施研究科學(xué)家Co-PI Sean Cleveland說：“新的安全內(nèi)核使我們能夠提供過去完成的所有托管安全性，身份驗證和授權(quán)。”“但是它還將允許數(shù)據(jù)中心和機構(gòu)部署自己的安全內(nèi)核，以便他們可以使用自己的用戶憑據(jù)并以自己的方式管理自己的安全性，以及在其機構(gòu)中部署框架的各個組件，并且能夠利用一些集中的工作，這是一個使用科學(xué)即服務(wù)，平臺即服務(wù)的新型混合系統(tǒng)，但是如果您想要更多的控制和定制功能，則可以在現(xiàn)場部署較小的組件而且仍然能夠利用一些較大的托管組件來滿足不同的需求。”

Tapis將為用戶提供簡化創(chuàng)建應(yīng)用程序的過程的能力，這是科學(xué)家的強大工具。雅各布斯說：“如果您可以對工作流程進行編程，并使該工作流程在Tapis這樣的平臺上運行，則可以簡化流程，因為所有組件都可以更輕松地相互交流。”“這意味著研究人員必須構(gòu)建一次該工作流程。然后，他們將該工作流程另存為Tapis基礎(chǔ)架構(gòu)中的應(yīng)用程序并重復(fù)使用。”

保存軟件環(huán)境的所有參數(shù)也將使科學(xué)家能夠在以后再次返回并再次運行數(shù)據(jù)分析，從而提高了科學(xué)可重復(fù)性。

Stubbs解釋說：“這實際上是TACC與夏威夷大學(xué)之間的完整合作。”

TACC在高性能計算和構(gòu)建分布式軟件系統(tǒng)方面擁有廣泛的專業(yè)知識。盡管TACC的某些組件將在NSF資助的Jetstream云上運行，但Tapis的組件本身可以在商品服務(wù)器或現(xiàn)成的服務(wù)器上運行。

UH的團隊成員正在為Tapis系統(tǒng)的開發(fā)，設(shè)計和體系結(jié)構(gòu)做出貢獻。更重要的是，它們?yōu)闅夂颍Ｑ?，珊瑚礁，人類微生物組以及圍繞健康差異的人口研究等領(lǐng)域的夏威夷提供了大量重要的領(lǐng)域研究信息。

雅各布斯說：“在夏威夷為我們提供Tapis項目，對于將先進的網(wǎng)絡(luò)基礎(chǔ)設(shè)施應(yīng)用到數(shù)據(jù)密集型科學(xué)中，是一個巨大的認(rèn)識提升。”“沒有這樣的項目，我們的許多研究人員可能不會意識到這些資源。”

研究人員正在努力的主要里程碑之一是在2020年夏季為早期采用者舉辦的年終研討會。“我們的想法是舉辦一次研討會，邀請研究人員參加，帶來他們的數(shù)據(jù)集，以提供給研究者。不僅介紹了他們的科學(xué)和用例，而且還讓Tapis團隊在第一年年底之前介紹了系統(tǒng)的功能。”

TACC高級計算接口主管Co-PI Maytal Dahan表示：“我們非常高興能夠啟動由NSF資助的新Tapis項目。“ Tapis將通過促進強大的網(wǎng)絡(luò)基礎(chǔ)設(shè)施功能和服務(wù)的發(fā)現(xiàn)，訪問和使用來改變科學(xué)家的生產(chǎn)力。我們希望通過提供各種安全可靠的API服務(wù)來降低完成科學(xué)的復(fù)雜性并縮短產(chǎn)品上市時間。可以在生產(chǎn)質(zhì)量的環(huán)境中為我們的用戶提供支持。

TACC團隊將在項目的各個方面工作-開發(fā)安全內(nèi)核，流數(shù)據(jù)API和集成，質(zhì)量保證和持續(xù)集成測試，外展，培訓(xùn)和員工開發(fā)。我真的為TACC和UH的團隊感到驕傲，我們都熱心從一開始就通過我們的早期采用者計劃與科學(xué)界合作，以創(chuàng)建對科學(xué)界產(chǎn)生積極影響的服務(wù)。”

Tapis項目是“持續(xù)創(chuàng)新網(wǎng)絡(luò)基礎(chǔ)設(shè)施”(CSSI)的一部分，該項目是由高級網(wǎng)絡(luò)基礎(chǔ)設(shè)施辦公室(OAC)牽頭的NSF跨領(lǐng)域計劃。“ CSSI支持創(chuàng)新的網(wǎng)絡(luò)基礎(chǔ)設(shè)施的發(fā)展，使研究人員社區(qū)能夠繼續(xù)并加速NSF支持的所有基礎(chǔ)科學(xué)和工程領(lǐng)域的進步，”管理該獎項的OAC計劃主任Stefan Robila博士說。“通過在先前的工作基礎(chǔ)上，并利用現(xiàn)有的領(lǐng)導(dǎo)力計算資源(如TACC可獲得的資源)，Tapis有助于不斷增強網(wǎng)絡(luò)基礎(chǔ)設(shè)施，同時降低了獲取網(wǎng)絡(luò)基礎(chǔ)設(shè)施的障礙。”