WekaIO推出Weka AI以實現(xiàn)從邊緣到核心的加速邊緣到云數(shù)據(jù)管道

人工智能(AI)數(shù)據(jù)管道與傳統(tǒng)的基于文件的IO應(yīng)用程序本質(zhì)上不同。AI數(shù)據(jù)流水線中的每個階段都有不同的存儲IO要求：用于攝取和訓(xùn)練的大量帶寬，用于提取，轉(zhuǎn)換，加載(ETL)的混合讀/寫處理，用于推理的超低延遲以及用于整個數(shù)據(jù)流水線可見性的單個名稱空間。此外，邊緣的AI推動了對邊緣到核心到云數(shù)據(jù)管道的需求。因此，解決方案必須滿足所有這些不同的要求，并及時提供大規(guī)模的見解。傳統(tǒng)解決方案缺乏這些功能，并且常常無法滿足性能，跨角色共享性和數(shù)據(jù)移動性要求。行業(yè)需要解決方案來克服這些挑戰(zhàn)，它們需要AI時代的數(shù)據(jù)管理，

Weka AI是一個框架，結(jié)合了多種技術(shù)合作伙伴關(guān)系，旨在通過解決與AI等IO密集型工作負載共同的存儲挑戰(zhàn)，并提供可用于生產(chǎn)的解決方案來加速DataOps。它利用WekaFS來加速AI數(shù)據(jù)管道，為單個GPU客戶端提供超過73 GB /秒的帶寬。此外，它還具有版本控制，可解釋性和可重復(fù)性的操作敏捷性，并通過在線加密和數(shù)據(jù)保護提供治理和合規(guī)性。與WIN計劃中的合作伙伴一起設(shè)計的解決方案可確保Weka AI將為整個數(shù)據(jù)管道提供數(shù)據(jù)收集，工作區(qū)和深度神經(jīng)網(wǎng)絡(luò)(DNN)培訓(xùn)，模擬，推理和生命周期管理。

引用語錄

企鵝計算高級解決方案集團技術(shù)和業(yè)務(wù)開發(fā)高級總監(jiān)Kevin Tubbs

“ Weka AI提供了滿足現(xiàn)代AI應(yīng)用程序要求的解決方案。我們很高興與Weka合作，加速下一代AI數(shù)據(jù)管道。”

Groupware數(shù)據(jù)和AI總監(jiān)Amrinderpal Singh Oberai

“ Groupware數(shù)據(jù)和AI團隊已經(jīng)在內(nèi)部測試并驗證了Weka AI參考架構(gòu)。Weka AI框架為我們提供了靈活性和技術(shù)創(chuàng)新，可以與其他ISV技術(shù)合作伙伴一起構(gòu)建定制解決方案，以通過AI解決行業(yè)挑戰(zhàn)。”

NVIDIA加速計算產(chǎn)品管理總監(jiān)Paresh Kharya

“用于AI的端到端應(yīng)用程序性能需要為高性能NVIDIA GPU提供高吞吐量的數(shù)據(jù)管道。Weka AI利用GPUDirect存儲在存儲和GPU之間提供直接路徑，從而消除了數(shù)據(jù)密集型AI應(yīng)用程序的I / O瓶頸。”

Mellanox Technologies市場部高級副總裁Gilad Shainer說：

“ InfiniBand已成為高性能和可擴展AI基礎(chǔ)架構(gòu)的事實上的標準，可在整個網(wǎng)絡(luò)和網(wǎng)絡(luò)計算加速引擎中提供高數(shù)據(jù)。通過InfiniBand上的GPUDirect和GPUDirect存儲以及Weka AI框架，為我們共同的客戶提供了世界領(lǐng)先的AI應(yīng)用程序平臺。”