富士通開發(fā)自動調(diào)整計算精度以加速AI處理10倍的技術(shù)

富士通實驗室有限公司日前宣布了一項新的“內(nèi)容感知計算”技術(shù)的開發(fā)，該技術(shù)可以在提高計算速度的同時控制準確性。該技術(shù)是為響應AI技術(shù)的發(fā)展和普及對計算能力的不斷增長的需求而開發(fā)的。

將這項新技術(shù)應用于深度學習任務有望將計算速度提高十倍，從而使將AI用于更廣泛的未來應用程序變得更加容易。

發(fā)展背景

近年來，人工智能技術(shù)在圖像識別和語音翻譯等領域的廣泛應用導致對處理能力的需求不斷增加，使現(xiàn)有技術(shù)難以承受極限。為響應這種趨勢，已經(jīng)開發(fā)了針對這種性質(zhì)的AI應用進行了優(yōu)化的新型GPU和專用處理器。根據(jù)特定的應用程序，可以在各種環(huán)境中計算AI任務，范圍從云環(huán)境到邊緣計算上下文。提供穩(wěn)定性和快速處理能力的技術(shù)將越來越有必要提供處理苛刻的AI任務所需的計算能力。

問題

圖形處理單元(GPU)和專用處理器提高了計算性能，但是還沒有趕上AI的計算需求。作為進一步簡化AI任務性能的一種手段，人們對減輕計算負擔和提高速度的技術(shù)的興趣日益濃厚。

例如，在深度學習中計算神經(jīng)網(wǎng)絡算法時，一種實現(xiàn)更高性能速度的方法是將運算精度從32位降低到8位，并執(zhí)行4次并行運算。不幸的是，如果均勻地降低操作精度，則操作結(jié)果也會惡化。

因此，受過訓練的專家必須努力確定應該通過反復試驗來降低哪個區(qū)域的計算精度。這種方法證明調(diào)整很耗時，每當輸入數(shù)據(jù)或執(zhí)行環(huán)境發(fā)生變化時都需要重新調(diào)整。

關(guān)于最新技術(shù)

為了克服這些挑戰(zhàn)，富士通開發(fā)了“內(nèi)容感知計算”技術(shù)，該技術(shù)可自動控制并加快計算精度。這可以在包括GPU，CPU，云和邊緣在內(nèi)的各種執(zhí)行環(huán)境中實現(xiàn)更快的AI處理。該技術(shù)的特征如下。

1.自動減少技術(shù)

神經(jīng)網(wǎng)絡通常具有數(shù)值范圍，其中隨著學習的進行，每一層都收斂到相似的數(shù)值。根據(jù)計算過程中神經(jīng)網(wǎng)絡中每一層數(shù)值范圍的分布，根據(jù)學習情況確定計算精度的應用程度，例如分布寬時位寬，而分布寬時位寬。學習是先進的和融合的(圖1)。這使得深度學習的速度比以前快三倍，同時減少了計算結(jié)果的下降。

2.同步緩解技術(shù)，可在并行環(huán)境中以性能波動實現(xiàn)高速執(zhí)行

在云環(huán)境或許多應用程序共享CPU的其他環(huán)境中，由于通信沖突，處理中斷等，對某些節(jié)點的響應可能會存在明顯的延遲。另一方面，在并行處理的每個操作中，估計終止處理時的處理時間的減少以及對操作結(jié)果的影響程度，并且控制每個操作的終止時間，使得可以最大程度地減少處理時間而不會惡化操作結(jié)果。這可實現(xiàn)更快的并行處理，從而使深度學習計算中的確認性能快3.7倍。

特效

最終，新開發(fā)的技術(shù)“ Content-Aware Computing”可以將AI任務的處理速度提高多達10倍。通過將此技術(shù)整合到AI框架和庫中，可以使用具有內(nèi)置低位計算功能的GPU和CPU加快云環(huán)境和數(shù)據(jù)中心中的AI處理。

未來的計劃

展望未來，富士通的目標是將該技術(shù)整合到一個廣泛使用的AI框架中，并將成為使用深度學習執(zhí)行AI服務的基礎。