Flex Logix為邊緣AI啟動推理協(xié)處理器

Flex Logix Technologies公司透露，它已開發(fā)出一種用于邊緣AI處理的新型協(xié)處理器：InferX X1。新芯片基于嵌入式現場可編程門陣列(eFPGA)芯片設計的專利互連技術。它將eFPGA技術與推理優(yōu)化的nnMAX集群結合在新的組合芯片中。

總部位于加利福尼亞州山景城的公司表示，其第一個芯片設計(超出其通常的芯片技術許可業(yè)務)將以相當于競爭對手的功率和成本的一小部分提供接近數據中心的吞吐量。Flex Logix聲稱它提供的吞吐量是現有推理邊緣芯片的10倍。

新芯片可能會用于邊緣網關，低端服務器，機器人和其他高性能邊緣設備。Flex Logix在加利福尼亞州圣克拉拉的Linley處理器大會上發(fā)布了該芯片。

Flex Logix InferX X1芯片通過單個DRAM(動態(tài)隨機存取存儲器芯片)在邊緣應用中提供高吞吐量。該公司聲稱每瓦特的吞吐量比現有解決方案高得多，芯片的性能優(yōu)勢在低批量生產時尤為強勁，這在通常只有一個攝像頭或傳感器的邊緣應用中是必需的。

InferX X1在小批量產品上的性能接近數據中心推理板，并針對每個圖像需要數千億次操作的大型模型進行了優(yōu)化。例如，對于YOLOv3實時對象識別，InferX X1以批量大小= 1處理12.7幀/秒的200萬像素圖像。性能與圖像大小大致呈線性關系，因此對于100萬像素圖像，幀速率大約翻倍。這是一個單一的DRAM。

InferX X1將作為邊緣設備的芯片和邊緣服務器和網關的半高半長PCIe卡提供。它使用nnMAX編譯器進行編程，該編譯器采用Tensorflow Lite或ONNX型號。推理引擎的內部體系結構對用戶是隱藏的。

“神經網絡推理中的艱巨挑戰(zhàn)是最大限度地減少數據移動和能耗，這是我們的互連技術可以做得非常好的事情，”Flex Logix首席執(zhí)行官Geoff Tate在一份聲明中表示。“在處理層時，使用我們的可重配置互連為整個階段配置數據路徑，使InferX像[自定義芯片]一樣運行，然后快速重新配置下一層。由于我們的大部分帶寬來自本地SRAM，InferX

只需要一個DRAM，簡化了芯片和封裝，并降低了成本和功耗。“

添加了Tate，“我們的片上Winograd轉換進一步減少了因重量加載帶寬，因為Winograd格式的權重是1.8倍。我們的混合數字功能使客戶能夠在實際使用整數8，但可以根據需要回退到浮點，以實現所需的預測精度。這些功能組合可實現高預測精度，高吞吐量，低成本和低功耗邊緣推斷。“

nnMAX目前正在開發(fā)中，將于2019年第三季度在SoC中集成.InferX X1將在2019年第三季度完成其設計，芯片和PCIe板樣品將在不久后推出。Tate于2014年共同創(chuàng)建了Flex Logix，迄今為止該公司已籌集了超過2500萬美元。