Meta 發(fā)布 Megabyte AI 模型抗衡 Transformer 速度提高40%

2023-05-31 18:28:04 編輯：金淑眉來源：

導讀 Meta 發(fā)布 Megabyte AI 模型抗衡 Transformer ，新研發(fā)的這款AI模型能夠解決Transformer 目前所面臨的問題，速度提升40%。Transform

Meta 發(fā)布 Megabyte AI 模型抗衡 Transformer ，新研發(fā)的這款AI模型能夠解決Transformer 目前所面臨的問題，速度提升40%。

Transformer屬于當下超流行的一種AI型,尤其在自然語言處理等領域被廣泛的應用。這款模型的序列數(shù)據處理方式是逐步進化的，無法并行化處理，所以訓練速度比較慢。如果想要處理長序列則比較困難，在反向傳播過程中，梯度很容易消失或者爆炸。處理語言的過程中，需要將每一步的操作歷史完整保留下來，會消耗巨大的內存。