再添一個(gè)國(guó)產(chǎn)百億大模型 400億參數(shù)孟子GPT 性能提升10-15%

2023-08-28 19:14:57 編輯：逄時(shí)學(xué) 來(lái)源：

導(dǎo)讀 8月27日，國(guó)產(chǎn)大模型孟子GPT正式上新發(fā)布。孟子GPT-40B版本領(lǐng)先于7B版本，性能會(huì)提升10%~15%。超越國(guó)內(nèi)的部分大模型，在多語(yǔ)言任務(wù)上與Chat...

8月27日，國(guó)產(chǎn)大模型孟子GPT正式上新發(fā)布。孟子GPT-40B版本領(lǐng)先于7B版本，性能會(huì)提升10%~15%。超越國(guó)內(nèi)的部分大模型，在多語(yǔ)言任務(wù)上與ChatGPT-3.5及其相似。孟子GPT-40B的優(yōu)越性能主要集中在中文極多語(yǔ)言能力、寫作、多輪對(duì)話等各個(gè)方面，擁有非常優(yōu)秀的中文能力以及英文能力。

孟子GPT的創(chuàng)作公司是瀾舟科技，自從21年成立以來(lái)，先后發(fā)布孟子系列模型以及多個(gè)垂直領(lǐng)域模型拿到數(shù)億元融資。本次除了發(fā)布孟子GPT之外，同步上線行業(yè)大模型以及基于大模型的產(chǎn)品應(yīng)用。孟子GPT在底層算法上使用了更成熟的預(yù)訓(xùn)練技術(shù)，利用50萬(wàn)指定數(shù)據(jù)精調(diào)，基于70億參數(shù)量的獎(jiǎng)懲函數(shù)進(jìn)行強(qiáng)化學(xué)習(xí)。讓大模型擁有了更強(qiáng)的能力，訓(xùn)練速度可以提升8.5倍，推理速度提升4.6倍。

標(biāo)簽： 400億參數(shù)，孟子GPT