中文通用大模型基準(zhǔn)測(cè)試發(fā)布 GPT-4與人類無限接近

2023-05-11 14:01:46 編輯：凌媚翠來源：

導(dǎo)讀近期中文NLP領(lǐng)域測(cè)試社區(qū)發(fā)布，中文通用大模型綜合性評(píng)測(cè)基準(zhǔn)superCLUE。測(cè)試排名結(jié)果顯示，GPT-4已經(jīng)具有無限接近人類的能力，科大訊飛研

近期中文NLP領(lǐng)域測(cè)試社區(qū)發(fā)布，中文通用大模型綜合性評(píng)測(cè)基準(zhǔn)superCLUE。測(cè)試排名結(jié)果顯示，GPT-4已經(jīng)具有無限接近人類的能力，科大訊飛研發(fā)的星火認(rèn)知大模型排名第3位，百度的文心一言排名為第9位。這個(gè)模型能夠通過各種不同的層面，對(duì)于當(dāng)前市場(chǎng)上主流的GPT大模型做測(cè)試。會(huì)從4個(gè)方面做測(cè)驗(yàn)，包括基礎(chǔ)能力，專業(yè)能力以及中文特性能力。

基礎(chǔ)能力指的是常見的并且具有代表性的模型能力，比如會(huì)擁有非常好的邏輯思維能力，可以生成與創(chuàng)作，與人類之間能夠進(jìn)行對(duì)話，并且可以完成角色模擬等等數(shù)10項(xiàng)能力。專業(yè)能力則指的是包括中學(xué)以及大學(xué)的各種專業(yè)考試，覆蓋50多項(xiàng)能力，包括數(shù)學(xué)，物理，地理等等。中文特性能力則指的是針對(duì)中文特點(diǎn)的任務(wù)，比如成語，詩歌，文學(xué)等數(shù)10項(xiàng)能力。

標(biāo)簽：中文通用大模型基準(zhǔn)測(cè)試，GPT-4