Instagram的內(nèi)容審核算法標(biāo)記和禁用黑人用戶的可能性比白人用戶高50%

讀到：“雖然大型神經(jīng)語(yǔ)言模型很可能最終成為人類對(duì)自然語(yǔ)言理解的最終全面解決方案的重要組成部分，但它們幾乎不是解決這一巨大挑戰(zhàn)的解決方案。”

Bender尚未親自測(cè)試過(guò)GPT-3，但她說(shuō)，從她看來(lái)，這是令人印象深刻的，但其架構(gòu)與GPT-2大致相同。主要區(qū)別在于它的規(guī)模。

她說(shuō)：“它既閃閃發(fā)亮，又大又浮華，無(wú)論從整體上還是在帶來(lái)的風(fēng)險(xiǎn)上，都沒有什么不同。”“我認(rèn)為所謂的人工智能方法存在一個(gè)基本問(wèn)題，該方法所依賴的數(shù)據(jù)集大于人類實(shí)際可以手動(dòng)驗(yàn)證的數(shù)據(jù)集。”

在一些由早期訪問(wèn)用戶產(chǎn)生的OpenAI免費(fèi)宣傳中，有一些例子表明了其可預(yù)測(cè)的偏見。Facebook AI負(fù)責(zé)人Jerome Pesenti發(fā)現(xiàn)了AI產(chǎn)生的一系列負(fù)面言論，這些負(fù)面言論旨在產(chǎn)生針對(duì)黑人，猶太人和女性的人性化推文。當(dāng)然，這不足為奇。5月下旬發(fā)表的論文中進(jìn)行的測(cè)試發(fā)現(xiàn)，GPT-3表現(xiàn)出性別偏見，最有可能給亞洲人帶來(lái)較高的情感分析，而給黑人帶來(lái)較低的情感分析得分，尤其是在較小版本的模型中。OpenAI分析還顯示了特定任務(wù)的缺點(diǎn)，例如上下文中的詞分析(WiC)和RACE，這是一組中學(xué)和高中的考試題。

今年早些時(shí)候的測(cè)試發(fā)現(xiàn)，許多受大型數(shù)據(jù)語(yǔ)料庫(kù)訓(xùn)練的流行語(yǔ)言模型，例如Google的BERT和GPT-2，都表現(xiàn)出幾種形式的偏見。華盛頓大學(xué)(University of Washington)教授自然語(yǔ)言處理(NLP)倫理課程的本德爾(Bender)說(shuō)，沒有諸如無(wú)偏見的數(shù)據(jù)集或無(wú)偏見模型之類的東西，即使精心創(chuàng)建的語(yǔ)言數(shù)據(jù)集也可能帶有更微妙的偏見形式。但是她堅(jiān)持認(rèn)為一些最佳實(shí)踐可以減少大數(shù)據(jù)集中的偏差。

一位發(fā)言人說(shuō)，OpenAI正在實(shí)施Beta測(cè)試作為一種保障措施，這可能有助于發(fā)現(xiàn)問(wèn)題，并補(bǔ)充說(shuō)該公司正在對(duì)GPT-3使用毒性過(guò)濾器。發(fā)言人拒絕透露有關(guān)過(guò)濾器可能完成的工作的更多信息，但表示將在未來(lái)幾周內(nèi)分享更多細(xì)節(jié)。

可以理解的是，GPT-3在某些人中引起了驚奇，因?yàn)樗坪醺咏谕ㄓ媚Ｐ偷乃枷?，該模型只需少量?xùn)練數(shù)據(jù)樣本就幾乎可以完成任何事情。OpenAI首席執(zhí)行官山姆·奧特曼(Sam Altman)發(fā)推文說(shuō)，他向GPT-3展示了一個(gè)10歲的男孩，他在幾秒鐘內(nèi)說(shuō)他想進(jìn)入AI領(lǐng)域。

但奧特曼(Altman)在周日的一條推文中也表示：“ GPT-3的宣傳太多了。令人印象深刻(感謝您的贊美!)，但仍然存在嚴(yán)重的弱點(diǎn)，有時(shí)還會(huì)犯非常愚蠢的錯(cuò)誤。人工智能將改變世界，但是GPT-3只是很早的一瞥。我們還有很多事情要解決。”

OpenAI論文說(shuō)，表征模型某些屬性的方法是受到Google AI倫理研究人員創(chuàng)建的用于模型報(bào)告方法的模型卡的啟發(fā)。

除了需要采用數(shù)據(jù)表或數(shù)據(jù)語(yǔ)句來(lái)更好地理解數(shù)據(jù)