微軟發(fā)布DialogGPT AI對話模型

微軟研究院的 自然語言處理小組發(fā)布了對話生成式預(yù)訓(xùn)練轉(zhuǎn)換器(DialoGPT)，這是一種用于自動對話響應(yīng)生成的預(yù)訓(xùn)練深度學(xué)習(xí)自然語言處理(NLP)模型。該模型經(jīng)過了超過1.47億次對話的培訓(xùn)，并在多個(gè)基準(zhǔn)測試中獲得了最新的結(jié)果。

該團(tuán)隊(duì)在arXiv上發(fā)表的一篇論文中介紹了該系統(tǒng)的詳細(xì)信息。DialoGPT建立在GPT-2轉(zhuǎn)換器架構(gòu)上，并使用從Reddit注釋線程中抓取的數(shù)據(jù)集進(jìn)行了訓(xùn)練。使用兩個(gè)測試數(shù)據(jù)集對模型進(jìn)行了評估，這兩個(gè)數(shù)據(jù)集是Dialog System Technology Challenges(DSTC-7)數(shù)據(jù)集，還從Reddit中提取了一個(gè)新的6k示例數(shù)據(jù)集。對于這兩個(gè)數(shù)據(jù)集，該團(tuán)隊(duì)使用機(jī)器翻譯指標(biāo)(例如BLEU和Meteor)來評估DialoGPT與微軟的Personality Chat相比的性能。以及DSTC-7冠軍“ B隊(duì)”。DialoGPT在所有指標(biāo)上均優(yōu)于其他模型。該團(tuán)隊(duì)還利用人類裁判對DialoGPT的輸出與真實(shí)人類的反應(yīng)進(jìn)行排名。法官們約有50%的時(shí)間喜歡DialoGPT的回應(yīng)。

該變壓器的架構(gòu)已經(jīng)成為NLP任務(wù)流行的深學(xué)習(xí)模型。這些模型通常使用無監(jiān)督學(xué)習(xí)在大型數(shù)據(jù)集(例如Wikipedia的內(nèi)容)上進(jìn)行預(yù)訓(xùn)練。通過預(yù)訓(xùn)練，模型可以在針對特定任務(wù)的數(shù)據(jù)集(例如DSTC-7數(shù)據(jù)集)上進(jìn)行微調(diào)之前，學(xué)習(xí)自然的語言結(jié)構(gòu)。即使沒有微調(diào)，大型的預(yù)訓(xùn)練模型也可以實(shí)現(xiàn)最新的結(jié)果在NLP基準(zhǔn)上。但是，DialoGPT團(tuán)隊(duì)指出，這些模型中的許多都是“臭名昭著的，因?yàn)樗鼈兩傻臉颖镜?，?nèi)容不詳。” 為了解決這個(gè)問題，他們實(shí)施了最大互信息(MMI)評分功能，該功能對模型的輸出進(jìn)行重新排名，對“平淡”的輸出進(jìn)行懲罰。研究小組還研究了使用強(qiáng)化學(xué)習(xí) 來改善模型結(jié)果的方法，但發(fā)現(xiàn)這樣做通常會導(dǎo)致回答只是重復(fù)了源句。

由于缺乏用于對話任務(wù)的高質(zhì)量訓(xùn)練數(shù)據(jù)集，預(yù)訓(xùn)練模型對于會話系統(tǒng)特別有吸引力。但是，使用來自Reddit或Twitter之類的Internet網(wǎng)站的自然對話信息會帶來風(fēng)險(xiǎn)，該模型可能會暴露于攻擊性言論并可以從中學(xué)習(xí)。在與Twitter用戶交談之后，微軟較早的實(shí)驗(yàn)聊天機(jī)器人Tay 產(chǎn)生的輸出 “ 絕對不合適且應(yīng)受到譴責(zé)”。微軟的個(gè)性聊天云服務(wù)試圖解決這個(gè)問題通過使用一系列機(jī)器學(xué)習(xí)分類器在自動生成響應(yīng)之前過濾掉令人反感的輸入。作為預(yù)防措施，DialoGPT團(tuán)隊(duì)選擇不發(fā)布將模型輸出轉(zhuǎn)換為實(shí)際文本字符串的解碼器。同樣，由于擔(dān)心“技術(shù)的惡意應(yīng)用” ，OpenAI 最初保留了其經(jīng)過全面訓(xùn)練的模型。