微軟的Tay聊天機(jī)器人從在線對(duì)話中學(xué)到了太多太快

早在2015年，聊天機(jī)器人就備受關(guān)注。其中一個(gè)被大肆宣傳的是Facebook的M，它的目標(biāo)是成為一個(gè)靈活的、適用廣泛的機(jī)器人，它可以做很多不同的事情，比如購買物品、安排送禮、預(yù)定餐廳和計(jì)劃旅行。但這些聲音遠(yuǎn)遠(yuǎn)超過了機(jī)器人本身。當(dāng)Facebook在灣區(qū)對(duì)2500人測(cè)試M時(shí)，該軟件并未能完成要求它完成的大部分任務(wù)。

在對(duì)M和其他聊天機(jī)器人的熱情爆發(fā)之后，隨之而來的是一波失望(微軟首席執(zhí)行官納德拉曾說“機(jī)器人是新的應(yīng)用”)。聊天機(jī)器人不像機(jī)器人那么愛聊天，那是因?yàn)樗麄儽挥?xùn)練只談?wù)撘恍〔糠质虑?，?zhí)行特定的、有限的任務(wù)。它們無法與人進(jìn)行自然的對(duì)話，無法根據(jù)對(duì)單詞及其含義的一般理解產(chǎn)生自己的反應(yīng)。它們只能提供一般性的答復(fù)。

在M測(cè)試版之前，F(xiàn)acebook縮減了對(duì)這款機(jī)器人的宏偉計(jì)劃，盡管它的一些自然語言技術(shù)已經(jīng)進(jìn)入了相對(duì)保守的Messenger聊天機(jī)器人領(lǐng)域，這些聊天機(jī)器人可以做一些簡(jiǎn)單的事情，比如點(diǎn)餐或發(fā)送問答信息。運(yùn)通和1-800-FLOWERS等公司仍然使用這種簡(jiǎn)單的聊天機(jī)器人來回答客戶服務(wù)問題、接受基本訂單和提供賬戶余額。如果你問一些超出它們理解范圍的問題，則會(huì)讓你和人工客服聯(lián)系。

但Facebook的人工智能研究小組已經(jīng)從那種只能簡(jiǎn)單聊天的機(jī)器人發(fā)展起來。Facebook自然語言研究人員Antoine Bordes表示：“過去3到4年我們一直在說，對(duì)目標(biāo)導(dǎo)向?qū)υ挼难芯坎皇俏覀冃枰剿鞯牡缆?，因?yàn)樗y，風(fēng)險(xiǎn)太大。”他還表示，如果一個(gè)旅游聊天機(jī)器人預(yù)訂了“錯(cuò)誤的飛機(jī)、錯(cuò)誤的航班，那在金錢、旅游等方面都是一個(gè)很大的錯(cuò)誤。”

Bordes解釋說，F(xiàn)acebook并沒有專注于特定任務(wù)的機(jī)制，而是后退一步來解決一個(gè)更深層次的問題——教虛擬代理像人一樣交談。他們認(rèn)為，如果聊天機(jī)器人能夠更好地理解，并與人類交流，它們最終可能會(huì)成為更好的助手，幫助人們完成實(shí)際任務(wù)，比如預(yù)訂機(jī)票。

Facebook在這方面投入了大量資金，聘請(qǐng)了自然語言人工智能領(lǐng)域的一些頂尖人才。該公司喜歡表明的是，與一些大型科技公司不同，它通過將人工智能研究成果發(fā)布到網(wǎng)上，讓整個(gè)研究社區(qū)都能看到，這可能會(huì)幫助其他正在構(gòu)建下一代人工智能的公司。但這項(xiàng)研究肯定也會(huì)在自己的產(chǎn)品中體現(xiàn)。

消息應(yīng)用與人們的日常生活深度捆綁，包括Messenger和WhatsApp，后者也是Facebook的子公司，目前仍在研究如何盈利。隨著首席執(zhí)行官扎克伯格為公司提出一個(gè)更加重視私人對(duì)話的新愿景，Messenger和WhatsApp將需要增加一些功能，以保持相對(duì)于微信、Telegram和蘋果iMessage等其他信息平臺(tái)的領(lǐng)先地位。

構(gòu)建一種可以隨意與人聊天的算法，已經(jīng)成為大型科技公司的一個(gè)關(guān)鍵目標(biāo)。亞馬遜、谷歌和微軟都加入了Facebook的行列，押注于人類對(duì)話的力量——不僅是基于文本的消息應(yīng)用，還包括語音助手和其他體驗(yàn)。由于最近的研究進(jìn)展，通往真正的對(duì)話式計(jì)算機(jī)的道路突然變得清晰起來，但首先到達(dá)目的地的獎(jiǎng)品仍有待商榷。

換句話說，F(xiàn)acebook的自然語言研究遠(yuǎn)不止是復(fù)活M或者改進(jìn)基于Messenger的聊天機(jī)器人，而是事關(guān)整個(gè)公司的未來。

神經(jīng)網(wǎng)絡(luò)

構(gòu)建一個(gè)能與人進(jìn)行逼真對(duì)話的數(shù)字代理人，可以說是所有自然語言問題中最難的。它需要一臺(tái)機(jī)器來學(xué)習(xí)一本充滿單詞的字典，以及所有的用法和細(xì)微差別，然后在與一個(gè)無法預(yù)測(cè)的人的實(shí)時(shí)對(duì)話中使用它們。

直到最近幾年，自然語言的AI社區(qū)才開始向通用知識(shí)機(jī)器人邁出更大的步伐。這部分是因?yàn)樯窠?jīng)網(wǎng)絡(luò)的巨大進(jìn)步，這是一種機(jī)器學(xué)習(xí)算法，通過分析大量數(shù)據(jù)來識(shí)別模式。

在AI發(fā)展的大部分歷史中，人類一直在觀察軟件在機(jī)器學(xué)習(xí)過程中的表現(xiàn)。在一種被稱為監(jiān)督學(xué)習(xí)的技術(shù)中，人類教師通過提供一個(gè)問題的正確答案來慢慢訓(xùn)練神經(jīng)網(wǎng)絡(luò)，然后調(diào)整算法使其達(dá)到相同的解決方案。

當(dāng)有大量的數(shù)據(jù)都是經(jīng)過精心標(biāo)注的時(shí)候，監(jiān)督學(xué)習(xí)就能很好地工作——比如，通過識(shí)別照片中有貓、狗或其他物品。但這種方法在聊天機(jī)器人的世界里往往行不通。數(shù)千小時(shí)的人與人之間的對(duì)話記錄很難大量找到，而且對(duì)于一家公司來說，創(chuàng)建這些記錄的成本很高。

由于很難教聊天機(jī)器人使用這些較老的方法進(jìn)行對(duì)話，研究人員一直在尋找替代監(jiān)督學(xué)習(xí)的方法，讓神經(jīng)網(wǎng)絡(luò)在沒有人參與的情況下自己從數(shù)據(jù)中學(xué)習(xí)。

減少對(duì)訓(xùn)練數(shù)據(jù)需求的一種方法是教機(jī)器基本常識(shí)。如果一臺(tái)計(jì)算機(jī)對(duì)世界有一些了解，比如物體的相對(duì)大小、人們?nèi)绾问褂盟鼈?，以及一些物理定律如何影響它們的知識(shí)，那么它可能會(huì)將選擇范圍縮小。

人類這樣做很自然。例如，假設(shè)你在一個(gè)陡峭的懸崖邊開車，突然看到前面的路上有一塊大石頭，你要避免撞到石頭。但在考慮你的選擇時(shí)，你永遠(yuǎn)不會(huì)決定突然向懸崖邊艱難地轉(zhuǎn)彎。你知道，由于重力的作用，汽車會(huì)猛烈地落在下面的巖石上。

“我們所做的大部分學(xué)習(xí)是觀察世界，”Facebook副總裁兼首席人工智能科學(xué)家Yann Lecun是人工智能領(lǐng)域的傳奇人物，自上世紀(jì)80年代以來一直在應(yīng)對(duì)最大的挑戰(zhàn)，他表示：“我們從父母和其他人身上學(xué)到了很多東西，但我們也正是通過與世界互動(dòng)，通過嘗試、失敗和改正，學(xué)到了很多東西。”

使用這種技術(shù)訓(xùn)練的人工智能，稱為無監(jiān)督學(xué)習(xí)，工作原理是一樣的。例如，一輛自動(dòng)駕駛汽車通過它的許多傳感器和攝像頭收集有關(guān)世界的數(shù)據(jù)，就像一個(gè)孩子通過她的五種感官了解世界一樣。通過這種方法，科學(xué)家們?yōu)闄C(jī)器提供了大量的訓(xùn)練數(shù)據(jù)供其仔細(xì)研究。他們不會(huì)要求它給出正確的答案，也不會(huì)哄它朝著某個(gè)目標(biāo)前進(jìn)。相反，他們只要求IT部門處理數(shù)據(jù)并從中學(xué)習(xí)，找到模式，并映射不同數(shù)據(jù)點(diǎn)之間的關(guān)系。

在許多情況下，這些必要的數(shù)據(jù)很難獲得。但是AI的一個(gè)領(lǐng)域是，神經(jīng)網(wǎng)絡(luò)可以在不需要傳感器的情況下了解世界，即自然語言處理。研究人員可以使用大量現(xiàn)有的文本來幫助算法理解人類世界，這是理解語言的必要部分。

假設(shè)給一個(gè)神經(jīng)網(wǎng)絡(luò)兩個(gè)短語來理解：

“獎(jiǎng)杯放不進(jìn)手提箱，因?yàn)樗罅恕?rdquo;

“獎(jiǎng)杯放不進(jìn)手提箱，因?yàn)樗×恕?rdquo;

要知道“它”在每個(gè)句子中指的是不同的事物，模型需要知道一些關(guān)于世界上的對(duì)象及其相互關(guān)系的信息。LeCun表示：“文本中有足夠的結(jié)構(gòu)，它們正在接受訓(xùn)練，知道當(dāng)你有一個(gè)對(duì)象適合另一個(gè)對(duì)象時(shí)，如果對(duì)象太大，其中一個(gè)就不適合。”

這項(xiàng)技術(shù)可能成為新一代更具對(duì)話性和實(shí)用性的Facebook聊天機(jī)器人的秘密。

BERT和RoBERTa

目前在自然語言系統(tǒng)的無監(jiān)督訓(xùn)練方面的進(jìn)展始于2018年的谷歌。它的研究人員創(chuàng)建了一個(gè)名為BERT(Bidirectional Encoder Representations from Transformers)的深度學(xué)習(xí)模型，并從11038本書中提取了未加注釋的文本，以及維基百科英語詞條中的25億個(gè)單詞。研究人員隨機(jī)屏蔽了文本中的某些單詞，并對(duì)該模型提出了挑戰(zhàn)，讓它找出如何填入這些單詞。

在神經(jīng)網(wǎng)絡(luò)分析了整個(gè)訓(xùn)練文本后，它發(fā)現(xiàn)了經(jīng)常出現(xiàn)在同一上下文中的單詞和句子的模式，幫助它理解單詞之間的基本關(guān)系。由于單詞是物體或概念在現(xiàn)實(shí)世界中的表現(xiàn)形式，該模型學(xué)到的不僅僅是單詞之間的語言關(guān)系：它開始理解物體之間的關(guān)系。

BERT并不是第一個(gè)使用無監(jiān)督方法訓(xùn)練計(jì)算機(jī)理解人類語言的模型，但它是第一個(gè)在上下文中學(xué)習(xí)單詞含義的模型。

“我想說它是自然語言處理領(lǐng)域的前兩三大突破之一，”微軟研究院深度學(xué)習(xí)小組的合作伙伴研究經(jīng)理Jianfeng Gao表示。“你可以看到人們使用該模型作為構(gòu)建所有其他自然語言處理模型的新基線。”到目前為止，BERT研究論文有超過1000條學(xué)術(shù)引用，其他研究人員也在谷歌的模型上進(jìn)行了構(gòu)建。

LeCun和他的團(tuán)隊(duì)就是其中之一。他們構(gòu)建了自己版本的模型，然后進(jìn)行了一些優(yōu)化調(diào)整，大大擴(kuò)展了訓(xùn)練數(shù)據(jù)量，并增加了允許的訓(xùn)練時(shí)間。在神經(jīng)網(wǎng)絡(luò)運(yùn)行了數(shù)十億次計(jì)算之后，F(xiàn)acebook的語言模型RoBERTa的表現(xiàn)要比谷歌的模型好得多。與BERT的80.5%相比，它的準(zhǔn)確率達(dá)到了88.5%。

BERT和RoBERTa代表了一種全新的方法來教計(jì)算機(jī)如何交談。“在這個(gè)過程中，系統(tǒng)必須表示它看到的單詞的意思、句子的結(jié)構(gòu)和上下文，”LeCun表示。“結(jié)果，它學(xué)會(huì)了語言的本質(zhì)，這很奇怪，因?yàn)樗鼘?duì)世界的物理現(xiàn)實(shí)一無所知。它沒有視覺，沒有聽覺，什么都沒有。”它只知道語言——字母、單詞和句子。

慢慢接近真正的對(duì)話

LeCun表示，使用BERT和RoBERTa訓(xùn)練的自然語言模型，仍然沒有足夠的常識(shí)來開始生成基于廣泛常識(shí)的聊天。這只是訓(xùn)練一個(gè)算法像人一樣說話的開始。

Facebook的自然語言研究者也試圖在RoBERTa的基礎(chǔ)上建立更多的對(duì)話特征。他們首先研究了與聊天機(jī)器人的實(shí)際人類對(duì)話，以了解對(duì)話如何以及何時(shí)會(huì)中斷或變得無聊。他們的發(fā)現(xiàn)推動(dòng)了一項(xiàng)研究，可以通過訓(xùn)練，讓機(jī)器人避免最常見的對(duì)話失敗。

例如，聊天機(jī)器人經(jīng)常自相矛盾，因?yàn)樗鼈儾挥浀米约涸趯?duì)話中說過什么。聊天機(jī)器人可能在前一分鐘還聲稱喜歡重播的《霹靂游俠》，下一分鐘又說不喜歡電視劇。聊天機(jī)器人會(huì)創(chuàng)建自己的原始響應(yīng)(而不是從訓(xùn)練數(shù)據(jù)中檢索示例)，它們傾向于以模糊的方式回答問題，以避免出錯(cuò)。它們常常顯得缺乏情緒，這使得它們?nèi)狈ξΑ?/p>

聊天機(jī)器人還必須能夠調(diào)用知識(shí)，成為有趣的健談?wù)摺Ｄ切┠軌蚶酶鞣N各樣信息的人，更有可能與人類進(jìn)行更長時(shí)間的對(duì)話。但是，目前的聊天機(jī)器人只接受一個(gè)領(lǐng)域的知識(shí)訓(xùn)練，這個(gè)領(lǐng)域與機(jī)器人的設(shè)計(jì)任務(wù)相對(duì)應(yīng)——當(dāng)人類開始對(duì)機(jī)器人領(lǐng)域之外的主題發(fā)表評(píng)論時(shí)，這就成了一個(gè)問題。例如，如果你問一個(gè)送披薩的機(jī)器人關(guān)于披薩以外的任何話題，對(duì)話就會(huì)迅速轉(zhuǎn)移。

作為一種矯正方法，F(xiàn)acebook的研究人員一直致力于訓(xùn)練自然語言模型，從許多知識(shí)領(lǐng)域提取數(shù)據(jù)，并將這些信息以自然的方式輸入到對(duì)話中。未來的研究將集中于教導(dǎo)機(jī)器人何時(shí)以及如何引導(dǎo)對(duì)話從一個(gè)一般性話題回到一個(gè)特定的任務(wù)。

開發(fā)聊天機(jī)器人面臨的最大挑戰(zhàn)之一是，讓它們?cè)谡{(diào)用后能夠繼續(xù)學(xué)習(xí)。單詞的含義會(huì)隨著時(shí)間的推移而變化，新的術(shù)語和俚語在文化上變得重要。與此同時(shí)，聊天機(jī)器人不能太容易受人影響——微軟的Tay聊天機(jī)器人從在線對(duì)話中學(xué)到了太多、太快，在24小時(shí)內(nèi)就變成了具有侮辱性的種族主義者。Facebook正在教授其實(shí)驗(yàn)性聊天機(jī)器人如何從順暢的對(duì)話中學(xué)習(xí)，并分析人類聊天伙伴的語言，以發(fā)現(xiàn)機(jī)器人是否說了一些愚蠢或無聊的話。

預(yù)測(cè)Facebook在實(shí)驗(yàn)室中取得的進(jìn)展可能會(huì)導(dǎo)致即時(shí)通訊聊天機(jī)器人的出現(xiàn)，這將是很危險(xiǎn)的，因?yàn)檫@些聊天機(jī)器人能夠進(jìn)行對(duì)話，甚至具備某些類人類的膚淺技能。但也許不久我們就能自己判斷結(jié)果了。Facebook研究員Jason Weston表示：“我們相信，我們已經(jīng)非常接近擁有一個(gè)機(jī)器人，人們可以與機(jī)器人對(duì)話，從中看到價(jià)值。