個(gè)性化的機(jī)器學(xué)習(xí)模型捕捉面部表情的微妙變化

麻省理工學(xué)院媒體實(shí)驗(yàn)室的研究人員開(kāi)發(fā)了一種機(jī)器學(xué)習(xí)模型，它使計(jì)算機(jī)更接近于像人類(lèi)一樣自然地解釋我們的情緒。

在“情感計(jì)算”這個(gè)不斷發(fā)展的領(lǐng)域，正在開(kāi)發(fā)機(jī)器人和計(jì)算機(jī)來(lái)分析面部表情，解釋我們的情緒，并做出相應(yīng)的反應(yīng)。例如，應(yīng)用程序包括監(jiān)控個(gè)人的健康和福祉，衡量學(xué)生對(duì)課堂的興趣，幫助診斷某些疾病的跡象，以及開(kāi)發(fā)有用的機(jī)器人伴侶。

然而，挑戰(zhàn)在于人們根據(jù)許多因素表達(dá)情緒的方式完全不同。在文化，性別和年齡組中可以看到一般差異。但是其他差異甚至更細(xì)微：一天中的時(shí)間，你睡了多少，甚至你對(duì)會(huì)話伙伴的熟悉程度都會(huì)導(dǎo)致你在某一特定時(shí)刻表達(dá)幸?；虮瘋姆绞桨l(fā)生微妙的變化。

人類(lèi)的大腦本能地捕捉到這些偏差，但機(jī)器卻在掙扎。近年來(lái)開(kāi)發(fā)了深度學(xué)習(xí)技術(shù)以幫助捕捉微妙之處，但它們?nèi)匀徊槐M可能準(zhǔn)確或適應(yīng)不同人群。

媒體實(shí)驗(yàn)室的研究人員開(kāi)發(fā)了一種機(jī)器學(xué)習(xí)模型，該模型在捕捉這些小的面部表情變化方面優(yōu)于傳統(tǒng)系統(tǒng)，可以在訓(xùn)練數(shù)千張面部圖像時(shí)更好地衡量情緒。此外，通過(guò)使用一些額外的訓(xùn)練數(shù)據(jù)，該模型可以適應(yīng)全新的一組人，具有相同的功效。目的是改進(jìn)現(xiàn)有的情感計(jì)算技術(shù)。

“這是監(jiān)控我們心情的一種不引人注目的方式，”媒體實(shí)驗(yàn)室研究員，合著作者Oggi Rudovic在一篇描述該模型的論文中說(shuō)，該論文于上周在機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘會(huì)議上發(fā)表。“如果你想要具有社交智能的機(jī)器人，你必須聰明地做出這些機(jī)器人并自然地回應(yīng)我們的情緒和情緒，更像人類(lèi)。”

該論文的共同作者是：第一作者M(jìn)ichael Feffer，電氣工程和計(jì)算機(jī)科學(xué)的本科生; 和Rosalind Picard，媒體藝術(shù)和科學(xué)教授，情感計(jì)算研究小組的創(chuàng)始主任。

傳統(tǒng)的情感計(jì)算模型使用“一刀切”的概念。他們訓(xùn)練一組圖像描繪各種面部表情，優(yōu)化特征 - 例如唇部在微笑時(shí)如何卷曲 - 并將這些一般特征優(yōu)化映射到整個(gè)新圖像集。

相反，研究人員將一種名為“專(zhuān)家混合物”(MoE)的技術(shù)與模型個(gè)性化技術(shù)結(jié)合起來(lái)，這種技術(shù)幫助從個(gè)體中挖掘出更細(xì)粒度的面部表情數(shù)據(jù)。Rudovic說(shuō)，這是第一次將這兩種技術(shù)結(jié)合起來(lái)用于情感計(jì)算。

在MoE中，許多稱(chēng)為“專(zhuān)家”的神經(jīng)網(wǎng)絡(luò)模型都經(jīng)過(guò)培訓(xùn)，專(zhuān)門(mén)從事單獨(dú)的處理任務(wù)并產(chǎn)生一個(gè)輸出。研究人員還整合了一個(gè)“門(mén)控網(wǎng)絡(luò)”，它可以計(jì)算出哪位專(zhuān)家能夠最好地檢測(cè)看不見(jiàn)的科目情緒的概率。“基本上，網(wǎng)絡(luò)可以辨別出個(gè)人并說(shuō)'這是給定圖像的合適專(zhuān)家'，”Feffer說(shuō)。

對(duì)于他們的模型，研究人員通過(guò)將每個(gè)專(zhuān)家與RECOLA數(shù)據(jù)庫(kù)中18個(gè)單獨(dú)視頻錄制中的一個(gè)進(jìn)行匹配來(lái)對(duì)MoE進(jìn)行個(gè)性化，RECOLA數(shù)據(jù)庫(kù)是一個(gè)人們?cè)跒榍楦杏?jì)算應(yīng)用設(shè)計(jì)的視頻聊天平臺(tái)上進(jìn)行交談的公共數(shù)據(jù)庫(kù)。他們使用9個(gè)科目訓(xùn)練模型，并在其他9個(gè)科目上對(duì)其進(jìn)行評(píng)估，所有視頻分解為單獨(dú)的幀。

每個(gè)專(zhuān)家和門(mén)控網(wǎng)絡(luò)在剩余網(wǎng)絡(luò)(“ResNet”)的幫助下跟蹤每個(gè)人的面部表情，該網(wǎng)絡(luò)是用于對(duì)象分類(lèi)的神經(jīng)網(wǎng)絡(luò)。在這樣做時(shí)，模型基于效價(jià)水平(愉快或不愉快)和喚醒(興奮)對(duì)每個(gè)幀進(jìn)行評(píng)分 - 通常使用的度量來(lái)編碼不同的情緒狀態(tài)。另外，六名人類(lèi)專(zhuān)家根據(jù)-1(低水平)到1(高水平)的等級(jí)標(biāo)記每個(gè)框架的價(jià)格和喚醒，該模型也用于訓(xùn)練。

然后，研究人員進(jìn)行了進(jìn)一步的模型個(gè)性化，他們從剩余的主體視頻的某些幀中提供訓(xùn)練的模型數(shù)據(jù)，然后在這些視頻的所有看不見(jiàn)的幀上測(cè)試模型。結(jié)果顯示，只有5%到10%的數(shù)據(jù)來(lái)自新的人口，該模型大大優(yōu)于傳統(tǒng)模型 - 這意味著它在看不見(jiàn)的圖像上獲得了價(jià)值和喚醒，更接近人類(lèi)專(zhuān)家的解釋。

Rudovic說(shuō)，這表明模型有可能從人口到人口，或從個(gè)人到個(gè)人，只有極少的數(shù)據(jù)。“這是關(guān)鍵，”他說(shuō)。“當(dāng)你有一個(gè)新的人口，你必須有辦法解釋數(shù)據(jù)分布的變化[微妙的面部變化]。想象一個(gè)模型集來(lái)分析一個(gè)文化中的面部表情，需要適應(yīng)不同的文化。對(duì)于這種數(shù)據(jù)轉(zhuǎn)換，這些模型將會(huì)表現(xiàn)不佳。但是如果你只是從一種新的文化中抽取一些來(lái)適應(yīng)我們的模型，這些模型可以做得更好，特別是在個(gè)人層面。這就是模型個(gè)性化的重要性最好的地方可見(jiàn)。”

目前可用于這種情感計(jì)算研究的數(shù)據(jù)在膚色方面并不是很多，因此研究人員的訓(xùn)練數(shù)據(jù)是有限的。但是當(dāng)這些數(shù)據(jù)可用時(shí)，可以訓(xùn)練模型以用于更多不同的人群。Feffer說(shuō)，下一步是將模型訓(xùn)練為“一個(gè)更具多元文化的更大數(shù)據(jù)集”。

更好的機(jī)器 - 人機(jī)交互

研究人員說(shuō)，另一個(gè)目標(biāo)是訓(xùn)練模型，幫助計(jì)算機(jī)和機(jī)器人自動(dòng)從少量變化的數(shù)據(jù)中學(xué)習(xí)，更自然地檢測(cè)我們的感受，更好地滿足人類(lèi)的需求。

例如，它可以在計(jì)算機(jī)或移動(dòng)設(shè)備的背景中運(yùn)行，以跟蹤用戶的基于視頻的對(duì)話，并在不同的環(huán)境下學(xué)習(xí)細(xì)微的面部表情變化。“你可以讓智能手機(jī)應(yīng)用程序或網(wǎng)站之類(lèi)的東西能夠說(shuō)明人們的感受，并建議應(yīng)對(duì)壓力或疼痛的方法，以及其他對(duì)他們的生活產(chǎn)生負(fù)面影響的事情，”Feffer說(shuō)。

這也可能有助于監(jiān)測(cè)抑郁癥或癡呆癥，因?yàn)槿藗兊拿娌勘砬橥蜻@些條件而微妙地改變。“能夠被動(dòng)地監(jiān)控我們的面部表情，”Rudovic說(shuō)，“隨著時(shí)間的推移，我們可以將這些模型個(gè)性化給用戶，并監(jiān)控他們每天有多少偏差 - 偏離平均表情的平均水平 - 并使用它關(guān)于福祉和健康的指標(biāo)。“

Rudovic說(shuō)，一個(gè)很有前途的應(yīng)用是人機(jī)器人互動(dòng)，例如用于教育目的的個(gè)人機(jī)器人或機(jī)器人，機(jī)器人需要適應(yīng)這些機(jī)器人來(lái)評(píng)估許多不同人的情緒狀態(tài)。例如，一個(gè)版本被用于幫助機(jī)器人更好地解釋自閉癥兒童的情緒。

貝爾法斯特女王大學(xué)心理學(xué)榮譽(yù)退休教授，情感計(jì)算學(xué)者羅迪·考伊說(shuō)，麻省理工學(xué)院的作品“說(shuō)明了我們?cè)谶@個(gè)領(lǐng)域的實(shí)際位置”。他說(shuō)：“我們正在走向可以大致放置的系統(tǒng)，從人們的臉部照片，他們躺在從非常積極到非常消極，從非?；钴S到非常被動(dòng)的等級(jí)。” “一個(gè)人給出的情感符號(hào)與另一個(gè)人給出的符號(hào)不一樣，這似乎很直觀，因此情感識(shí)別在個(gè)性化時(shí)更有效，這很有意義。個(gè)性化的方法反映了另一個(gè)有趣的觀點(diǎn)，即它訓(xùn)練多個(gè)“專(zhuān)家”并匯總他們的判斷比訓(xùn)練一個(gè)超級(jí)專(zhuān)家更有效。兩者一起制作了令人滿意的包裝。“