優(yōu)化人工智能安全研究：采訪Owen Cotton-Barratt

人工智能給人類帶來了無數(shù)的風險。從隱私問題到算法偏見和“黑匣子”決策，更廣泛的價值調(diào)整問題，遞歸自我改進以及超級智能的存在風險 - 人工智能安全問題并不缺乏。

人工智能安全研究旨在解決所有這些問題。但由于資金有限且研究人員太少，研究中的權衡取舍是不可避免的。為了確保AI安全社區(qū)解決最重要的問題，研究人員必須優(yōu)先考慮其原因。

Owen Cotton-Barratt與人類未來研究所(FHI)和有效利他主義中心(CEA)的同事一起研究了人工智能安全社區(qū)的“事業(yè)優(yōu)先級”。他們分析哪些項目更有可能幫助緩解來自高度先進的AI系統(tǒng)的災難性或存在性風險，尤其是人工一般智能(AGI)。通過模擬不同類型研究之間的權衡，Cotton-Barratt希望引導科學家們進行更有效的人工智能安全研究項目。

技術和戰(zhàn)略工作

事業(yè)優(yōu)先排序的第一步是了解已經(jīng)完成的工作。從廣義上講，人工智能安全研究分為兩個領域：技術工作和戰(zhàn)略工作。

AI的技術安全挑戰(zhàn)是保持機器安全可靠，因為它們變得更有能力和創(chuàng)造力。通過使AI系統(tǒng)更可預測，更透明，更符合我們的目標和價值觀，我們可以顯著降低傷害風險。技術安全工作包括Stuart Russell關于強化學習的研究和Dan Weld關于可解釋機器學習的研究，因為他們正在改進AI系統(tǒng)中的實際編程。

此外，機器智能研究所(MIRI)最近發(fā)布了一項技術安全議程，旨在長期協(xié)調(diào)機器智能與人類利益，而另一家非營利性人工智能研究公司OpenAI正在研究“圍繞確保的許多研究問題”現(xiàn)代機器學習系統(tǒng)按預期運行，“遵循開創(chuàng)性的人工智能安全具體問題的建議。

戰(zhàn)略安全工作范圍更廣，并詢問社會如何最好地準備和減輕強大人工智能的風險。這項研究包括分析圍繞人工智能發(fā)展的政治環(huán)境，促進研究領域之間的公開對話，阻止軍備競賽，以及從博弈論和神經(jīng)科學中學習人工智能的可能結果。耶魯大學教授艾倫·達福最近專注于戰(zhàn)略工作，研究人工智能的國際政治，并為政府，人工智能實驗室和非營利組織提供有關人工智能風險的咨詢。而耶魯生物倫理學家溫德爾·瓦拉赫(Wendell Wallach)除了研究“筒倉破壞”之外，正在研究人工智能的全球治理形式。

原因確定優(yōu)先順序也是戰(zhàn)略工作。Cotton-Barratt解釋說，“戰(zhàn)略工作包括分析安全領域本身，并考慮我們認為我們將會有更多的工作，我們將擁有更少的工作，從而幫助我們引導資源和更多我們的工作目標。“

誰需要更多資金?

如上圖所示，自2015年以來，人工智能安全支出大幅增長。雖然更多的資金并不總能轉(zhuǎn)化為改善的結果，但資金模式很容易評估，可以說很多關于研究重點。Cotton-Barratt的CEA同事Seb Farquhar今年早些時候撰寫了一篇文章，分析人工智能安全資金，并提出了更好地分配未來投資的方法。

首先，他建議技術研究團隊獲得更多的個人調(diào)查員來參加研究議程，詳見“人工智能安全的具體問題”。OpenAI已經(jīng)在這方面起了帶頭作用。此外，社區(qū)應該盡力確保新興的人工智能安全中心雇用最佳候選人，因為這些研究人員將在未來幾年內(nèi)塑造每個中心的成功。

總的來說，F(xiàn)arquhar指出，戰(zhàn)略，外展和政策工作跟不上人工智能安全研究的總體增長。他建議更多人關注改善人工智能安全研究團隊之間，人工智能安全社區(qū)與更廣泛的人工智能社區(qū)之間以及政策制定者與研究人員之間長期戰(zhàn)略的溝通。他補充說，建立更多關于人工智能戰(zhàn)略和政策的博士和碩士課程可以建立一條填補這一空白的渠道。

為了補充Farquhar的數(shù)據(jù)，Cotton-Barratt的同事Max Dalton創(chuàng)建了一個數(shù)學模型來跟蹤更多的資金和更多的安全問題人員如何轉(zhuǎn)化為有用的進展或解決方案。該模型試圖回答以下問題：如果我們想要降低AI的存在風險，那么我們通過在戰(zhàn)略研究和技術研究上投入資金可以獲得多少效果?

總的來說，技術研究比數(shù)學模型中的戰(zhàn)略工作更容易跟蹤。例如，在戰(zhàn)略倫理研究上花費更多可能對人工智能安全至關重要，但很難量化這種影響。然而，改進強化學習模型可以產(chǎn)生更安全，更穩(wěn)健的機器。通過更清晰的反饋循環(huán)，這些技術項目最適合道爾頓的模型。

近視和AGI

但這些模型也面臨著重大的不確定性。沒有人真正知道什么時候開發(fā)AGI，這使得很難確定最重要的研究。如果AGI將在五年內(nèi)開發(fā)出來，研究人員應該只關注最基本的安全工作，例如提高AI系統(tǒng)的透明度。但如果我們有三十年的時間，研究人員可能會負擔得起更多的理論工作。

而且，沒有人真正知道AGI將如何運作。機器學習和深度神經(jīng)網(wǎng)絡引領了新的AI革命，但AGI可能會在與AlphaGo和Watson截然不同的架構上開發(fā)。

這使得一些長期安全研究成為一項風險投資，即使正如許多人認為的那樣，這是我們可以做的最重要的研究。例如，研究人員可能花費數(shù)年時間使深度神經(jīng)網(wǎng)絡安全透明，但只有當AGI在完全不同的編程架構上發(fā)展時才會發(fā)現(xiàn)他們的工作浪費。

Cotton-Barratt將這個問題歸結為“近視”，并在今年夏天有效利他主義全球最近的一次演講中進行了討論。人類通常無法預料到破壞性變化，人工智能研究人員也不例外。

“我們可能會為長期情景所做的工作可能會完全混淆，因為我們沒有考慮正確的事物類型，”他解釋道。“我們對近期情景有更多的影響力，因為我們更能評估它們的樣子。”

任何額外的人工智能安全研究總比沒有好，但考慮到未知的時間表和人工智能對人類的威脅的潛在嚴重性，我們最好盡可能地追求最有效的人工智能安全研究。

通過幫助人工智能研究組合向更有效和全面的方向發(fā)展，Cotton-Barratt和他的同事們希望確保當機器最終超越我們時，我們會問 - 并且有希望回答 - 正確的問題。

本文是關于人工智能安全研究資助的未來生活系列的一部分，該系列資金由Elon Musk和開放慈善項目的慷慨捐贈資助。如果您有興趣申請我們的2018年撥款競賽，請看此鏈接。

文明的大部分好處都源于智力，那么我們?nèi)绾尾拍芡ㄟ^人工智能增強這些好處，而不是在就業(yè)市場上取而代之，而且可能完全取而代之?