OpenAI組建Superalignment團隊 解決超級智能對齊問題

OpenAI于本周宣布，他們正組建一支名為Superalignment的人工智能對齊團隊，旨在解決超級智能對齊問題。該團隊的成立是OpenAI現(xiàn)有工作的補充，并將提升產(chǎn)品（如ChatGPT）的安全性。他們計劃在未來四年內(nèi)解決超級智能對齊問題。

超級智能被認為將成為人類創(chuàng)造的最具影響力的技術(shù)之一，它可以幫助我們解決許多全球性難題。然而，超級智能的巨大威力也帶來了巨大的風險，可能導致人類失去對其的控制甚至面臨滅絕。雖然超級智能的實現(xiàn)離我們還有很長的距離，但OpenAI認為它有可能在未來十年內(nèi)實現(xiàn)。

目前，OpenAI還沒有明確的解決方案來引導或控制超級智能?，F(xiàn)有的可控制人工智能技術(shù)，如基于人類反饋的強化學習和依賴于人類監(jiān)督的AI能力，都依賴于人類的監(jiān)督。然而，當我們面對比我們聰明得多的AI系統(tǒng)時，人類無法可靠地進行監(jiān)督。因此，我們目前的對齊技術(shù)無法擴展到超級智能，需要新的科學技術(shù)突破。

為了解決超級智能對齊問題，OpenAI成立了Superalignment團隊，由OpenAI聯(lián)合創(chuàng)始人兼首席科學家Ilya Sutskever和Jan Leike領(lǐng)導。該團隊的成立不僅是對OpenAI現(xiàn)有工作的補充，還可以提升產(chǎn)品（如ChatGPT）的安全性，包括防止非法濫用、經(jīng)濟破壞、虛假信息、偏見和歧視、數(shù)據(jù)隱私等問題。

OpenAI預測，超級智能（即比人類更聰明的系統(tǒng)）可能在未來十年內(nèi)到來。為此，人類需要比目前更先進的技術(shù)來控制超級智能。因此，他們計劃在所謂的"一致性研究"方面取得突破，該研究的重點是確保人工智能對人類的利益。為了支持這項工作，OpenAI將拿出未來四年獲得的算力的20%來解決AI失控的問題。

此外，OpenAI還計劃組建一個名為"超級一致性團隊"的新團隊，以組織這項工作。他們的目標是建立一個由人類級別的AI研究人員組成的團隊，并通過大量的計算能力進行擴展。OpenAI表示，這意味著他們將利用人類的反饋來訓練AI系統(tǒng)，訓練AI系統(tǒng)來輔助人類進行評估，最終實現(xiàn)對超級智能的一致性研究。

OpenAI的方法包括開發(fā)可擴展的訓練方法，以應對人類難以評估的任務，并利用人工智能系統(tǒng)來協(xié)助評估（即可擴展的監(jiān)督）。此外，OpenAI還希望通過驗證生成模型的一致性來確保系統(tǒng)的穩(wěn)定性，并對整個對齊管道進行壓力測試，以確認技術(shù)能夠檢測到最差的未對準類型。

隨著對超級智能對齊問題的研究越來越深入，OpenAI預計研究重點將發(fā)生重大變化，并可能引發(fā)全新的研究領(lǐng)域的出現(xiàn)。

總的來說，OpenAI組建Superalignment團隊是為了解決超級智能對齊問題，并提升產(chǎn)品的安全性。他們認為在未來十年內(nèi)可能出現(xiàn)超級智能，并計劃通過研究一致性問題來確保超級智能對人類的利益。通過開發(fā)可擴展的訓練方法、驗證生成模型的一致性以及對整個對齊管道進行壓力測試，OpenAI將致力于解決AI失控問題，實現(xiàn)超級智能的安全引導與對齊。