張宏江對話 Sam Altman：AGI 或許 10 年后到來，但現(xiàn)在就要為迎接它做準(zhǔn)備

在 Sam Altman 發(fā)布了主題演講之后，智源人工智能研究院理事長、院士張宏江與其進(jìn)行了 20 分鐘的對話。張宏江代表觀眾、以及一線研究員、科學(xué)家問了很多不同角度的問題。

圍繞 AI 對齊和安全這一復(fù)雜議題，Altman 表示，需要考慮非技術(shù)因素，但關(guān)鍵是需要一個(gè)安全的技術(shù)方案作為解法；Altman 也分享了迄今為止在世界環(huán)游中的收獲，并強(qiáng)調(diào)對于 AI 安全而言，建立統(tǒng)一公平的框架和測試標(biāo)準(zhǔn)，讓每個(gè)達(dá)到一定能力的 AI 模型都接受測試十分重要；回應(yīng)人們對 Open AI 本身的好奇，Altman 表示雖然他們在計(jì)劃 GPT-5，但是不知何時(shí)會到來。

至于驅(qū)動 OpenAI 誕生和取得突破的因素，Altman 將其歸于「使命感」——這會促使人擁有源源不斷的精力，想各種辦法應(yīng)對挑戰(zhàn)。這與上周在以色列一所大學(xué)的交流中，首席科學(xué)家 Ilya 所表達(dá)的「你對這個(gè)信仰越多，你就能取得越大的進(jìn)展」不謀而合。

(資料圖片)

以下是經(jīng)極客公園編輯的對談實(shí)錄：

精彩摘要：

1、在 10 年內(nèi)，我們應(yīng)該準(zhǔn)備好迎接一個(gè)具有非常強(qiáng)大系統(tǒng)的世界。

2、很難預(yù)測技術(shù)可能會犯的錯(cuò)誤，因此要從現(xiàn)實(shí)世界對技術(shù)的使用以及反饋中學(xué)習(xí)，更新和優(yōu)化。

3、在世界巡游中，Sam 致力于推動一起制定關(guān)于安全開發(fā) AI 的國際標(biāo)準(zhǔn)，具體涉及：模型部署前如何測試；建立反映全球價(jià)值觀和偏好的數(shù)據(jù)庫；如何分享 AI 安全研究。

4、Open AI 已經(jīng)改變了非常多最初的 Transformers 的架構(gòu)。如果有新的架構(gòu)取得突破，不會令人意外。

5、對于安全問題，如果沒有一個(gè)技術(shù)的解決方案，任何方面的事情都將非常困難。

6、一定程度上開源有益于安全，但 API 模式也有重要作用，它提供了額外的安全控制能力。

7、Open AI 相信 ，AGI 將是人類社會迄今所建造的最具變革性的東西。

正文：

1 AGI 或許 10 年后到來，但現(xiàn)在就要為迎接它做準(zhǔn)備

張宏江：嘿，Sam ，很高興再次見到你。雖然這次是在 Zoom 會議上。你上次來這里好像是六年前，在一個(gè)會議上（Sam：2018 年）。我們準(zhǔn)備了大量的問題。但我們先從一個(gè)接近你演講主題的問題開始：你在一開始就提到了 AGI 的承諾。我們離 AGI 還有多遠(yuǎn)？包括安全的 AGI 和潛在不安全的 AGI。

Sam ：很難預(yù)測準(zhǔn)確的時(shí)間。但我認(rèn)為很有可能在未來 10 年，我們會有非常強(qiáng)大的 AI 系統(tǒng)。在這樣的世界里，解決好 AI 的安全問題是非常重要和緊迫的。這就是為什么我呼吁國際社會現(xiàn)在就要在這方面一起努力。

歷史無疑為我們提供了許多新技術(shù)從根本上改變世界的例子，其速度比許多人想象的要快。而我們現(xiàn)在看到的加速，以及這些系統(tǒng)的影響，在某種意義上，是前所未有的。因此，為它很快發(fā)生做好準(zhǔn)備，并在考慮到利害關(guān)系和規(guī)模的情況下，正確處理安全問題，似乎相當(dāng)重要。

張宏江：所以你確實(shí)有一種緊迫感，你還提到了也許十年后，AGI 會有一個(gè)突破。

Sam：是的。我想強(qiáng)調(diào)的是，我們并不真正知道（AGI 什么時(shí)候來）。而且對 AGI 的定義也是不同的。我認(rèn)為在 10 年內(nèi)，我們應(yīng)該準(zhǔn)備好迎接一個(gè)具有非常強(qiáng)大系統(tǒng)的世界。

張宏江：你在演講中，也提到過幾次全球合作。我們知道，在過去的六、七十年里，世界面臨了過許多次危機(jī)，很多人設(shè)法建立共識，建立全球合作。你現(xiàn)在也在全球旅行，你正在試圖推動的全球合作具體什么樣的？你對迄今為止得到的回應(yīng)有何感想？

Sam：我對目前為止的反應(yīng)非常滿意。我認(rèn)為人們在非常認(rèn)真地對待 AGI 的風(fēng)險(xiǎn)和機(jī)會。過去六個(gè)月里，相關(guān)討論有了很大的進(jìn)展。人們似乎真的致力于找出一個(gè)結(jié)構(gòu)，使我們能夠享受這些好處，同時(shí)在全球范圍內(nèi)共同努力，以減少風(fēng)險(xiǎn)。我認(rèn)為我們在這方面處于非常有利的地位，全球合作總是困難的，但我認(rèn)為 AGI 就是那種能夠?qū)⑹澜缇奂谝黄鸬耐{和機(jī)遇，我們可以共同為這些系統(tǒng)提出一個(gè)框架和安全標(biāo)準(zhǔn)，這將是相當(dāng)有幫助的。

張宏江：當(dāng)我們處理這個(gè)潛在風(fēng)險(xiǎn)時(shí)，有哪些我們曾經(jīng)成功處理過的大挑戰(zhàn)，可以作為參考的例子嗎？

Sam：我們已經(jīng)在全球范圍根除了一些非常嚴(yán)重的疾病。這需要大量的合作。我們已經(jīng)處理了會導(dǎo)致問題的化學(xué)品，例如在臭氧層的問題上。有許多例子表明，我們（可以）一起處理一件事。

張宏江：你提到先進(jìn)的 AI 系統(tǒng)的對齊問題，這是一個(gè)還沒有被解決的問題。我也注意到，雖然在過去幾年中付出了很多努力，你也提到 GPT-4 是迄今為止在對齊方面最優(yōu)秀的示例。你認(rèn)為我們可以簡單地通過對齊來解決 AI 安全問題，還是 AI 安全問題比對齊問題要大得多？

Sam：我認(rèn)為對齊這個(gè)詞有不同的使用方式。我們需要解決整個(gè)挑戰(zhàn)，即如何才能達(dá)到安全的 AI 系統(tǒng)。傳統(tǒng)意義上的對齊，即讓模型的行為符合其用戶的意圖，當(dāng)然是其中的一部分。還會有其他問題，比如我們?nèi)绾悟?yàn)證系統(tǒng)正在做我們希望它們做的事情，以及我們讓系統(tǒng)與誰的價(jià)值觀保持一致。但我認(rèn)為，重要的是要看清全景，為實(shí)現(xiàn) AGI 我們需要做些什么。

張宏江：從技術(shù)視角來看，GPT-4 在很大程度上已經(jīng)做了很多事情，但是對齊問題（仍然還有許多需解決）還有許多其他因素，不僅僅是技術(shù)。這確實(shí)是一個(gè)復(fù)雜的問題，復(fù)雜問題的解決通常需要系統(tǒng)級別的解決方案，AI 可能也不例外。因此，除了技術(shù)方面，你認(rèn)為還有哪些因素，對于 AI 安全非常關(guān)鍵？我們應(yīng)該如何解決這些挑戰(zhàn)？作為科學(xué)家，我們應(yīng)該做什么？

Sam：這當(dāng)然是一個(gè)非常復(fù)雜的問題。我想說的是，如果沒有一個(gè)技術(shù)上的解決方案，任何方面的事情都將非常困難。因此，我認(rèn)為關(guān)注的重心應(yīng)該放在以安全的方式解決技術(shù)問題。這是相當(dāng)重要的。而正如我前面所說的，弄清楚價(jià)值觀與什么相一致，不是一個(gè)技術(shù)問題。解決這個(gè)問題需要技術(shù)見解輔助，但這本身值得全社會深入討論。

我們將不得不設(shè)計(jì)出公平、有代表性和包容性的系統(tǒng)。還有，正如你所指出的，我們需要考慮的不僅僅是 AI 模型本身的安全，而是整個(gè)系統(tǒng)的安全。因此，可以在 AI 系統(tǒng)之上附加安全分類器和檢測器，監(jiān)測使用是否符合準(zhǔn)則，這很重要。還有，我認(rèn)為很難提前預(yù)測任何技術(shù)可能會犯的所有錯(cuò)誤。因此，從現(xiàn)實(shí)世界的使用中學(xué)習(xí)，反復(fù)部署，看看當(dāng)你真正接觸現(xiàn)實(shí)并改進(jìn)它時(shí)，會發(fā)生什么，給人們和社會時(shí)間來學(xué)習(xí)和更新，思考這些模型將如何與他們的生活發(fā)生好或壞的互動。這一點(diǎn)非常重要。

張宏江：關(guān)于 GPT-4 和 AI 安全，你認(rèn)為我們是否有可能需要改變目前 AI 的整個(gè)基礎(chǔ)架構(gòu)或模型，使其更安全，更容易被檢查？你有什么想法嗎？

Sam：我認(rèn)為確實(shí)很有可能需要一些非常不同的架構(gòu)，無論是從 AI 能力角度還是從安全角度。在目前的模型中，我們可以在可解釋性方面取得一些良好的進(jìn)展，可以讓模型向我們更好地解釋在做什么和為什么這么做。但是如果 AI 未來在 Transformers 模型之外取得了大的飛躍性突破的話，我不會感到驚訝。實(shí)際上，我們也已經(jīng)改變了非常多最初的 Transformers 的架構(gòu)。

2 解決 AI 安全問題 需要國際合作建立測試框架

張宏江：關(guān)于全球合作，你一直在做巡回演講。中國、美國、歐洲，這三個(gè)基本群體是 AI 創(chuàng)新和 AGI 背后的驅(qū)動力。那么在你看來，不同的國家在合作解決 AGI 問題上有什么優(yōu)勢？為了解決人工智能的安全問題，如何將這些優(yōu)勢聯(lián)合起來？

Sam：我認(rèn)為一般來說，需要有關(guān)于 AI 安全的不同觀點(diǎn)。我們還沒有得到所有的答案。而這件事非常重要，也很難解決，正如之前所提到的，它不純粹是一個(gè)技術(shù)問題。使 AI 安全和有益，涉及了解不同國家、在非常不同背景下的用戶偏好。因此，我們需要很多不同的投入來實(shí)現(xiàn)這一目標(biāo)。

中國有一些世界上最好的人工智能人才。從根本上說，我認(rèn)為，鑒于解決先進(jìn)的人工智能系統(tǒng)的對齊問題難度極高，我們需要來自世界各地的最好的頭腦。因此，我真的希望中國的 AI 研究人員做出巨大貢獻(xiàn)。

張宏江：你提到了中國，你已經(jīng)訪問了相當(dāng)多的國家，能否分享你在合作者方面取得的一些成果，以及你在這次世界旅行中，與各政府、各機(jī)構(gòu)的互動中，有什么計(jì)劃或下一步的想法？

Sam：我認(rèn)為讓人興奮的一個(gè)很大發(fā)展是聚在一起制定國際標(biāo)準(zhǔn)，這些標(biāo)準(zhǔn)關(guān)于如何安全地開發(fā)先進(jìn)的 AI 系統(tǒng)。關(guān)于非常強(qiáng)大的模型訓(xùn)練后，被部署之前，我們要如何思考測試應(yīng)該是什么；關(guān)于建立一套反映全球價(jià)值觀和偏好的數(shù)據(jù)庫，讓人們可以用此來調(diào)整他們的系統(tǒng)，我們也有很好的對話；以及我們建立怎樣的形式，來分享 AI 安全研究。這就是到目前為止出現(xiàn)的三種最具體的事情。

張宏江：我們一直在討論，其實(shí)如果世界上只有三個(gè)模型，可能會更安全。這就像我們對核的控制，我們不希望出現(xiàn)核擴(kuò)散，所以我們簽署了核不擴(kuò)散條約，希望控制可以獲得這種技術(shù)的國家的數(shù)量。那么，你認(rèn)為這是不是我們應(yīng)該發(fā)展的方向，即控制模型的數(shù)量？

Sam：模型更少更安全還是更多更安全，目前有不同的觀點(diǎn)。我認(rèn)為更重要的是，我們是否有一個(gè)正確的框架，一個(gè)系統(tǒng)，使得任何強(qiáng)大的模型都需要通過足夠的安全測試？我們是否有一個(gè)框架，使得任何正在創(chuàng)建一個(gè)足夠強(qiáng)大的模型的人都能有足夠的資源，也被規(guī)定需要確保他們創(chuàng)造的東西是安全的、與人類價(jià)值觀對齊？

張宏江：昨天參會的 MIT 人工智能與基礎(chǔ)交互研究中心教授 Max Tegmark 提到，他認(rèn)為這個(gè)過程可以類比于高速站的卡口，或者是新藥研發(fā)的流程。我們設(shè)計(jì)一個(gè)新藥，肯定不能馬上把它推出上市，一定需要很長的檢測流程。你認(rèn)為這是一個(gè)我們可借鑒的流程嗎？

Sam：我非常認(rèn)同。我認(rèn)為在將一項(xiàng)新技術(shù)推向市場時(shí)，各行業(yè)都已經(jīng)開發(fā)了許多不同的許可和測試框架，我們應(yīng)該盡可能地借鑒。從根本上說，歷史上我們已經(jīng)有了能夠發(fā)揮作用的很好的方法。

3 「推動 AGI 能讓我完成自我實(shí)現(xiàn)」

張宏江：今天的論壇主要是討論 AI 的安全問題，但由于人們對 Open AI 非常好奇，所以我確實(shí)有一個(gè) Open AI 的問題：Open AI 是否有重新開源的計(jì)劃，重新開源模型，像 GPT-3 那樣？我認(rèn)為開源也對 AI 安全有益。

Sam：我們目前選擇開放一些模型，不開放另一些模型。但隨著時(shí)間的推移，我想你可以期待我們在未來繼續(xù)開源更多的模型。

張宏江：但在我擔(dān)任理事長的智源研究院，我們投入了所有的努力將模型、開發(fā)模型的算法、微調(diào)模型的工具、訓(xùn)練模型的數(shù)據(jù)等等開源。我們相信，分享是有必要的。分享出這些，能夠讓人們感覺到對在使用的東西有控制權(quán)。那么，你是否也有得到有類似的反饋，在 Open AI，你和你的同事之間是否也有類似的討論？

Sam：是的，我認(rèn)為開源確實(shí)能起到重要的作用。并且最近，開源模型有相當(dāng)多的進(jìn)展。不過我認(rèn)為，API 模式也有重要作用，它為我們提供了額外的安全控制能力，你可以避免某些不良使用方式，你可以避免某些人對其進(jìn)行特定種類的微調(diào)。如果出現(xiàn)一些問題，也能及時(shí)停止修改。

在目前的模型規(guī)模下，我并不特別擔(dān)心開源的問題。但是，如果模型真的能如我們所期望的那樣強(qiáng)大，如果我們的期待能夠成真，那我認(rèn)為到那時(shí)開放所有的資源可能不是最佳選擇，盡管在某些情景下肯定是正確的。我認(rèn)為我們需要小心翼翼地把握好平衡。但是，確實(shí)，我認(rèn)為開源模型和研究在某些方面是有安全優(yōu)勢的。

張宏江：我自己也是一個(gè)研究員，我相信在座的聽眾都非常好奇，在 AGI 研究方面、在更大的模型或更大的語言模型方面，下一步是什么？不久后我們會看到 GPT-5 嗎？作為下一個(gè)前沿，在具身模型（embodied models）上，自主機(jī)器人，是 Open AI 接下來打算研究的嗎？

Sam：我對接下來的事情非常好奇，這項(xiàng)工作中我最喜歡的事情就是站在研究前沿，這讓人興奮和驚訝。我們還沒有答案。所以我們正在探索許多下一步可能出現(xiàn)的想法，潛在的新范式可能是什么。當(dāng)然，在某些時(shí)候，我們會嘗試在序列中做一個(gè) GPT-5 模型，但不是很快。我們不知道到具體是底什么時(shí)候。Open AI 從一開始就在研究機(jī)器人，我們對此非常興奮，也有過掙扎。我希望有一天我們能回頭去做這個(gè)。

張宏江：聽起來很好。你的演講中你還提到 Open AI 是如何使模型更安全的。你特別提到了你們會用 GPT-4 來解釋 GPT-2 的模型，請問這樣的工作是可擴(kuò)展的嗎？你們會繼續(xù)在這個(gè)方向上進(jìn)行更多的努力嗎？

Sam：是的，我們會繼續(xù)推動這個(gè)方向。

張宏江：那你認(rèn)為這以后可以進(jìn)一步擴(kuò)大范圍嗎？我問這個(gè)問題，是因?yàn)槲抑烙性S多生物科學(xué)家，他們關(guān)注人類的學(xué)習(xí)，他們會很樂意在自己的領(lǐng)域里借用這種方法，研究和探索人類神經(jīng)元如何工作。

Sam：解釋人工智能的神經(jīng)元會比解釋生物中真實(shí)的神經(jīng)元更容易。因此，我認(rèn)為這種使用更強(qiáng)大的模型來幫助我們理解其他模型的方法適用于人工智能的神經(jīng)網(wǎng)絡(luò)，我認(rèn)為這是可以成功的，但我不太清楚如何將其應(yīng)用于人類大腦。

張宏江：非常感謝你，Sam，感謝你參與此次論壇。另外，我想感謝你，能夠有那樣的遠(yuǎn)見，創(chuàng)辦了 Open AI 這樣的 AI 公司，并且只并專注于一件事，獲得了如此多的成功和突破。在結(jié)束之前，我想再問一個(gè)問題，你當(dāng)時(shí)是如何想出成立 Open AI 這樣的公司的？又是什么讓你孜孜不倦地去推動它的發(fā)展？就比如像今天，你在非常努力地推動 AI 安全的發(fā)展，什么是你背后的驅(qū)動力？

Sam：我想象不到還有什么工作能夠像推動 AGI 一樣令人激動，極其重要，并能讓我完成自我實(shí)現(xiàn)。而且我非常相信，如果你有一個(gè)對你個(gè)人非常重要的使命—— AGI 就是這樣一個(gè)對我和我們的團(tuán)隊(duì)來說非常重要的使命——你會產(chǎn)生大量的精力，你會努力想出辦法。

其實(shí)當(dāng)我們剛剛創(chuàng)建 Open AI 的時(shí)候，我們當(dāng)時(shí)認(rèn)為成功概率是相當(dāng)?shù)偷摹５侨绻覀兡軌蚺宄绾谓?AGI，那么它肯定會極具變革性。我們肯定需要確保 AI 的安全性，但 AGI 為社會帶來的益處將是巨大的。我真的相信 AGI 將是人類社會迄今所建造的最具變革性的東西。