全文 + 視頻來(lái)了！張宏江對(duì)話 OpenAI Altman：AGI 會(huì)從根本上改變文明，不會(huì)很快有 GPT-5_全球最資訊

6 月 10 日，OpenAI 創(chuàng)始人 Sam Altman 以視頻連線的方式現(xiàn)身于中國(guó)北京舉辦的 2023 智源人工智能大會(huì)，這是 Altman 首次對(duì)中國(guó)觀眾發(fā)表演講。

Altman 在演講中引用了《道德經(jīng)》，談及大國(guó)合作，表示 AI 安全始于足下，各國(guó)間必須進(jìn)行合作和協(xié)調(diào)。

(資料圖片僅供參考)

隨后 Altman 接受了智源研究院理事長(zhǎng)張宏江的一對(duì)一問(wèn)答。

張宏江博士目前任北京智源人工智能研究院理事長(zhǎng)，同時(shí)擔(dān)任多家公司的獨(dú)立董事和顧問(wèn)。曾任金山集團(tuán)執(zhí)行董事及首席執(zhí)行官兼金山云的首席執(zhí)行官，是微軟亞洲研究院創(chuàng)始人之一，曾擔(dān)任副院長(zhǎng)、微軟亞太研發(fā)集團(tuán)（ARD）首席技術(shù)官及微軟亞洲工程院（ATC）院長(zhǎng)以及微軟 " 杰出科學(xué)家 "。

加盟微軟之前，張宏江曾任美國(guó)硅谷的惠普實(shí)驗(yàn)室任經(jīng)理；此前還在新加坡國(guó)立大學(xué)系統(tǒng)科學(xué)研究院工作。

Altman 演講核心內(nèi)容：

當(dāng)下人工智能革命影響如此之大的原因，不僅在于其影響的規(guī)模，也是其進(jìn)展的速度。這同時(shí)帶來(lái)紅利和風(fēng)險(xiǎn)。

隨著日益強(qiáng)大的 AI 系統(tǒng)的出現(xiàn)，全球合作的重要性從未如此之大。在一些重要的大事上，各國(guó)間必須進(jìn)行合作和協(xié)調(diào)。推進(jìn) AGI 安全是我們需要找到共同利益點(diǎn)的最重要的領(lǐng)域之一。

對(duì)齊仍然是一個(gè)未解決的問(wèn)題。GPT-4 花了八個(gè)月的時(shí)間完成對(duì)齊方面的工作。但相關(guān)的研究還在升級(jí)，主要分為擴(kuò)展性和可解釋性兩方面。

問(wèn)答環(huán)節(jié)核心內(nèi)容：

十年內(nèi)人類將擁有強(qiáng)大的人工智能系統(tǒng)（AI System）。

OpenAI 沒(méi)有相關(guān)的新的有關(guān)開源的時(shí)間表，開源模型具有優(yōu)勢(shì)，但開源一切可能并不是一條（促進(jìn) AI 發(fā)展的）最佳路線。

看明白神經(jīng)網(wǎng)絡(luò)比看明白人類腦子容易多了。

在某個(gè)時(shí)候，會(huì)嘗試做 GPT-5 的模型，但不會(huì)是很快。不知道具體 GPT-5 出現(xiàn)的時(shí)候。

AI 安全需要中國(guó)研究者的參與和貢獻(xiàn)。

注："AI 對(duì)齊 " 是 AI 控制問(wèn)題中的最主要的問(wèn)題，即要求 AI 系統(tǒng)的目標(biāo)要和人類的價(jià)值觀與利益相對(duì)齊（保持一致）。

以下為訪談全文：

Sam Altman 講話：

隨著日益強(qiáng)大的人工智能系統(tǒng)的出現(xiàn)，全球合作的賭注從未如此之高。

如果我們不小心，一個(gè)旨在改善公共衛(wèi)生結(jié)果的錯(cuò)位的人工智能系統(tǒng)，可能會(huì)提供沒(méi)有根據(jù)的建議，從而擾亂整個(gè)醫(yī)療保健系統(tǒng)。同樣，為優(yōu)化農(nóng)業(yè)生產(chǎn)而設(shè)計(jì)的人工智能系統(tǒng)可能會(huì)無(wú)意中耗盡自然資源或破壞生態(tài)系統(tǒng)，因?yàn)槿狈?duì)影響糧食生產(chǎn)的長(zhǎng)期可持續(xù)性的考慮，這是一種環(huán)境平衡。

我希望我們都能同意，推進(jìn) AGI 安全是我們需要共同努力，尋找共性的最重要領(lǐng)域之一。

我發(fā)言的其余部分將集中在我們可以從哪里開始：1. 第一個(gè)方面是 AGI 治理，AGI 從根本上成為了改變我們文明的強(qiáng)大力量，強(qiáng)調(diào)了有意義的國(guó)際合作和協(xié)調(diào)的必要性。每個(gè)人都會(huì)從合作治理方法中受益。如果我們安全、負(fù)責(zé)任地駕馭這條道路，AgI 系統(tǒng)可以為全球經(jīng)濟(jì)創(chuàng)造無(wú)與倫比的經(jīng)濟(jì)繁榮，解決氣候變化和全球健康安全等共同挑戰(zhàn)，并提高社會(huì)福祉。

我也深深地相信在未來(lái)。我們需要在 AGI 安全方面進(jìn)行投資，才能到達(dá)所想要達(dá)到的地方，并在那里享受它。

要做到這樣我們需要認(rèn)真協(xié)調(diào)。這是一項(xiàng)具有全球影響力的全球技術(shù)。不計(jì)后果的開發(fā)和部署所造成的事故成本將影響到我們所有人。

國(guó)際合作中，我認(rèn)為有兩個(gè)關(guān)鍵領(lǐng)域是最重要的。

首先我們需要建立國(guó)際規(guī)范和標(biāo)準(zhǔn)，并注意過(guò)程中注重包容性。在任何國(guó)家使用 AGI 系統(tǒng)，都應(yīng)平等而一致地遵循這樣的國(guó)際標(biāo)準(zhǔn)和規(guī)范。在這些安全護(hù)欄內(nèi)，我們相信人們有足夠的機(jī)會(huì)做出自己的選擇。

第二，我們需要國(guó)際合作，以可核查的方式建立對(duì)安全開發(fā)日益強(qiáng)大的 AI 系統(tǒng)的國(guó)際間信任。我并不妄想這是一件容易的事，需要投入大量和持續(xù)的關(guān)注。

《道德經(jīng)》告訴我們：千里之行，始于足下。我們認(rèn)為，在這方面最具建設(shè)性的第一步是與國(guó)際科學(xué)和技術(shù)界合作。

需要強(qiáng)調(diào)的是，我們應(yīng)該在推動(dòng)技術(shù)進(jìn)步這一方面增加透明度和知識(shí)共享的機(jī)制。在 AGI 安全方面，發(fā)現(xiàn)新出現(xiàn)的安全問(wèn)題的研究人員們應(yīng)該為了更大的利益分享他們的見解。

我們需要認(rèn)真思考如何在鼓勵(lì)這種規(guī)范的同時(shí)，也尊重和保護(hù)知識(shí)產(chǎn)權(quán)。如果我們這樣做，那么，它將為我們深化合作打開新的大門。

更廣泛地來(lái)講，我們應(yīng)該投資于促進(jìn)和引導(dǎo)對(duì) AI 對(duì)齊和安全的研究。

在 Open AI，我們今天的研究主要集中在技術(shù)問(wèn)題上，讓 AI 在我們目前的系統(tǒng)中充當(dāng)一個(gè)有幫助且更安全的角色。這可能也意味著，我們訓(xùn)練 ChatGPT 的方式，使其不做出暴力威脅或協(xié)助用戶進(jìn)行有害活動(dòng)的舉措。

但隨著我們?nèi)找娼咏?AGI 的時(shí)代，沒(méi)有對(duì)齊的 AI 系統(tǒng)的潛在影響力和影響規(guī)模將成倍增長(zhǎng)?，F(xiàn)在積極主動(dòng)地解決這些挑戰(zhàn)，能將未來(lái)出現(xiàn)災(zāi)難性結(jié)果的風(fēng)險(xiǎn)降到最低。

對(duì)于目前的系統(tǒng)，我們主要利用人類反饋進(jìn)行強(qiáng)化學(xué)習(xí)來(lái)訓(xùn)練我們的模型，使其成為一個(gè)有幫助的安全助手。這只是各種訓(xùn)練后調(diào)整技術(shù)中的一個(gè)例子。而且我們也在努力研究新的技術(shù)，其中需要很多艱苦的工程工作。

從 GPT4 完成預(yù)培訓(xùn)到我們部署它，我們專門花了 8 個(gè)月的時(shí)間來(lái)進(jìn)行對(duì)齊方面的工作?？偟膩?lái)說(shuō)，我們認(rèn)為我們?cè)谶@方面做得很好。GPT4 比我們以前的任何模型都更加與人類對(duì)齊。

然而，對(duì)于更先進(jìn)的系統(tǒng)，對(duì)齊仍然是一個(gè)未解決的問(wèn)題，我們認(rèn)為這需要新的技術(shù)方法，同時(shí)增強(qiáng)治理和監(jiān)督。

對(duì)于未來(lái)的 AGI 系統(tǒng)，它提出了 10 萬(wàn)行二進(jìn)制代碼。人類監(jiān)督者不太可能發(fā)現(xiàn)這樣的模型是否在做一些邪惡的事情。所以我們正在投資一些新的、互補(bǔ)的研究方向，希望能夠?qū)崿F(xiàn)突破。

一個(gè)是可擴(kuò)展的監(jiān)督。我們可以嘗試使用人工智能系統(tǒng)來(lái)協(xié)助人類監(jiān)督其他人工智能系統(tǒng)。例如，我們可以訓(xùn)練一個(gè)模型來(lái)幫助人類監(jiān)督發(fā)現(xiàn)其他模型的輸出中的缺陷。

第二個(gè)是解釋能力。我們想嘗試更好地了解這些模型內(nèi)部發(fā)生了什么。我們最近發(fā)表了一篇論文，使用 GPT-4 來(lái)解釋 GPT-2 中的神經(jīng)元。在另一篇論文中，我們使用 Model Internals 來(lái)檢測(cè)一個(gè)模型何時(shí)在說(shuō)謊。我們還有很長(zhǎng)的路要走。我們相信，先進(jìn)的機(jī)器學(xué)習(xí)技術(shù)可以進(jìn)一步提高我們解釋的能力。

最終，我們的目標(biāo)是訓(xùn)練 AI 系統(tǒng)來(lái)幫助進(jìn)行對(duì)齊研究。這種方法的好處在于，它可以隨著 AI 的發(fā)展速度而擴(kuò)展。

獲得 AGI 帶來(lái)的非凡好處，同時(shí)降低風(fēng)險(xiǎn)，是我們這個(gè)時(shí)代的開創(chuàng)性挑戰(zhàn)之一。我們看到中國(guó)、美國(guó)以及世界各地的研究人員有很大的潛力來(lái)共同實(shí)現(xiàn)同一個(gè)目標(biāo)，并致力于努力解決 AGI 對(duì)齊帶來(lái)的技術(shù)挑戰(zhàn)。

如果我們這樣做，我相信我們將能夠利用 AGI 來(lái)解決世界上最重要的問(wèn)題，并極大地改善人類的生活質(zhì)量。非常感謝。

以下為對(duì)話實(shí)錄：

未來(lái)十年我們會(huì)有非常強(qiáng)大的 AI 系統(tǒng)

智源研究院理事長(zhǎng)張宏江提問(wèn)：我們距離通用人工智能（AGI）還有多遠(yuǎn)？風(fēng)險(xiǎn)是不是很緊迫，還是我們離它還很遙遠(yuǎn)？

Sam Altman：這很難評(píng)估具體時(shí)間。很可能未來(lái)十年我們會(huì)有非常強(qiáng)大的 AI 系統(tǒng)，新技術(shù)從根本上改變世界的速度比我們想象的快。在那樣的世界里，我認(rèn)為把這件事（AI 安全規(guī)則）做好是重要且緊迫的，這就是為什么我呼吁國(guó)際社會(huì)共同努力的原因。

從某種意義上說(shuō)，我們現(xiàn)在看到的新技術(shù)的加速和系統(tǒng)的影響是前所未有的。所以我認(rèn)為要為即將發(fā)生的事情做好準(zhǔn)備，并了解有關(guān)安全的問(wèn)題。考慮到 AI 規(guī)模龐大，這其中的利害關(guān)系相當(dāng)重要。

中國(guó)、美國(guó)和其他國(guó)家以及歐洲這三個(gè)主要集團(tuán)是人工智能創(chuàng)新背后的驅(qū)動(dòng)力，在你看來(lái)，在 AGI 安全這個(gè)領(lǐng)域中，不同國(guó)家分別又有什么優(yōu)勢(shì)來(lái)解決這一問(wèn)題，特別是解決人工智能安全問(wèn)題。如何將這些優(yōu)勢(shì)結(jié)合到一起？

全球合作為 AI 提出安全標(biāo)準(zhǔn)和框架

張宏江：您剛才在前期的介紹中也提到了幾次，正在進(jìn)行全球合作。我們知道，在過(guò)去世界面臨著相當(dāng)多的危機(jī)。不知何故，對(duì)他們中的許多人來(lái)說(shuō)，我們?cè)O(shè)法建立了共識(shí)，建立全球合作。你也在進(jìn)行一次全球巡演，你正在努力推動(dòng)怎樣的全球合作？

Sam Altman：是的，我對(duì)到目前為止大家的反應(yīng)和回答都非常滿意。我認(rèn)為人們非常認(rèn)真地對(duì)待 AGI 的風(fēng)險(xiǎn)和機(jī)遇。

我認(rèn)為在過(guò)去的 6 個(gè)月里，對(duì)于安全的討論已經(jīng)取得了相當(dāng)大的進(jìn)展。人們似乎真的致力于找出一種結(jié)構(gòu)，讓我們能夠享受這些好處，同時(shí)在全球范圍內(nèi)共同努力降低風(fēng)險(xiǎn)。我認(rèn)為我們非常適合做這件事。全球合作總是困難的，但我認(rèn)為這是一種將世界團(tuán)結(jié)在一起的機(jī)會(huì)和威脅。我們可以為這些系統(tǒng)提出一個(gè)框架和安全標(biāo)準(zhǔn)，這將非常有幫助。

人工智能的對(duì)齊問(wèn)題如何解決

張宏江：你提到先進(jìn)人工智能的對(duì)齊是一個(gè)尚未解決的問(wèn)題。我還注意到 OpenAI 在過(guò)去的幾年里付出了很多努力。你提到 GPT-4 是迄今為止在對(duì)齊領(lǐng)域最好的例子。你認(rèn)為我們可以僅僅通過(guò)微調(diào) ( API ) 來(lái)解決 AGI 的安全問(wèn)題嗎？或者比這個(gè)問(wèn)題的解決方式要困難得多？

Sam Altman：我認(rèn)為對(duì)齊這個(gè)詞有不同的理解方式。我認(rèn)為我們需要解決的是整個(gè)人工智能系統(tǒng)中的挑戰(zhàn)，傳統(tǒng)意義上的對(duì)齊——讓模型的行為符合用戶的意圖，當(dāng)然是其中的一部分。

但還會(huì)有其他問(wèn)題，比如我們?nèi)绾悟?yàn)證系統(tǒng)正在做什么，我們希望它們做什么，以及我們?nèi)绾握{(diào)整系統(tǒng)的價(jià)值。最重要的是要看到 AGI 安全的整體情況。

如果沒(méi)有技術(shù)解決方案，其他一切都很難。我認(rèn)為集中精力確保我們解決安全方面的技術(shù)問(wèn)題是非常重要的。正如我所提到的，弄清楚我們的價(jià)值觀是什么，這不是一個(gè)技術(shù)問(wèn)題。盡管它需要技術(shù)投入，但這是一個(gè)值得全社會(huì)深入討論的問(wèn)題。我們必須設(shè)計(jì)公平、具有代表性和包容性的系統(tǒng)。

張宏江：針對(duì)對(duì)齊，我們那看到 GPT-4 所做的，仍然是從技術(shù)的角度出發(fā)的解決方案。但除了技術(shù)之外，還有許多其他因素，且往往是系統(tǒng)性的。人工智能安全在這里可能也不例外。除了技術(shù)方面，還有哪些因素和問(wèn)題？你認(rèn)為對(duì)人工智能安全至關(guān)重要嗎？我們應(yīng)該如何應(yīng)對(duì)這些挑戰(zhàn)？尤其是我們大多數(shù)人都是科學(xué)家。我們應(yīng)該做什么。

Sam Altman：這無(wú)疑是一個(gè)非常復(fù)雜的問(wèn)題。但如果沒(méi)有技術(shù)解決方案，其他一切都很難解決。我認(rèn)為集中精力確保我們解決安全方面的技術(shù)問(wèn)題是非常重要的。正如我所提到的，弄清楚我們的價(jià)值觀是什么，這不是一個(gè)技術(shù)問(wèn)題。它需要技術(shù)投入，但這同時(shí)也是一個(gè)值得全社會(huì)深入討論的問(wèn)題。我們必須設(shè)計(jì)公平、具有代表性和包容性的系統(tǒng)。

而且，正如你所指出的，我們需要考慮的不僅僅是人工智能模型拉動(dòng)本身的安全性，而是整個(gè)系統(tǒng)。

因此，可以構(gòu)建在系統(tǒng)上運(yùn)行的安全分類器和檢測(cè)器很重要，它們可以監(jiān)控 AI 是否符合使用策略。我認(rèn)為很難提前預(yù)測(cè)任何技術(shù)會(huì)出現(xiàn)的所有問(wèn)題。因此，從現(xiàn)實(shí)世界的使用中學(xué)習(xí)，并反復(fù)部署，看看當(dāng)你真正創(chuàng)造現(xiàn)實(shí)并改進(jìn)它時(shí)會(huì)發(fā)生什么。

讓人類和社會(huì)有時(shí)間學(xué)習(xí)和更新，并思考這些模型將如何以好的和壞的方式與他們的生活互動(dòng)，這也很重要。

需要各國(guó)共同合作

張宏江：早些時(shí)候，你提到了全球合作。你一直在環(huán)游世界，中國(guó)、美國(guó)和以及歐洲等各國(guó)都是人工智能創(chuàng)新背后的驅(qū)動(dòng)力，在你看來(lái)，在 AGI 中，不同國(guó)家分別有哪些優(yōu)勢(shì)來(lái)解決 AGI 問(wèn)題，特別是解決人安全問(wèn)題。如何將這些優(yōu)勢(shì)結(jié)合到一起？

Sam Altman：我認(rèn)為通常需要很多不同的視角和人工智能安全。我們還沒(méi)有得到所有的答案，這是一個(gè)相當(dāng)困難和重要的問(wèn)題。

此外，正如所提到的，這不是一個(gè)純粹的技術(shù)問(wèn)題，使人工智能安全和有益的。涉及在非常不同的背景下了解不同國(guó)家的用戶偏好。我們需要很多不同的投入才能實(shí)現(xiàn)這一目標(biāo)。中國(guó)擁有一些世界上最優(yōu)秀的人工智能人才。從根本上說(shuō)，我認(rèn)為，考慮到解決高級(jí)人工智能系統(tǒng)對(duì)齊的困難，需要來(lái)自世界各地的最好的頭腦。所以我真的希望中國(guó)的人工智能研究人員在這里做出巨大的貢獻(xiàn)。

需要非常不同的架構(gòu)使得 AGI 更安全

張宏江：關(guān)于 GPT-4 和 AI 安全的后續(xù)問(wèn)題。我們是否有可能需要更改 AGI 模型的整個(gè)基礎(chǔ)架構(gòu)或整個(gè)體系結(jié)構(gòu)。為了讓它更安全，更容易被檢查 .

Sam Altman：無(wú)論是從功能角度還是從安全角度來(lái)看，我們確實(shí)需要一些非常不同的架構(gòu)，這是完全可能的。

我認(rèn)為我們將能夠取得一些進(jìn)展，在解釋我們目前各種模型的能力方面取得良好進(jìn)展，并讓他們更好地向我們解釋他們?cè)谧鍪裁匆约盀槭裁?。但是，是的，如果?Transformer 之后有另一個(gè)巨大的飛躍，我不會(huì)感到驚訝。自從最初的 Transformer 以來(lái)，我們已經(jīng)改變了很多架構(gòu)。

OpenAI 開源的可能性

張宏江：我明白今天的論壇是關(guān)注 AI 安全的，因?yàn)槿藗儗?duì) OpenAI 很好奇，所以我有很多關(guān)于 OpenAI 的問(wèn)題，不僅僅是 AI 安全。我這里有一個(gè)觀眾的問(wèn)題是，OpenAI 有沒(méi)有計(jì)劃重新開源它的模型，就像在 3.0 版本之前那樣？我也認(rèn)為開源有利于 AI 安全。

Sam Altman：我們有些模型是開源的，有些不是，但隨著時(shí)間的推移，我認(rèn)為你應(yīng)該期待我們將來(lái)會(huì)繼續(xù)開源更多的模型。我沒(méi)有一個(gè)具體的模型或時(shí)間表，但這是我們目前正在討論的事情。

張宏江：BAAI 將所有的努力都變成開源，包括模型和算法本身。我們相信，我們有這種需要，分享和給予，你一個(gè)他們?cè)诳刂聘兄?。?qǐng)問(wèn)你有類似的觀念嗎，或者在你的同齡人或 OpenAI 的同事中討論過(guò)這些話題。

Sam Altman：是的，我認(rèn)為開源在某種程度上確實(shí)有一個(gè)重要的作用。

最近也有很多新的開源模型出現(xiàn)。我認(rèn)為 API 模型也有一個(gè)重要的作用。它為我們提供了額外的安全控制。你可以阻止某些用途。你可以阻止某些類型的微調(diào)。如果某件事情不起作用，你可以收回它。在當(dāng)前模型的規(guī)模下，我不太擔(dān)心這個(gè)問(wèn)題。但是隨著模型變得像我們期望的那樣強(qiáng)大，如果我們對(duì)此是正確的，我認(rèn)為開源一切可能不是最佳路徑，盡管有時(shí)候它是正確的。我認(rèn)為我們只需要仔細(xì)地平衡一下。

我們未來(lái)會(huì)有更多開源大模型，但沒(méi)有具體模型和時(shí)間表。

AGI 的下一步方向？會(huì)很快看到 GPT-5 嗎？

張宏江：作為一個(gè)研究人員，我也很好奇，下一步的 AGI 研究方向是什么？在大模型、大語(yǔ)言模型方面，我們會(huì)不會(huì)很快看到 GPT-5？下一個(gè)前沿是不是在具身模型上？自主機(jī)器人是不是 OpenAI 正在或者準(zhǔn)備探索的領(lǐng)域？

Sam Altman：我也很好奇下一步會(huì)發(fā)生什么，我最喜歡做這項(xiàng)工作的原因之一就是在研究的前沿，有很多令人興奮和驚訝的事情。我們還沒(méi)有答案，所以我們?cè)谔剿骱芏嗫赡艿男路妒?。?dāng)然，在某個(gè)時(shí)候，我們會(huì)嘗試做一個(gè) GPT-5 模型，但不會(huì)是很快。我們不知道具體什么時(shí)候。我們?cè)?OpenAI 剛開始的時(shí)候就做過(guò)機(jī)器人方面的工作，我們對(duì)此非常感興趣，但也遇到了一些困難。我希望有一天我們能夠回到這個(gè)領(lǐng)域。

張宏江：聽起來(lái)很棒。你在演講中也提到了你們是如何用 GPT-4 來(lái)解釋 GPT-2 的工作原理，從而使模型更安全的例子。這種方法是可擴(kuò)展的嗎？這種方向是不是 OpenAI 未來(lái)會(huì)繼續(xù)推進(jìn)的？

Sam Altman：我們會(huì)繼續(xù)推進(jìn)這個(gè)方向。

張宏江：那你認(rèn)為這種方法可以應(yīng)用到生物神經(jīng)元上嗎？因?yàn)槲覇?wèn)這個(gè)問(wèn)題的原因是，有一些生物學(xué)家和神經(jīng)科學(xué)家，他們想借鑒這個(gè)方法，在他們的領(lǐng)域里研究和探索人類神經(jīng)元是如何工作的。

Sam Altman：在人工神經(jīng)元上觀察發(fā)生了什么比在生物神經(jīng)元上容易得多。所以我認(rèn)為這種方法對(duì)于人工神經(jīng)網(wǎng)絡(luò)是有效的。我認(rèn)為使用更強(qiáng)大的模型來(lái)幫助我們理解其他模型的方法是可行的。但我不太確定你怎么把這個(gè)方法應(yīng)用到人類大腦上。

控制模型數(shù)量可行嗎

張宏江：好的，謝謝你。既然我們談到了 AI 安全和 AGI 控制，那么我們一直在討論的一個(gè)問(wèn)題是，如果這個(gè)世界上只有三個(gè)模型，那么會(huì)不會(huì)更安全？這就像核控制一樣，你不想讓核武器擴(kuò)散。我們有這樣的條約，我們?cè)噲D控制能夠獲得這項(xiàng)技術(shù)的國(guó)家數(shù)量。那么控制模型數(shù)量是不是一個(gè)可行的方向？

Sam Altman：我認(rèn)為對(duì)于世界上有少數(shù)模型還是多數(shù)模型更安全，有不同的觀點(diǎn)。我認(rèn)為更重要的是，我們是否有一個(gè)系統(tǒng)，能夠讓任何一個(gè)強(qiáng)大的模型都經(jīng)過(guò)充分的安全測(cè)試？我們是否有一個(gè)框架，能夠讓任何一個(gè)創(chuàng)造出足夠強(qiáng)大的模型的人，既有資源，也有責(zé)任，來(lái)確保他們創(chuàng)造出的東西是安全和對(duì)齊的？

張宏江：昨天在這個(gè)會(huì)議上，MIT 未來(lái)生命研究所的 Max 教授提到了一種可能的方法，就是類似于我們控制藥物開發(fā)的方式?？茖W(xué)家或者公司開發(fā)出新藥，你不能直接上市。你必須經(jīng)過(guò)這樣的測(cè)試過(guò)程。這是不是我們可以借鑒的？

Sam Altman：我絕對(duì)認(rèn)為，我們可以從不同行業(yè)發(fā)展出來(lái)的許可和測(cè)試框架中借鑒很多東西。但我認(rèn)為從根本上說(shuō)，我們已經(jīng)有了一些可以奏效的方法。

張宏江：非常感謝你，Sam。謝謝你抽時(shí)間來(lái)參加這次會(huì)議，雖然是線上的。我相信還有很多問(wèn)題，但考慮到時(shí)間，我們不得不到此為止。希望下次你有機(jī)會(huì)來(lái)中國(guó)，來(lái)北京，我們可以有更深入的討論。非常感謝你。