Sam Altman 的致辭發生在6月10日智源大會的AI安全與對齊分論壇上。現場座無虛席，這位OpenAI CEO在屏幕上出現時，現場響起掌聲，幾乎所有人都舉起手機對著屏幕拍照。不過Altman本人顯得十分平靜，甚至是謹慎。這是去年ChatGPT攪動全球AI熱潮以來，Sam Altman 首度在中國背景的場合公開發表意見。事實上當天他也在離中國不遠的地方，此前他剛剛抵達首爾，見了韓國總統。在發表演講后，他還與智源研究院理事長張宏江進行了一對一問答。以下為要點及實錄。
要點：
隨著我們在技術上越來越接近AGI，不對齊的影響和缺陷將呈指數級增長。
OpenAI目前使用強化學習人類反饋技術來確保AI系統有用與安全，同時也在探索新的技術，其中一個思路是使用AI系統來輔助人類去監督別的AI系統。
十年內人類將擁有強大的人工智能系統（AI System）。
OpenAI沒有相關的新的有關開源的時間表，盡管他承認在有關AI安全的問題上，開源模型具有優勢，但開源所有東西可能并不是一條（促進AI發展的）最佳路線。
看明白神經網絡比看明白人類腦子容易多了。
中國有最優秀的人工智能人才，AI安全需要中國研究者的參與和貢獻。
以下為演講實錄：
今天，我想談談未來。具體來說，就是我們在人工智能能力方面看到的增長速度。我們現在需要做什么，為它們引入世界做好負責任的準備，科學史教會我們，技術進步遵循指數曲線。我們已經能從歷史中看到這一點，從農業、工業到計算革命。人工智能令人震撼的不僅是它的影響力，還有它的進步速度。它拓展了人類想象力的邊界，并且以快速的步伐進行著。想象一下，在未來十年里，通常被稱為通用人工智能（AGI）的系統，在幾乎所有領域都超越了人類的專業水平。這些系統最終可能超過我們最大pg下載的集體生產力。這里面潛藏著巨大的上升空間。人工智能革命將創造共享財富，并使提高每個人生活水平成為可能，解決共同挑戰，如氣候變化和全球衛生安全，并以無數其他方式提高社會福祉。我深信這個未來，為了實現它并享受它，我們需要共同投資于AGI安全，并管理風險。如果我們不小心，一個不符合目標的AGI系統，可能會通過提供沒有根據的建議，破壞整個醫療系統。同樣地，一個旨在優化農業實踐的AGI系統可能會由于缺乏對長期可持續性的考慮而無意中耗盡自然資源或破壞生態系統，影響食品生產和環境平衡。我希望我們都能同意，推進AGI安全是我們最重要的領域之一。我想把我剩下的講話重點放在我認為我們可以從哪里開始的地方。一個領域是AGI治理，這是一項具有全球影響的技術。魯莽開發和部署造成的事故成本將影響我們所有人。在這方面，有兩個關鍵要素：首先，我們需要建立國際規范和標準，并通過包容的過程，在所有國家為AGI的使用制定平等統一的保護措施。在這些保護措施之內，我們相信人們有充分的機會做出自己的選擇。其次，我們需要國際合作來建立對日益強大的人工智能系統安全開發的全球信任，以可驗證的方式。這不是一件容易的事情。我們需要作為國際社會投入持續而重要的關注，才能做好這件事。道德經提醒我們，千里之行始于足下。我們認為在這里采取最有建設性的第一步是與國際科技界合作。特別是，我們應該促進增加透明度和知識共享的機制，關于AGI安全方面的技術進展。發現新出現安全問題的研究人員應該為了更大的利益分享他們的見解。我們需要認真考慮如何在尊重和保護知識產權權利的同時，鼓勵這種規范。如果我們做好了這一點，它將為我們打開新的大門，讓我們能夠加深合作。更廣泛地說，我們應該投資、促進和引導對目標和安全研究的投資。在OpenAI，我們今天的目標研究主要集中在技術問題上，即如何讓人工智能系統作為一個有用和安全的助手，在我們當前的系統中行動。這可能意味著，我們如何訓練ChatGPT，使它不會發出暴力威脅或協助用戶進行有害活動。但是隨著我們更接近AGI，任何不符合目標的潛在影響和程度都將呈指數增長。為了提前解決這些挑戰，我們努力將未來災難性結果的風險降到最低。對于當前系統，我們主要使用來自人類反饋的強化學習來訓練我們的模型，使其作為一個有用和安全的助手行動。這是后期訓練目標技術中的一個例子，我們也在忙于開發新的技術。要做好這件事情需要很多艱苦的工程工作。從GPT-4完成預訓練到部署它，我們花了8個月的時間來做這件事。總的來說，我們認為我們在這方面走在了正確的軌道上。GPT-4比我們以前的任何模型都更符合目標。然而，對于更先進的系統來說，目標仍然是一個未解決的問題，我們認為這需要新的技術方法，以及更多的治理和監督。想象一下，一個未來的AGI系統提出了10萬行二進制代碼。人類監督者不太可能檢測到這樣一個模型是否在做一些邪惡的事情。所以我們正在投資一些新的和互補的研究方向，我們希望能夠取得突破。一個是可擴展的監督。我們可以嘗試使用人工智能系統來協助人類監督其他人工智能系統。例如，我們可以訓練一個模型來幫助人類監督者發現其他模型輸出中的缺陷。第二個是可解釋性。我們想嘗試更好地理解這些模型內部發生了什么。我們最近發表了一篇論文，使用GPT-4來解釋GPT-2中的神經元。在另一篇論文中，我們使用模型內部信息來檢測模型何時在說謊。雖然我們還有很長的路要走，但我們相信先進的機器學習技術可以進一步提高我們產生解釋的能力。最終，我們的目標是訓練人工智能系統來幫助目標研究本身。這種方法的一個有希望的方面是，它隨著人工智能發展的步伐而擴展。隨著未來模型變得越來越聰明和有用作為助手，我們將找到更好的技術，實現AGI的非凡利益，同時減輕風險，是我們這個時代最重要的挑戰之一。
以下為對話實錄：
張宏江：我們離人工智能還有多遠？風險是不是很緊迫，還是我們離它還很遙遠？無論是安全的人工智能，還是潛在的不安全的人工智能。
Sam Altman ：這個問題很難準確預測時間，因為它需要新的研究思路，而這些思路并不總是按照規定的日程來發展的。它可能很快就會發生，也可能需要更長的時間。我認為很難用任何程度的確定性來預測。但我確實認為，在未來十年內，我們可能會擁有非常強大的人工智能系統。在這樣的世界里，我認為解決這個問題是重要而緊迫的，這就是為什么我呼吁國際社會共同合作來解決這個問題。歷史上確實給我們提供了一些新技術比許多人想象的更快地改變世界的例子。我們現在看到的這些系統的影響和加速度，在某種意義上是前所未有的。所以我認為做好準備，讓它盡快發生，并且解決好安全性方面的問題，考慮到它們的影響和重要性，是非常有意義的。
張宏江：你感覺到了一種緊迫感嗎？
Sam Altman：是的，我感覺到了。我想強調一下，我們并不真正知道。而且人工智能的定義也不同，但是我認為在十年內，我們應該為一個擁有非常強大系統的世界做好準備。
張宏江：你在剛才的演講中也提到了幾次全球合作。我們知道世界在過去六七十年里面臨過很多危機。不過對于其中的很多危機，我們設法建立了共識和全球合作。你也正在進行一次全球之旅。你正在推動什么樣的全球合作？你對目前收到的反饋感覺如何？
Sam Altman：是的，我對目前收到的反饋非常滿意。我認為人們非常認真地對待人工智能帶來的風險和機遇。我認為在過去六個月里，這方面的討論已經有了很大進步。人們真正致力于找出一個框架，讓我們能夠享受這些好處，同時共同合作來減輕風險。我認為我們處于一個非常有利的位置來做這件事。全球合作總是很困難的，但我認為這是一種機會和威脅，可以讓世界團結起來。我們可以制定一些框架和安全標準，來指導這些系統的開發，這將是非常有幫助的。
張宏江：在這個特定的話題上，你提到了高級人工智能系統的對齊是一個未解決的問題。我也注意到開放AI在過去幾年里投入了很多精力。你還提到了GPT-4是對齊方面的最佳例子。你認為我們能否通過對齊來解決人工智能安全問題？或者這個問題比對齊更大？
Sam Altman ：我認為對齊這個詞有不同的用法。我認為我們需要解決的是如何實現安全人工智能系統的整個挑戰。對齊在傳統意義上是指讓模型按照用戶的意圖行事，這當然是其中的一部分。但我們還需要回答其他一些問題，比如我們如何驗證系統是否做了我們想要它們做的事情，以及我們要根據誰的價值觀來對齊系統。但我認為重要的是要看到實現安全人工智能所需要的全貌。
張宏江：是的，對齊還是。如果我們看看GPT-4所做的事情，在很大程度上，它仍然是從技術角度來看的。但除了技術之外，還有許多其他因素。這是一個非常復雜的問題。通常復雜問題是系統性的。人工智能安全可能也不例外。除了技術方面之外，你認為還有哪些因素和問題對人工智能安全至關重要？我們應該如何應對這些挑戰？特別是我們大多數人都是科學家，我們應該做什么？
Sam Altman：這當然是一個非常復雜的問題。我會說沒有技術解決方案，其他一切都很難。我認為把很多精力放在確保我們解決了安全方面的技術問題上是非常重要的。正如我提到的，弄清楚我們要根據什么樣的價值觀來對齊系統，這不是一個技術問題。它需要技術輸入，但它是一個需要全社會深入討論的問題。我們必須設計出公平、有代表性和包容性的系統。而且，正如你指出的，我們不僅要考慮人工智能模型本身的安全性，還要考慮整個系統的安全性。所以建立安全分類器和檢測器，可以在模型之上運行，可以監控使用策略的遵守情況，這也很重要。然后，我也認為很難提前預測任何技術會出現什么問題。所以從真實世界中學習和迭代地部署，看看當你把模型放到現實中時會發生什么，并改進它，并給人們和社會時間去學習和更新，并思考這些模型將如何以好的和壞的方式影響他們的生活。這也很重要。
張宏江：你剛才提到了全球合作。你已經訪問了很多國家，你提到了中國。但你能否分享一些你在合作方面取得的成果？你對下一步有什么計劃或想法？從這次世界之旅中，從你與各種政府、機構、機構之間的互動中？
Sam Altman：我認為通常需要很多不同的視角和人工智能安全。我們還沒有得到所有的答案，這是一個相當困難和重要的問題。
此外，正如所提到的，這不是一個純粹的技術問題，使人工智能安全和有益的。涉及在非常不同的背景下了解不同國家的用戶偏好。我們需要很多不同的投入才能實現這一目標。中國擁有一些世界上最優秀的人工智能人才。從根本上說，我認為，考慮到解決高級人工智能系統對齊的困難，需要來自世界各地的最好的頭腦。所以我真的希望中國的人工智能研究人員在這里做出巨大的貢獻。
張宏江：我明白今天的論壇是關注AI安全的，因為人們對OpenAI很好奇，所以我有很多關于OpenAI的問題，不僅僅是AI安全。我這里有一個觀眾的問題是，OpenAI有沒有計劃重新開源它的模型，就像在3.0版本之前那樣？我也認為開源有利于AI安全。
Sam Altman：我們有些模型是開源的，有些不是，但隨著時間的推移，我認為你應該期待我們將來會繼續開源更多的模型。我沒有一個具體的模型或時間表，但這是我們目前正在討論的事情。
張宏江：我們把所有的努力都投入到了開源中，包括模型本身、開發模型的算法、優化模型和數據之間關系的工具。我們相信有必要分享，并讓用戶感覺到他們控制了自己所使用的東西。你是否有類似的反饋？或者這是你們在OpenAI中討論的內容？
Sam Altman：是的，我認為開源在某種程度上確實有一個重要的作用。最近也有很多新的開源模型出現。我認為API模型也有一個重要的作用。它為我們提供了額外的安全控制。你可以阻止某些用途。你可以阻止某些類型的微調。如果某件事情不起作用，你可以收回它。在當前模型的規模下，我不太擔心這個問題。但是隨著模型變得像我們期望的那樣強大，如果我們對此是正確的，我認為開源一切可能不是最佳路徑，盡管有時候它是正確的。我認為我們只需要仔細地平衡一下。
張宏江：關于GPT-4和AI安全方面的后續問題是，我們是否需要改變整個基礎設施或整個AGI模型的架構，以使其更安全、更容易被檢查？你對此有什么想法？
Sam Altman：這肯定有可能，我們需要一些非常不同的架構，無論是從能力還是從安全性方面來看。我認為我們將能夠在可解釋性方面取得一些進展，在當前類型的模型上，并讓它們更好地向我們解釋它們在做什么以及為什么。但是，如果在變換器之后還有另一個巨大的飛躍，那也不會讓我感到驚訝。而且實際上我們已經在原始的變換器之后，架構已經發生了很大的變化。
張宏江：作為一個研究人員，我也很好奇，下一步的AGI研究方向是什么？在大模型、大語言模型方面，我們會不會很快看到GPT-5？下一個前沿是不是在具身模型上？自主機器人是不是OpenAI正在或者準備探索的領域？
Sam Altman：我也很好奇下一步會發生什么，我最喜歡做這項工作的原因之一就是在研究的前沿，有很多令人興奮和驚訝的事情。我們還沒有答案，所以我們在探索很多可能的新范式。當然，在某個時候，我們會嘗試做一個GPT-5模型，但不會是很快。我們不知道具體什么時候。我們在OpenAI剛開始的時候就做過機器人方面的工作，我們對此非常感興趣，但也遇到了一些困難。我希望有一天我們能夠回到這個領域。
張宏江：聽起來很棒。你在演講中也提到了你們是如何用GPT-4來解釋GPT-2的工作原理，從而使模型更安全的例子。這種方法是可擴展的嗎？這種方向是不是OpenAI未來會繼續推進的？
Sam Altman：我們會繼續推進這個方向。
張宏江：那你認為這種方法可以應用到生物神經元上嗎？因為我問這個問題的原因是，有一些生物學家和神經科學家，他們想借鑒這個方法，在他們的領域里研究和探索人類神經元是如何工作的。
Sam Altman：在人工神經元上觀察發生了什么比在生物神經元上容易得多。所以我認為這種方法對于人工神經網絡是有效的。我認為使用更強大的模型來幫助我們理解其他模型的方法是可行的。但我不太確定你怎么把這個方法應用到人類大腦上。
張宏江：好的，謝謝你。既然我們談到了AI安全和AGI控制，那么我們一直在討論的一個問題是，如果這個世界上只有三個模型，那么會不會更安全？這就像核控制一樣，你不想讓核武器擴散。我們有這樣的條約，我們試圖控制能夠獲得這項技術的國家數量。那么控制模型數量是不是一個可行的方向？
Sam Altman：我認為對于世界上有少數模型還是多數模型更安全，有不同的觀點。我認為更重要的是，我們是否有一個系統，能夠讓任何一個強大的模型都經過充分的安全測試？我們是否有一個框架，能夠讓任何一個創造出足夠強大的模型的人，既有資源，也有責任，來確保他們創造出的東西是安全和對齊的？
張宏江：昨天在這個會議上，MIT未來生命研究所的Max教授提到了一種可能的方法，就是類似于我們控制藥物開發的方式。科學家或者pg下載開發出新藥，你不能直接上市。你必須經過這樣的測試過程。這是不是我們可以借鑒的？
Sam Altman：我絕對認為，我們可以從不同行業發展出來的許可和測試框架中借鑒很多東西。但我認為從根本上說，我們已經有了一些可以奏效的方法。
張宏江：非常感謝你，Sam。謝謝你抽時間來參加這次會議，雖然是虛擬的。我相信還有很多問題，但考慮到時間，我們不得不到此為止。希望下次你有機會來中國，來北京，我們可以有更深入的討論。非常感謝你。
]]>