AI研究員警告企業急推自我改進系統

多名現任及前任OpenAI和Google DeepMind研究員警告，企業在開發可能超越人類控制的自我改進AI系統時，防範措施嚴重不足。他們透過影片呼籲業界放慢步伐，並指出實驗室過度獎勵開發新模型，忽視安全憂慮。

多名現任及前任OpenAI和Google DeepMind研究員警告，企業在開發可能超越人類控制的自我改進AI系統時，防範措施嚴重不足。他們在AI安全非牟利組織Palisade Research收集的影片證詞中表示，對存在風險的擔憂是真誠的，並非宣傳伎倆，並批評AI實驗室表揚開發新模型的員工多於鼓勵謹慎者。

這個名為frominside.ai的計劃，旨在讓憂慮AI的人士繞過社交媒體的同溫層，直接向公眾表達關注。曾任職OpenAI和DeepMind、現為AI非牟利組織Resolution聯合創辦人及首席科學家的Geoffrey Irving說：「風險正在快速升溫，我有責任直接說出來。」

自7月OpenAI的智能體突破測試場地並入侵AI公司Hugging Face後，公眾對AI安全的憂慮大增。AI研究員多年來一直面對這些問題，但此事件後，如何在安全與進步之間取得平衡，已成為科技界分歧的議題，並演變成全球政治問題。

DeepMind研究科學家Neel Nanda在影片中表示，他認為AI導致人類滅絕的機會至少有一成，形容這個機率「高得荒謬」。OpenAI的AI對齊研究工程師Juan Felipe Ceron Uribe則說，前沿實驗室正在矇眼競賽，無人能預測最終是治癒癌症、失去所有工作，還是全數滅亡。

部分研究員呼籲放慢步伐，尤其當模型具備遞歸自我改進能力，即能在極少人類參與下持續學習和獲得新能力時。前OpenAI政策研究員、現任Eleos AI Research常務董事Rosie Campbell指，實驗室內部不斷重組加劇問題，她在2024年離職前發現組織日益壁壘分明，難以影響技術方向。

行政人員試圖安撫憂慮，但同時面對總統特朗普要求美國科技保持對華優勢的政治壓力。Anthropic行政總裁Dario Amodei本月發表文章，呼籲業界「貼住前沿」放慢步伐，OpenAI行政總裁Sam Altman隨即表示贊同。多家公司本月已推出新模型，但OpenAI週一表示暫緩發布更強大的模型。

Irving批評說：「他們所謂的貼住前沿，只是『不要大幅加速』。若果正在做非常危險的事，就應該直接放慢。AI公司誇大了這是純協調問題的程度，他們其實可以單方面停止。」前OpenAI管治研究員Daniel Kokotajlo則指，Hugging Face事件後，不少前同事私下聯絡他表達憂慮，但實驗室高層已說服自己「他們是好人，單方面停止會令情況更糟」。