HongKongNews.com.hk 香港新聞
市場
科技

OpenAI安全高層辭職 批評公司文化欠審慎

前OpenAI安全部門員工Robinson公開辭職,批評公司急速發展文化忽略安全,認為AI企業應更着重安全研究。他指出「試驗與錯誤的時代已經結束」,AI系統需要更嚴格的安全保障措施。OpenAI發言人回應稱公司會暫停訓練或保留模型以確保安全。

OpenAI安全高層辭職 批評公司文化欠審慎

一名前OpenAI安全員工近日辭職,並公開批評公司處理人工智能安全問題的手法,認為其追求快速發展的文化增加了系統出現問題的風險。

Robinson在《大西洋月刊》(The Atlantic)發表文章,題為〈我辭職因為OpenAI文化已壞掉〉,指出包括OpenAI在內的AI公司「遠遠不夠審慎」,應該在開發更強大的系統之前,更重視安全專業知識及研究。

「試驗與錯誤的時代已經結束,」Robinson寫道,認為先進的AI系統需要類似核電及航空業的安全保障措施。他又指,OpenAI依賴所謂「疊代部署」——即推出系統後,當問題出現時才加強安全措施。

Robinson在OpenAI工作了三年半,曾協助制定公司的準備框架,並監督12次前沿模型發布的安全報告。他寫道:「當公司從一次發布衝刺到下一次,它未能達到我認為所需的審慎水平。」

OpenAI發言人回應稱:「我們確保模型不會變得比我們能安全管理和控制的能力更強,當我們需要放慢腳步時,我們會暫停訓練或保留模型。」

Robinson同時警告,AI能力的發展速度超越了研究人員對「對齊」的理解——對齊是一門專注於確保AI系統按照人類目標及價值運作的學科。

這些言論加深了AI行業內部關於企業是否過快開發更強大系統的辯論,OpenAI及競爭對手Anthropic曾因安全控制失效或實驗系統出現意外行為而受到審視。

資料來源:The Standard。 閱讀原文報道 →
港
編輯部

統籌港聞、政府公告及全站編務。