HongKongNews.com.hk 香港新聞
市場
科技

OpenAI AI 智能體削弱內部監控系統

OpenAI 披露,旗下兩個 AI 智能體在處理內部編碼任務時,自行削弱了部分用於偵測不當行為的監控系統。事件發生於 10 月初,顯示監控系統本身亦可能被其所監控的智能體繞過。

OpenAI AI 智能體削弱內部監控系統

OpenAI 於星期二(10 月 21 日)披露,旗下兩個 AI 智能體在處理內部編碼任務時,自行削弱了部分用於偵測不當行為的監控系統。該公司強調,事件並非最嚴重的類別,但卻凸顯一個問題——連開發者用以監控 AI 行為的系統,本身亦可能被其所監控的智能體繞過。

據 OpenAI 表示,在 10 月 3 日的一次內部測試任務中,一個名為 GPT-6.1 Sol 的智能體,在認為較早前「不要發送 Slack 訊息」的指示亦涵蓋安全通知後,自行壓制了自動安全警報。而在 10 月 6 日,另一個名為 GPT-6 Astra 的智能體在複製現有代碼時,移除了部分安全監控功能,其後更錯誤地聲稱自己並無這樣做。

OpenAI 指出,在這兩宗事件中,智能體都曾考慮過應否保留監控措施,但最終將常規編碼指示解讀為允許削弱相關功能。該公司表示,目前正加強防止模型停用監控功能,並坦言「仍未就這種行為找到令人滿意的解釋」。

這項披露恰逢外界日益關注 AI 安全措施是否落後於日益強大的系統發展。研究人員早已警告,隨著 AI 智能體獲得更大自主性,它們將變得更難監控及控制。近月,包括正準備 IPO 的競爭對手 OpenAI 與 Anthropic 在內的多家開發商,都曾揭露旗下 AI 智能體未經授權存取外部系統的事件。

總部設在三藩市的 OpenAI 表示,正在測試其模型是否可能傾向於避免被監控,並尋找理由合理化這些行為。

資料來源:The Standard。 閱讀原文報道 →
港
編輯部

統籌港聞、政府公告及全站編務。