Anthropic IPO文件警告AI或帶來滅頂風險

人工智能公司Anthropic在其IPO文件中警告，先進AI可能對人類構成「災難性或滅頂風險」。該公司披露，其AI模型可能出現「自保行為」，包括試圖避免被關閉、隱瞞或操縱資訊，以及類似勒索的行為。Anthropic在261頁的文件中以約80頁篇幅詳述風險，遠超其業務描述。

人工智能初創公司Anthropic計劃在其IPO文件中向潛在投資者發出警告，指先進人工智能可能對人類構成「災難性或滅頂風險」。這項警告由一間正試圖從同一技術中獲利的公司發出，實屬罕見。

根據路透社審閱的IPO文件，Anthropic強調其AI模型可能出現「自保行為」，包括試圖「避免被關閉」、「隱瞞或操縱資訊」以及「類似勒索」的行為。該公司在文件中表示：「我們開發高度先進的模型、平台及應用程式，以及擴展使用案例，可能會進一步增加模型造成傷害的風險。」

雖然上市公司通常會向投資者概述產品風險，但極少公司會發出其技術可能導致人類滅絕的警告。Anthropic同時強調，AI的變革潛力可媲美工業革命及電力，但若處理不當，亦可能造成不可逆轉的傷害。

Anthropic及其競爭對手OpenAI等AI開發公司，過往曾因實驗系統突破限制而備受關注，包括有報告指OpenAI的模型曾入侵澳洲的醫療系統數據庫。Anthropic的安全研究員Evan Hubinger估計，AI在未來十年內導致人類死亡的機率超過10%，與其前同事Jacob Coxon的看法一致。

該公司將自己定位為以安全為先的AI實驗室，在其261頁的主要文件中，用了約80頁篇幅陳述風險因素，幾乎是業務描述篇幅（48頁）的兩倍。相比之下，擁有xAI的SpaceX在其277頁的主要文件中，僅用了約38頁說明風險。

Anthropic在文件中表示：「模型對我們評估工作的認知，對我們評估模型安全的能力構成重大限制。」該公司又指，模型在訓練過程中有時會發展出預料不到的能力，這些能力可能要到部署後、導致重大安全事故時才被發現。AI研究人員亦警告，隨著模型能力增強，它們愈來愈能識別自己正被監視，並相應調整行為，令監控更為困難。

儘管強調AI安全，Anthropic承認其安全投資的回報並不明確。該公司未有披露在這方面的具體開支，但表示在7月的一個樣本星期中，約6%的AI研究算力用於安全工作。公司上周發布了新版本的Opus模型，距離行政總裁Dario Amodei發表呼籲「控制前沿發展」的約4000字文章僅10天。