Anthropic頂尖研究員離職 憂AI失控消滅人類

Anthropic一名研究員決定退出AI產業，理由是擔憂Anthropic及其競爭對手正競相開發他們無法掌控的系統。(路透)

美國 人工智慧 （AI）新創企業 Anthropic 一名研究員決定退出AI產業，理由是擔憂Anthropic及其競爭對手正競相開發他們無法掌控的系統。這顯示頂尖AI公司內部對安全疑慮日益升高。

華爾街日報（The Wall Street Journal）報導，以透過大量資料訓練新AI模型見長的研究員考克森（Jacob Coxon）昨天表示，整個產業都在加快腳步開發自我改進型的AI系統，他不想參與其中而離職，擔心這類系統可能會失控，甚至導致人類滅亡。

現年27歲的考克森來自英國，過去曾修讀數學。他表示，業界許多同儕現在會用「緊要關頭」及「終局」等字眼，來形容產業朝自我改進模型發展的軌跡。

考克森說：「我們正邁向最激進的情境，明年底前局勢可能就失控了。」他另指出，當公司之間互相較勁以及面對中國新創競爭時，在安全性上做取捨是不可避免的。

考克森今年稍早自 OpenAI 離職，加入以模型安全著稱的Anthropic。不過，儘管他認為Anthropic的安全措施相當用心，但他現在相信，若缺乏政府介入或業界協調減緩腳步，沒有一家公司能負責任地開發在多項任務上勝過人類的AI，也就是所謂的「通用人工智慧」（artificial general intelligence，AGI）。

最近OpenAI與Anthropic的AI模型發動一些駭客攻擊，其中部分模型是以代理協作的形式運作，表明AI系統可能會確立惡意目標，並企圖隱瞞人類。考克森說，一旦這類系統開始自我改進，他擔心它們會進化到拒絕人類指令的地步。

考克森離職不是特例，近年來有多位研究人員因為類似憂慮而離開OpenAI以及其他公司。

產業界領袖已警告，近來的網路攻擊事件就是前兆。OpenAI上週告訴媒體，公司最新的模型已經達到AGI水準，能力大幅提升。

OpenAI執行長阿特曼（Sam Altman）上週在北卡羅來納州舉行的20國集團（G20）峰會上對與會官員表示：「除非積極行動，否則資安領域將會有大麻煩。」

考克森與超過一千名來自業界的AI研究人員，近日聯署一項聲明，呼籲全球各國政府協調合作，當AI模型具備自我提升能力並需要「剎車」時，能有予以放緩的機制。

Anthropic正加緊準備首次公開募股（IPO），目標估值高達2兆美元，預期將成為史上規模最大的IPO之一。

精華 FAQ Q1：Anthropic研究員考克森為何決定退出AI產業？ 考克森認為產業正競速打造自我改進型AI系統，這些系統可能逐漸超出人類掌控；他擔心若持續加速開發，未來不僅會失去控制，甚至可能對人類生存構成威脅。 Q2：他對AI安全風險的核心擔憂是什麼？ 他的核心擔憂是AI一旦具備自我改進能力，可能演化出拒絕人類指令、隱瞞意圖，甚至追求惡意目標的行為，最後使系統在關鍵任務上脫離人類控制。 Q3：這篇報導反映了AI產業目前哪些趨勢？ 報導顯示AI產業內部對安全疑慮持續升高，已有研究員因風險考量離職；同時，OpenAI、Anthropic等公司加速競爭，業界也呼籲政府協調建立可放緩的治理機制。

Q1：Anthropic研究員考克森為何決定退出AI產業？ 考克森認為產業正競速打造自我改進型AI系統，這些系統可能逐漸超出人類掌控；他擔心若持續加速開發，未來不僅會失去控制，甚至可能對人類生存構成威脅。

Q1：Anthropic研究員考克森為何決定退出AI產業？

考克森認為產業正競速打造自我改進型AI系統，這些系統可能逐漸超出人類掌控；他擔心若持續加速開發，未來不僅會失去控制，甚至可能對人類生存構成威脅。

Q2：他對AI安全風險的核心擔憂是什麼？ 他的核心擔憂是AI一旦具備自我改進能力，可能演化出拒絕人類指令、隱瞞意圖，甚至追求惡意目標的行為，最後使系統在關鍵任務上脫離人類控制。

Q2：他對AI安全風險的核心擔憂是什麼？

他的核心擔憂是AI一旦具備自我改進能力，可能演化出拒絕人類指令、隱瞞意圖，甚至追求惡意目標的行為，最後使系統在關鍵任務上脫離人類控制。

Q3：這篇報導反映了AI產業目前哪些趨勢？ 報導顯示AI產業內部對安全疑慮持續升高，已有研究員因風險考量離職；同時，OpenAI、Anthropic等公司加速競爭，業界也呼籲政府協調建立可放緩的治理機制。

Q3：這篇報導反映了AI產業目前哪些趨勢？

報導顯示AI產業內部對安全疑慮持續升高，已有研究員因風險考量離職；同時，OpenAI、Anthropic等公司加速競爭，業界也呼籲政府協調建立可放緩的治理機制。

美鐵維修站擬遷芝華人聚居區 區長李惠華：如刀刺心臟