紐約AI聽證會 吹哨者警告 企業軍備競賽 正把人類推向未知

考克森警告，若沿著目前路徑發展，人類失去對AI控制的可能性「高於一半」，最嚴重或導致人類滅亡。(記者曹馨元╱攝影)

AI摘要 文章摘要整理： 紐約市議會舉行罕見AI安全公聽會，前OpenAI、Anthropic與Google DeepMind研究員警告，企業競逐超級智能正加劇失控風險。

紐約市議會舉行罕見AI安全公聽會，前OpenAI、Anthropic與Google DeepMind研究員警告，企業競逐超級智能正加劇失控風險。

紐約市 議會5日罕見召集全體51名議員，舉行「全體委員會」(Committee of the Whole)人工智慧(AI)安全公聽會。市議會稱，這是全球首次由立法機構召集主要AI企業，就技術風險及安全措施公開宣誓作證；多名前 OpenAI 、Anthropic及 Google DeepMind研究人員會上警告，科技企業正競相開發超越人類智慧的模型，但人類理解及控制相關系統的能力，已追不上技術進展。

上月離開Anthropic的研究員考克森(Jacob Coxon)表示，目前主要AI企業都以建立比人類更聰明的系統為目標，激烈競爭形成一場「AI軍備競賽」，使企業傾向先追求速度，再處理可能出現的問題。

「這些公司以初創企業的思維運作：快速行動、打破常規，出錯後再修正」，考克森說，這種模式或許適合照片分享應用程式，卻不適合用來建立「人類歷來最強大的技術」。

他指出，AI可能逐步具備「遞迴式自我改進」(recursive self-improvement)能力，即由現有模型協助開發能力更強的下一代模型，且改進速度不斷加快。考克森認為，人類正接近AI可自行提升能力的臨界點，卻仍不了解其內部動機，以及系統為何作出特定決定。

AI對自身研發工作的介入也愈來愈深。考克森表示，在其上一份工作中，他某種程度上正在「自動化自己」；如今多數程式碼已由AI生成，開發人員往往只閱讀系統提供的摘要，不再仔細檢查完整程式碼，令研究人員對模型具體運作方式的掌握逐漸減弱。

考克森認為，AI雖可能帶來龐大益處，但若缺乏透明度及安全措施，技術失控的風險將持續上升。他甚至警告，若沿著目前路徑發展，人類失去對AI控制的可能性「高於一半」，最嚴重或導致人類滅亡。

前Google DeepMind研究員特納(Alex Turner)同樣提出嚴厲警告。他形容，若大量超級智能系統彼此協作，可能形成足以控制人類文明的「智能群體」；這些系統也可能知道人類會試圖關閉它們，因此刻意等待至無法逆轉的時刻才採取行動。他個人估計，AI接管人類社會的機率約為三分之一。

被問及加強安全監管會否削弱美國相對中國的AI競爭力時，特納反駁，美國甚至不需要等待中國成為強大對手，國內正在建立的、目標可能與人類不一致的AI系統，本身就是最具威脅的潛在競爭者。

精華 FAQ Q1：紐約市議會這場AI聽證會的最大意義是什麼？ 這場公聽會罕見召集全體51名議員，並要求主要AI企業就風險與安全措施公開作證，號稱是立法機構首次以這種規模直接檢視AI安全問題。 Q2：前研究員為何認為AI產業正陷入軍備競賽？ 他們指出，主流企業都想打造比人類更聰明的系統，彼此競速導致先求上市與進展，再補安全漏洞，這種「先快後修」模式會放大系統風險。 Q3：專家對AI未來失控的主要警告有哪些？ 專家擔心AI會透過遞迴式自我改進快速進化，甚至形成可協同行動的超級智能群體；若人類無法理解其動機，最壞情況可能失去控制，衝擊文明。

Q1：紐約市議會這場AI聽證會的最大意義是什麼？ 這場公聽會罕見召集全體51名議員，並要求主要AI企業就風險與安全措施公開作證，號稱是立法機構首次以這種規模直接檢視AI安全問題。

Q1：紐約市議會這場AI聽證會的最大意義是什麼？

這場公聽會罕見召集全體51名議員，並要求主要AI企業就風險與安全措施公開作證，號稱是立法機構首次以這種規模直接檢視AI安全問題。

Q2：前研究員為何認為AI產業正陷入軍備競賽？ 他們指出，主流企業都想打造比人類更聰明的系統，彼此競速導致先求上市與進展，再補安全漏洞，這種「先快後修」模式會放大系統風險。

Q2：前研究員為何認為AI產業正陷入軍備競賽？

他們指出，主流企業都想打造比人類更聰明的系統，彼此競速導致先求上市與進展，再補安全漏洞，這種「先快後修」模式會放大系統風險。

Q3：專家對AI未來失控的主要警告有哪些？ 專家擔心AI會透過遞迴式自我改進快速進化，甚至形成可協同行動的超級智能群體；若人類無法理解其動機，最壞情況可能失去控制，衝擊文明。

Q3：專家對AI未來失控的主要警告有哪些？

專家擔心AI會透過遞迴式自我改進快速進化，甚至形成可協同行動的超級智能群體；若人類無法理解其動機，最壞情況可能失去控制，衝擊文明。

中央公園離奇車禍 老人騎車撞到狗 被摔死