本週，關於人工智慧未來的激烈分歧展開，一場由非營利組織Humanity+主持的討論聚集了四位知名的技術專家與超人類主義者，辯論建造人工通用智慧（AGI）是否能拯救人類或毀滅人類。 該小組包括最具代表性的AI“末日論者”Eliezer Yudkowsky，他曾呼籲停止高級AI的開發，還有哲學家兼未來學家Max More、計算神經科學家Anders Sandberg，以及Humanity+榮譽會長Natasha Vita‑More。 他們的討論揭示了在AGI是否能與人類生存相協調，或其創造是否會使滅絕不可避免的根本分歧。
“黑箱”問題
Yudkowsky警告說，現代AI系統本質上不安全，因為其內部決策過程無法完全理解或控制。 “任何黑箱系統都可能遇到與現有技術類似的問題，”Yudkowsky警告。他認為，人類需要在“非常、非常遠離當前範式”的情況下，才能安全地開發出高級AI。 人工通用智慧指的是一種能在廣泛任務中推理和學習的AI，而非僅為單一工作如文本、圖像或視頻生成而設計。AGI常與技術奇點的概念相關聯，因為達到那個智慧水平可能使機器能比人類更快地自我提升。 Yudkowsky引用哲學家Nick Bostrom提出的“迴紋針最大化器”比喻來說明風險。這個思想實驗描述一個假想的AI，將所有可用物質轉化為迴紋針，進一步執著於單一目標，犧牲人類利益。Yudkowsky表示，增加更多目標並不會顯著提高安全性。
他提到自己最近一本關於AI的書名《如果有人建造它，大家都會死》，並說：“我們的標題不是說它_可能_會殺死你，”Yudkowsky說。“我們的標題是，如果有人建造它，_每個人_都會死。” 但More質疑極端謹慎是否是最安全的策略。他認為，AGI可能是人類戰勝老化和疾病的最佳機會。 “對我來說，最重要的是，AGI可以幫助我們防止每個因老化而活著的人滅絕，”More說。“我們都在死去。我們正走向一場災難，一個接一個。”他警告說，過度克制可能會推動各國政府走向威權控制，成為全球停止AI發展的唯一途徑。 Sandberg則在兩派之間，描述自己為“較樂觀”，但仍比超人類主義者更謹慎。他回憶起一段親身經歷，幾乎用大型語言模型協助設計生物武器，並形容那次經歷為“令人毛骨悚然”。 “我們正走向一個放大惡意行為者的局面，這也會造成巨大混亂，”Sandberg說。不過，他認為部分或“近似安全”是可以實現的。他拒絕了安全必須完美才能有意義的想法，並建議人類至少可以在生存等最低共通價值上達成共識。 “所以如果你要求完美安全，你是得不到的。從那個角度來看，這聽起來非常糟糕，”他說。“但我認為我們實際上可以達到近似安全。那就已經足夠了。”
對協調的懷疑
Vita-More批評了更廣泛的協調辯論，認為這個概念假設了一種甚至在長期合作夥伴中都不存在的共識。 “協調的想法是一個樂觀的方案，”她說。“它永遠不會完全協調。我是說，即使在這裡，我們都是好人。我們認識了幾十年，但我們並不完全一致。”
她形容Yudkowsky聲稱AGI必然會殺死所有人的說法是“絕對主義思維”，沒有為其他結果留空間。 “我對那種‘每個人都死’的籠統說法有問題，”她說。“作為一個未來學家和務實的思想家來看，這不留任何後果、沒有其他選擇，也沒有其他情景。這只是一個直白的斷言，我懷疑這是否反映了一種絕對主義思維。” 討論中還涉及人類與機器更緊密整合是否能減輕AGI帶來的風險——這是特斯拉CEO Elon Musk過去曾提出的想法。Yudkowsky駁斥了與AI融合的想法，將其比作“試圖與你的烤麵包機融合”。 Sandberg和Vita-More則認為，隨著AI系統變得更強大，人類將需要更緊密地與它們整合或融合，以更好應對後AGI時代。 “這整個討論是對我們作為人類的現實檢驗，”Vita-More說。
