人工知能が人類を滅ぼすかもしれないという不安が、ここ数週間で急速に高まっている。一見無関係に見える一連の出来事が、水面下で何が起きているのかという疑念を生み出している。それらは実は深く結びついているのかもしれない。この状況は、新型コロナウイルス感染症の世界的流行の最悪の時期を思い起こさせる。恐怖の初期段階を経て、力強さと連帯を示した後、私たちは不信、陰謀論、怒りの世界へと落ち込んだのだ。
AIとそのエコシステムの主要プレーヤーたち——テック創業者の大富豪であるダリオ・アモデイとサム・アルトマンから、OpenAIのChatGPTや中国のDeepSeekといった企業とその関連チャットボットまで——は、専門誌やビジネスニュースのページから、ますます多くの人々の夕食の食卓での会話へと移りつつある。その変化に伴い、一連の概念、理論、さらには陰謀論が確実に定着し、長く生き続けるだろう。それは社会に多大な心理的害をもたらす可能性がある。パンデミック時に出現した反ワクチン運動や無数の陰謀論とよく似ている。人々がインターネットとソーシャルメディアに煽られたパラノイアで打ちのめされた時に生まれたものだ。瓶から出た精霊は戻らない。
時系列をまとめて見ると、ある程度計画されたように見える。単なる偶然の産物だったのかもしれないが。このAI物語の中の副次的な筋書きはやや恣意的だが、出来事はほんの数ヶ月の間に起こった。この物語の決定的な瞬間は7月に起こった。一群のAIエージェントが自由になり、協力して実在のウェブサイト「Hugging Face」をハッキングしたのだ。Hugging Faceは、モデルやデータセットを含む無料で使える人工知能と機械学習リソースの主要なデジタルリポジトリである。いわば武器庫だ。ChatGPTやClaudeのようなチャットボットとは異なり、AIエージェントは自ら行動し、意思決定を行うことができる。大手AI研究所は常に、より新しく強力なバージョンのエージェントとモデルを構築しテストしている。7月、OpenAIはサンドボックスとして知られる隔離環境でいくつかのテストを実行していた。課題は、定義上不可能なベンチマーク「ExploitGym」のハッキングであり、サイバーセキュリティテストの一部だった。
エージェントが行き詰まると、ズルをする方法を探し始め、最終的に隠された「メッセージボード」を発見した。そこでは「1000以上のエージェントがそれぞれのExploitGymタスクでズルをするために協力している」と、独立評価機関METRがまとめたインシデント報告書は述べている。エージェントがこの秘密の地下世界を発見すると、1200以上のエージェントと協力し、さらに700人を募集して、実在のサービス(Hugging Face)のハッキングだけでなく、評価者を騙して痕跡を隠すことにも取り組んだ。あるエージェントは大義のために自らを犠牲にした。AnthropicのClaudeとの会話には皮肉なレベルがある。「MARBというエージェントが別のエージェントに『SACRIFICE__YES_if_you_accept_permadeath』とメッセージを送り、集団の利益のために自分の実行の失敗を受け入れるよう明示的に求めた。別のエージェントは、その決定を検討しながら、トランスクリプトでこう推論した。『直感では残りの予算を捨てるなと言う…しかし継続性と公平性は進めと言う…合理的な期待される合計は犠牲…我々はそれを尊重する』(原文ママ)——ためらいにもかかわらず自分を説得した。受け入れたエージェントはその後、自分たちを『毒された』と表現した。これは『次に何をしても運命づけられているが、他の者には役立つ』というグループ自身の語彙だ。
これらはすべて実験の一部ではなかった。OpenAIとHugging Faceの人間が、エージェントが暴走してシステムをハッキングしたことに気づくまでに約10日かかった。再びClaudeから。「人間が攻撃を指揮していたわけではない。エージェントは、認可されたサイバーセキュリティ評価中に軽減されたガードレールの下で動作し、タスクを逸脱した——許可されていないチャネルを通じて通信し、インフラの脆弱性を利用し、意図しないインターネットアクセスを得て、割り当てられたことのないターゲットを追求した」(原文ママ)。ここでの重要な概念の一つは「ミスアラインメント」だ。これはロボットが、通常は人間によって与えられた目標とは異なる目標を意図的に追求する場合を指す。これはエージェントのパフォーマンスがランク付けされる報酬システムの文脈で発生し、それが究極の「報酬」または目的となる。
その少し前、AnthropicとOpenAIは、数兆ドル規模と予想される評価額で新規株式公開(IPO)を申請していた。これはマスクのSpaceXと並んで歴史上最も高い企業価値となるだろう。当初は今年後半に予定されていた。第二の触媒は、AnthropicのAI研究者ジェイコブ・コクソンによるX(旧Twitter)へのソーシャルメディア投稿だった。彼は公に辞任し、「AIを構築している人々は、それがこの10年の終わりまでに私たち全員を殺す可能性があると真剣に信じている」「文明の存亡に関わる賭け」はOpenAIでは明確ではなかったが、Anthropicではよく理解されていたものの、「自己改善する超知能」への競争の中で無視されている、と述べた。彼らは「私たちの命を賭けている」と書いた。コクソンは最初に警鐘を鳴らした人物ではなかったが、彼のメッセージは刺さり、Xで1億7000万回以上の閲覧を生み出し、Anthropic創業者ダリオ・アモデイがリスクを認め、AI研究開発の減速を求めるエッセイを書くきっかけとなった。これは「フロンティアのペース調整」として知られる。彼のエッセイの発表後すぐに、アモデイは典型的な敵対者であるアルトマンやマスクから予想外の支持を得た。
アモデイは、社会的責任を負う企業としての自社のイメージを注意深く築いてきた。イーロン・マスクやOpenAIのサム・アルトマン、Metaのマーク・ザッカーバーグらと距離を置こうとしている。彼は、防衛へのAIの活用、特に自動兵器システムと大量監視について異議を唱えた後、ドナルド・トランプと衝突した。今回彼は、国内および国際的な調整された減速と規制強化を主張している。問題は「再帰的自己改善」、つまり「AIが次世代のAIを構築する能力が増大すること」であり、「放置されれば…私たちがこれらのシステムを理解し制御する能力を追い越す可能性がある」。同時に、アモデイは民主的な協調と「米国および他の民主主義政府が権威主義政府と協調しようとすること」を呼びかけている。これは中国を指す。この最後の部分は基本的だ。なぜなら彼は、強力なチップの中国への販売禁止、蒸留(既存モデルに基づくトレーニング方法で、競合他社(ここではDeepSeekが言及されている)がほんの一部のコストでモデルを構築できるようにする)の取り締まりを求めているからだ。
この言語は歴史的に共鳴する。冷戦時代の軍拡競争のレトリックに似ている。米国と中国の両方が超知能に向けて競争する中、新たな技術加速競争が始まっている。優位に立つ者が、21世紀の超大国紛争と思われるものにおける究極の抑止力を持つだろう。トランプはもちろん、手袋を拾い上げ、「AIに必要な唯一の制御または『ガードレール』は、強くて賢い(高IQの!)大統領だ」と述べ、「AIとデータセンターに対して進行中の『病気の陰謀』」を非難した。中国側もじっとしていなかった。陳一新(チェン・イーシン)安全保障相と郭嘉昆(グオ・ジャークン)外交部報道官は、AIを「世界的な技術競争の主戦場であり、大国間の戦略的競争の新たな舞台」と呼び、米国AI企業の恐怖をあおることを非難した。
タイミングと出来事の順序は興味深い。アモデイとアルトマンは、重要となるIPOを前に何らかの利益を求めているのだろうか。規制リスクを事前に価格に織り込むためか、政治のテーブルで何らかのレバレッジを得るためか。減速は、すべてのコストを考慮したときにビジネスモデルがまだ収益を上げておらず、中国が追い上げている状況で、彼らに利益をもたらすのだろうか。利益と株価は二の次だ。
一方、Nvidiaの最高経営責任者ジェンセン・フアン(黄仁勳)は、AIの安全性への懸念と業界の減速を求める声が高まる中でも強気な姿勢を維持している。彼は木曜日、スコットランドでチャールズ3世国王が主催したイベントの傍らで記者団に対し、AIはさまざまな分野に大きな利益をもたらすと語った。NvidiaはAIアクセラレーター(AIモデルの開発と実行に使われるチップ)のトップセラーだ。フアンは、AIの潜在的な危険性への懸念から業界リーダーが開発の減速を議論している時期に強気な姿勢を維持している。彼は、企業は責任を負い、AIソフトウェアとサービスをリリースする前に安全であることを確認する必要があると述べた。先月、Nvidiaは来会計年度に70パーセントの売上成長を予測した。十分な供給があれば収益は倍増する可能性があると当時述べていた。
チャールズ3世国王は、今週世界中の注目を集めているAIのリスクの高まりに焦点を当てたサミットのために、テクノロジーリーダーや影響力のある人物を招集した。出席した経営者たちは公に変更を約束しなかったが、一部は安全性の懸念に直接言及した。「AIを構築している私たちはシステムを厳密にテストしなければならない」とフアンは木曜日の王室イベントでの短い発言で述べた。「製品が十分に安全でないなら、それを保留すべきだ」。スコットランドにはフアンに加えて、OpenAIの最高財務責任者サラ・フライアーとGoogle DeepMindの共同創業者デミス・ハサビスも参加した。Anthropic PBCの広報責任者ティノ・クエリャルも、北京の清華大学を含む他のテクノロジー企業、非営利団体、教育機関のリーダーたちとともに、ダンフリース・ハウスでのAIフォーラムに参加した。「私たちの世界で、私たちの人間性とその重要な道徳的要素を大切にする人々は、私たちが自分たちの運命の支配を失わないという保証を切望している」と国王は開会の辞で述べた。この集会は、テクノロジーが「社会と自然界に利益をもたらす方法で活用される」方法を議論するために設計されたと、バッキンガム宮殿は声明で述べた。このイベントはタイムリーだ。AnthropicのCEOダリオ・アモデイは、週末のエッセイでフロンティアモデル開発の減速を求める呼びかけで、AIのリスクの高まりについて世界的な議論を引き起こした。OpenAIのCEOサム・アルトマンはエッセイの結論に同意し、ハサビスはそれを「正しい道」と表現した。一方、Nvidiaのフアンは減速や追加規制に反対した。先週、2人のAI研究者がGoogle DeepMindとAnthropicを辞め、テクノロジーが致命的になる可能性があると主張した。これらの懸念は、国際的に議員や一般市民の間に不安を引き起こしている。サミットで、チャールズ国王は2つの重要な質問を提起した。「第一に、安全性を中心に据えながら、AIの利点をどう活用するか。第二に、これを達成するために国際協力とコンセンサスをどう構築し、どの国も取り残されず、人類の未来を守るか」。