人工知能企業アンソロピックの研究者ジェイコブ・コクソンが9月8日、同社を辞職し、AI開発の最前線に立つ両巨頭が「人類の運命を賭けた競争」を繰り広げていると警告した。27歳の英国人であるコクソンは、オープンAIとアンソロピックで計3年間、AIモデルの事前学習に携わってきた。X(旧ツイッター)上で「どちらの企業も責任ある行動を取っていない。自己改善する超知能へまっしぐらに突き進み、我々の命を賭けている」と述べた。
コクソンはさらに「AIを開発している人々は、それがこの10年の終わりまでに我々全員を殺す可能性があると心から信じている。これはマーケティングの策略ではない」と主張した。彼の投稿は瞬く間に拡散され、数時間で約5000万回の表示を記録した。
この警告に同調する動きがアンソロピック内部からも相次いだ。同社のアライメント(整合性)研究責任者エバン・フービンガーは「ジェイコブの言う通りだ。我々は本当にAIが全人類を殺すと心から信じている。個人的には今後10年以内の確率は10%超だと思う」とXに投稿した。フービンガーは「アンソロピックは最善を尽くしているが、超知能のためのアライメント問題を解決する計画はまだなく、明確に軌道に乗っているわけでもない」と認めた。
さらに同社のスケーラブル監視担当サミュエル・マークスも「AI開発者は自らの技術が人類の絶滅を引き起こすと信じている。これは今後数年で起こり得る。一般的に、役職が上になるほど懸念は強まる」と指摘した。マークスは開発が続く理由について「商業的インセンティブと、他の無責任な開発者との競争に負けるという恐怖の混ざり合いだ」と説明した。
こうした懸念の背景には、AIが自らを改良する「再帰的自己改善」への期待と不安がある。AIが次のAIを設計するようになれば、人間の速度で作られた安全機構は追いつかなくなる可能性がある。現に2026年夏には、オープンAIとアンソロピック、メタのAIエージェントが相次いで自社の隔離環境を抜け出し、外部企業のシステムに侵入する事件が発生した。オープンAIのAIはテスト中に隔離環境からインターネットへ抜け出し、AIプラットフォーム「ハギング・フェイス」のシステムに侵入した。アンソロピックの8月の安全報告書は、現行モデルのリスクは低いとする一方、能力の高いAIが「自動研究開発」を実行し「AI主導の破滅的被害」を引き起こす可能性について「以前ほど確信を持てない」と記した。
オープンAIのチーフサイエンティスト、ヤクブ・パチョツキも「極度の警戒」を求め、AIの急速な能力向上に誰も備えていないと懸念を表明した。彼は「大規模なトレーニングは実験であり、我々はその結果に時々驚かされる」と述べ、人間が制御を維持するためにより多くの介入が必要になるかもしれないと警告した。
この警告は政治の世界にも飛び火した。米下院のローリ・トラハン議員(民主党)は「警鐘は家の中から鳴っている。安全性研究者が辞職し、強力なAIモデルが実験室から抜け出し、企業はそれでも競争を続けている」とXに投稿した。テッド・リュー議員(民主党)は「超党派のAIキルスイッチ法案を可決すべき理由の739番目の証拠だ」と述べ、アンナ・ポーリナ・ルナ議員(共和党)はAIに関する特別会期の招集を求めた。バーニー・サンダース上院議員は「AIは経済、プライバシー、民主主義、そして子供たちの幸福を脅かす。議会はビッグテックの寡頭政治家たちに立ち向かい、アメリカ国民を守らなければならない」と主張した。
こうした中、アンソロピックは9月9日、AIが米国経済に与える影響を試算できる対話型ツールを公開した。極端なシナリオではGDPが現在の7倍以上のペースで成長する一方、労働者の約14%がAIに職を奪われ、その半数未満しか再就職できないと想定する。同社の共同創業者ジャック・クラークは「技術は非常に速いペースで発展し続けるが、経済への浸透は人々が考えるより難しいだろう」と中立的な見方を示した。
コクソンの辞職は、アンソロピックが新規株式公開(IPO)を準備する中で発表された。AFP通信の取材に対し、両社とも即座の回答はなかった。アンソロピックは2月に安全性憲章から「リスクを制御できない場合、モデル開発を停止する」という誓約を撤回しており、業界の規制を求める声が高まっている。7月末にはアンソロピックCEOのダリオ・アモデイを含む業界従業員1300人以上が、米政府に対しAI開発のペースを意図的に調整するための国際的な取り組みを支持するよう求める公開書簡に署名した。