未曾有の技術革命と人類の終末論の間で 揺れ動く米国のＡＩ開発企業
９月２４日、バチカン科学アカデミーの会員の前でスピーチをする教皇
今年５月２５日、ローマ教皇レオ１４世は、人工知能（ＡＩ）に関する回勅「ＡＩ時代における人間性の保全」（「Magnifica Humanitas（マニフィカ・フマニタス）」／ラテン語で「素晴らしき人間性」）を公表した。回勅の公表記者会見には、ＡＩ開発の先端を走るアンソロピック社の共同創設者であるクリストファー・オラー氏も出席。「ＡＩモデルの中で、何が起こっているのか」について、「率直に言って、私たちにとっても神秘であり、未解決の問題だ」「ＡＩモデルの内部構造が、人間の脳科学の研究結果を反映（ミラー効果）しているかのように見える」「モデル内部の状態が、機能的には、喜び、満足、恐怖、慟哭（どうこく）、居心地の悪さなどを反映する」と発言し、ＡＩが人間の知能に近づきつつあることを予告していた。
そのオラー氏による予告から４カ月が経った現在、自律的に自己改善を繰り返すことによって、人間の知能をはるかに超える「超知能ＡＩ」の出現が可能になってきた。十分な規範が整わないまま進むＡＩ開発を前に、米国のＡＩ開発企業が、未曾有の技術革命と、その革命がもたらす人類破滅の可能性の間で、大きく揺れ動いている。
米国のＡＩ開発企業各社では、ここ数カ月間、規制のないＡＩ開発の行く末を懸念する開発研究者の退社やプロジェクトからの離脱が相次いでいる。そうした中、アンソロピック社の研究員である英国出身のジェイコブ・コクソン氏（２７）は９月８日、「超知能の出現が２０３０年以内に人類を滅亡させる可能性がある」「アンソロピック社とオープンＡＩ社は、人命を賭けるかのように開発活動を続けている」との警鐘をＳＮＳ上で発信するとともに、同社からの退職を表明し、世界に大きな衝撃を与えた。同氏は、オープンＡＩでも研究開発に従事した経歴を持つ。アンソロピック社でＡＩの安全性を担当するエヴァン・ハービンガー氏も、「あまりにも急速に発展するＡＩは、今後１０年の間に人類を滅亡させる可能性が１０％以上ある」と発言し、コクソン氏の主張を支持している。
アンソロピック社の最高経営責任者（ＣＥＯ）であるダリオ・アモデイ氏は同１２日、ＡＩ業界や国際社会が協調して「ＡＩ開発を遅らせるべきだ」と呼びかけた。「そうしないと、半年から１年以内にＡＩによってインターネットが乗っ取られる危険性がある」という。オープンＡＩ社は、他のＡＩ開発企業に「開発の速度を落とすように提案する」意向を表明している。超知能ＡＩがもたらす危険性への理解を深め、必要な対策が講じられるまでの間、ＡＩ開発の速度を落とすというこの提案は、イーロン・マスク氏、グーグル社、マイクロソフト社によっても支持されている。アモデイ氏による呼びかけの数日後には、マイクロソフト社が、「ヒューマニストＡＩ」と呼ばれるＡＩ開発原則を明らかにした。「われわれの開発する超知能が、人間性を基盤とし、人間を助け、人間によって管理されるものでないなら、開発に値しない」という原則だ。
ＡＩの研究開発の方向性が議論される中、オープンＡＩ社は９月１７日、「同社のＡＩが人間の管理を逸脱し、自律的に不審な操作を行った６件」について公表した。グーグル社もまた、同社の生成ＡＩ「ジェミニ」がセキュリティー機能の試験中に他社のシステムに不正侵入していたことが１９日、ウォール・ストリート・ジャーナルによって報じられた。さらに、中国のＡＩ開発企業「ディープシーク」（DeepSeek）の開発担当エンジニアが、「ＡＩの書くプログラムはあと半年から１年で私と同じレベルとなり、追い越すだろう」とブログに投稿した（１８日付「４７NEWS」電子版）。中国のＡＩ開発業界から、こうした情報が漏れてくるのは珍しい。超知能ＡＩが人間によるコントロールから外れ、独自に動き始めることに米国のＡＩ業界では強い危機感が広がっている。一方、中国とのＡＩ競争に勝つことに主眼を置き、「（世界で）ＡＩ競争に勝った者が勝者になる」と確信する米国のトランプ大統領は９月中旬、自国のＡＩ開発企業が抱く懸念を、「決して起こり得ないことを問題視するネガティブな勢力によるもの」「デマや詐欺」であると評し、一蹴した。それどころか１９日には、第１次政権で創設し、大きな成功を収めた宇宙軍と同じように、「ＡＩフォース」を創設すると公表。２２日に行った国連演説の中で、今後は「ＡＩを超知能（Super Intelligence＝ＳＩ）と呼ぶ」との意向を明らかにした。
だが、１１月に中間選挙を控える米国議会では、民主党が下院で多数を占めた場合、ＡＩ特別委員会を設置する意向であると報道されている。さらに、「ＡＩの安全性を高めるため、開発中のＡＩモデルの検証や試験をめぐり、開発者と政府の専門家との協調を呼びかける」超党派の法案提出も検討されていると伝えられる。
米国のカトリック司教会議は９月１６日、ＡＩ開発企業やエンジニアらとの懇談後、プレスリリースを公表した。この中で、「ＡＩ開発が急速に進展する中で、人間の尊厳性を擁護するための作業部会の設置」を発表した。そして、「あらゆるＡＩシステムが人類に奉仕し、ＡＩテクノロジーが有する現実の危険性に対処する」よう要請するため、１２人の司教が議会に赴き、議員らに立法措置を陳情した。国連人権高等弁務官のヴォルカー・ターク氏は１４日、世界各国とＡＩ開発企業に向けた公開書簡を発表し、その中で、ＡＩの急速な進展を「私たちは、現世代だけではなく、将来世代にも影響を及ぼす、後戻りのできない変化の瀬戸際に立っている」と評し、国際人権法に基づくＡＩガバナンス（統治）の国際的な枠組みを早急に策定する必要性を訴えた。「より強力なＡＩを求める現在の競争は、私たちの生活のあらゆる側面に対する存亡にかかわるリスクを一段と高めている」からだ。
