世界の終わりについて何を信じますか?

誰もが世界を支配したいと思っているわけではありませんが、最近では誰もが世界が終わりに近づくかもしれないと警告したいようです。

火曜日、原子力科学者会報は、同組織の専門家が世界の終焉にどれだけ近づいているかを反映することを目的として、終末時計を毎年リセットすることを発表した。核による緊張の悪化から気候変動、独裁政治の台頭まで、実存にかかわる脅威を反映して、針は午前0時まで85秒にセットされた。これは2025年に4秒近づいており、これまで時計が12時を打つのに最も近かった。

その前日、Anthropic CEOのダリオ・アモデイ氏（人工知能分野の哲学王でもあるかもしれない）は、「テクノロジーの思春期」と題した1万9000語のエッセイを発表した。彼の提案は、「人類はほぼ想像を絶する力を委ねられようとしているが、私たちの社会的、政治的、技術的システムがそれを行使するのに十分な成熟度を備えているかどうかは非常に不透明である」というものだ。

アモデイ氏が言うところのこの「深遠な文明的挑戦」に私たちが立ち向かうことができなければ、世界は真夜中の暗闇に向かう可能性があります。 (開示: Future Perfect は BEMC Foundation から資金の一部を提供されています。BEMC Foundation の主要資金提供者は Anthropic への初期投資家でもありました。彼らは私たちのコンテンツに編集上の意見を入れていません。)

以前にも言ったように、今は破壊のブームの時期です。しかし、実存的リスクを伝えるためのこれら 2 つのまったく異なる試み、1 つは 20 世紀半ばの産物であり、もう 1 つは私たち自身の不確実な瞬間の産物であるということを検討すると、疑問が生じます。誰の言うことを聞くべきでしょうか？門の外で預言者たちが叫んでいる？それとも神殿を運営する大祭司でしょうか？

終末時計は、最初の核兵器が広島を焼き払ったわずか 2 年後の 1947 年に作成され、あまりにも長い間私たちに存在してきたため、それがどれほど過激なものであったかを忘れがちです。 20世紀で最も象徴的で影響力のあるシンボルの1つである時計だけでなく、それを作った人々も同様です。

『原子科学者会報』は、今恐れられている爆弾を作成したのと同じ人物である J. ロバート オッペンハイマーによって戦後間もなく設立されました。これにより、彼の警告に独特の道徳的明快さが与えられました。組織的な信頼が典型的に高水準にあったこの時期に、爆弾の仕組みを誰よりもよく知っている人々が、私たちが核による絶滅への道を進んでいることを国民に必死に伝えていた。

紀要の科学者たちは現実という利点を味方につけていた。広島と長崎の後、これらの原爆の恐るべき威力を疑う人は誰もいませんでした。私の同僚のジョシュ・キーティングが今週初めに書いたように、1950年代後半までには世界中で毎年数十回の核実験が行われていました。核兵器は、特に当時、核兵器を製造した政治家や将軍ですら本質的に想像もできなかった、明確かつ前例のない実存的リスクをもたらしました。

しかし、紀要の科学者たちに道徳的信頼を与えたまさにそのこと、つまり彼らがかつて仕えていた政府と決別する意欲を持ったことは、それらのリスクを排除するために必要な唯一のもの、つまり権力を犠牲にした。

終末は象徴としては効果的ですが、本質的には測定対象に対して権限を持たない人々が使用するコミュニケーションツールです。これは行政権限のない預言的な演説です。火曜日と同じように、この速報が新START条約の失効や核保有国が兵器の近代化を進めていると警告しても、政策立案者や国民が耳を傾けることを願う以外にできることはない。

そして、こうした警告が広範に広まれば広がるほど、それを聞くのは難しくなります。

冷戦終結以来、少なくとも一時的には核戦争が議題から外されたことで、終末時計の背後にある計算には、気候変動、バイオセキュリティ、米国の公衆衛生インフラの劣化、「ミラーライフ」、人工知能、独裁政治などの新たな技術的リスクが含まれるようになった。これらの課題はすべて現実であり、それぞれが独自の方法でこの地球上の生活を悪化させる脅威となっています。しかし、それらが重なって、時計が約束していた素晴らしい精度が台無しになってしまいました。かつては時計仕掛けのように見えたものは、予測可能であることが判明しましたが、これは無数の警告のひとつにすぎません。

ほとんどの AI リーダーよりもさらに、アモデイはオッペンハイマーと比較されることがよくあります。

アモデイは以前は物理学者であり科学者でした。オッペンハイマーが爆弾の探知に役立つ重要な研究を行ったのと同じように、アモデイは強力な人工知能の解明に役立つ「スケーリングの法則」に関する重要な研究を行いました。オッペンハイマーの真の天才性はマンハッタン計画の実行に必要な組織能力にありましたが、アモデイも企業リーダーとして高い能力を証明してきました。

そして、オッペンハイマーと同様に、少なくとも戦後は、アモデイは自らの公的な立場を利用して、自分が開発に貢献したテクノロジーについて不確実な言葉で警告することをためらわなかった。もしオッペンハイマーが現代のブログツールにアクセスできていたら、もう少しサンスクリット語を使ってでも、『テクノロジーの思春期』のような作品を制作しただろうと私は保証します。

これらの数値の差はコントロールです。オッペンハイマーと彼の仲間の科学者は、ほぼ即座に政府と軍にその創造物の制御を失い、1954 年までにオッペンハイマー自身も機密保持許可を失いました。それ以来、彼と彼の同僚は主に外部の声をあげるようになった。

対照的に、アモデイ氏は Anthropic の CEO として講演します。Anthropic は、現時点でおそらく他のどの企業よりも AI を限界まで押し上げることに取り組んでいます。 「データセンターの天才国家」のように潜在的に変革をもたらす可能性のある AI を夢見ているとき、あるいは AI が生み出す生物兵器から技術的に可能になった大量失業と富の集中に至るまで、大惨事のシナリオを経験しているとき、彼は権力の神殿の内部から語っているのです。

あたかも核戦争を計画している戦略家たちも終末時計の針をいじっていたかのようだ。 (私が「ほぼ」と言ったのは、重要な違いが 1 つあるからです。核兵器は破壊のみを約束しますが、AI は同様に大きな利益と恐るべきリスクを約束します。おそらくそれが、核兵器についての考えを表現するのに 19,000 語が必要な理由なのかもしれません。)

こうしたことから、アモデイ氏が AI の方向性に影響を与えるほどの力を持っているという事実が、速報科学者のような外部からの警告よりも彼の警告の信頼性を高めるのか、あるいはそれ以下にするのかという疑問が残ります。

この速報のモデルは完全性を保っていますが、特に AI にとってその関連性は高まっています。核科学者は研究を始めるとすぐに核兵器の制御を失った。 Amodei は AI に対する制御を失っていない – 彼の会社のリリース決定は依然として非常に重要である。これにより、速報の外部ステータスが当てはまらなくなります。 AI のリスクについて、純粋に独立した立場から効果的に警告することはできません。最高の技術的洞察を持つ人材のほとんどは、AI を作成している企業の内部に存在するからです。

しかし、アモデイのモデルには独自の問題があります。利益相反は構造的であり、避けられないものです。

彼らが発するすべての警告には、「しかし、私たちは構築を続けなければなりません」という言葉が付いています。彼のエッセイでは、AI 開発を停止したり大幅に遅らせたりすることは「根本的に持続不可能」であると明確に主張しており、Anthropic が強力な AI を構築しなければ、誰かがさらに悪いことをするだろうと主張しています。これは本当かもしれません。これは、セキュリティを重視する企業が競争に参加し続ける必要がある理由の最大の議論でもあるかもしれません。しかし、これは都合の良いことに、彼が今やっていることを可能にするロジックでもあり、それがもたらす計り知れない利益のすべてでもある。

これは、アモデイ自身が説明する罠です。「AI から得られるお金は文字通り年間何兆ドルにもなりすぎているため、最も単純な手段でさえ、AI に内在する政治経済を把握するのが困難になっています。」

Doomsday Clock は、科学者が存続の脅威となる組織から抜け出し、独立した権威と対話できる世界を目指して設計されました。私たちはもうその世界に住むことはできません。問題は、それを変えるために私たちが何をするか、そしてそれを変えるためにどれだけの時間が残されているかです。