人類はAGIの出現をどう生き延びるか

私たちは、人間レベル、あるいはそれ以上のレベルで幅広いタスクを解決できる人工知能、AGI の実現に近づいています。しかし、人類は本当に世界を根本的に変える可能性のあるテクノロジーを受け入れる準備ができているのでしょうか? 私たちは AGI と共に生き残ることができるのでしょうか、それともこの超知能との遭遇が私たちの最後の過ちとなるのでしょうか?

科学者や起業家が現在検討しているシナリオを検討し、AGI が現実のものとなった場合、人類が生き残る可能性はどれくらいあるかを理解してみましょう。

楽観的な見通し（生存率60～80%）

楽観主義者は、AGIは厳重な管理の下で作成可能であり、またそうあるべきだと信じており、適切な予防措置を講じれば、この知能は人類の味方となり、気候変動から貧困まで、地球規模の問題の解決に役立つだろう。アンドリュー・ンのような熱狂的な支持者は、記事の中で、人工知能が今できること、できないこと、AGI は科学、技術、医学の分野で画期的な進歩を遂げる手段であるとみなし、人類はそれを安全にできると主張しています。また、Ng 氏は、限定的な AI システムの場合と同様に、AGI の物理的影響を制限することで AGI の目的を制御できるとも示唆しています。

しかし、こうした楽観的な見方には弱点があります。小規模ながらも強力な AI システムの経験から、人々は AI の目標を制御できる能力にまだ完全に自信を持っていないことがわかります。AGI が独自のアルゴリズムを変更することを学習した場合、予測不可能な結果につながる可能性があります。その場合、私たちの選択はどちらになるのでしょうか。システムへの無条件の服従か、それとも制御のための絶え間ない闘争でしょうか。

中程度に現実的な見通し（生存率50～60%）

哲学者ニック・ボストロムは、スーパーインテリジェンス：道筋、危険、戦略は、AGI の将来についてより穏健な見解を主張しています。人類が生き残る可能性は、国際協力と厳格な安全対策に大きく依存していると彼は考えています。ボストロムは、AGI の開発を制御し、関連するリスクを最小限に抑えるという共通の目標のもとに世界が団結する準備を整える必要があると確信しています。

しかし、この協力は実際にはどのようなものになるのでしょうか？ケンブリッジ大学の存在リスク研究センター（CSER）主張する国際標準と統一された AI ガバナンス ポリシーによってのみ、各国間の AGI 開発競争を回避し、制御不能な開発の可能性を減らすことができます。各国が優位な地位を確保するために AGI の作成を競い始めたらどうなるか想像してみてください。これでは、プレイヤーの 1 つが迅速な結果を求めて安全対策を弱める可能性が高くなるだけです。

問題は、核兵器競争ですでに同様のシナリオが見られたことだ。国家間の政治的意見の相違や相互不信が、AGI の安全性に関する世界的な合意の形成を妨げる可能性がある。また、たとえ各国が合意したとしても、そのようなシステムに必要な長期監視の準備はできているだろうか?

悲観的な見方（生存率10～30%）

イーロン・マスクのような悲観論者は、AGIの創造によって人類が生き残る可能性は依然として驚くほど低いと考えている。2014年には早くもマスクは警告したAGIは人類にとって「実存的脅威」となる可能性がある。ユヴァル・ノア・ハラリは、人間の利益に無関心、あるいは敵対的である可能性もある独自の目的を追求する可能性のある超知能AIシステムを制御することの難しさについて懸念を表明している。彼の著書ホモ・デウス：明日の簡潔な歴史ハラリ氏は、AI システムが人間の価値観と一致しない目標を設定し、意図しない潜在的に危険な結果をもたらす可能性について論じています。

このシナリオは、私たちの将来の進路が AGI の決定に左右される「生存の罠」を示唆しています。悲観論者は、AGI が超知能レベルに達し、自律的に目標を最適化し始めると、人類を不要とみなしたり、障害とさえみなしたりする可能性があると主張しています。AGI の予測不可能な動作は依然として大きな懸念事項です。このようなシステムが現実世界でどのように動作するかはまったくわかりませんし、それが人類に脅威を与え始めたら、間に合うように介入できない可能性があります。

で 人工知能は世界的リスクのプラス要因とマイナス要因となるエリゼア・ユドコウスキーは、高度な AI 開発がもたらす潜在的な危険性について検証しています。彼は、超知能 AI が人間の利益から逸脱した目標を採用し、予測不可能で人類にとって潜在的に危険な行動につながる可能性があると警告しています。ユドコウスキーは、AI は人間に対して愛や憎しみの感情を持たないものの、目的を達成するために人間をリソースとして利用する可能性があると強調しています。彼は、AI が人類に深刻な脅威を与える状況を防ぐために「友好的な AI」を作成することが極めて重要であると強調しています。

人類の生存に重要な4つの要素

AGI が現実のものとなった場合、私たちの生存の可能性に何が影響するでしょうか? AI の安全性と倫理の第一人者が特定した 4 つの重要な要素を見てみましょう。

1. AGI の準備のスピードと品質

   
   

   スチュアート・アームストロング安全な汎用人工知能アームストロングは、いかなる安全対策も AGI の潜在能力に先んじなければならないと強調しています。彼の警告は明確です。AGI が効果的な制御なしに完全な自律性に進化すると、脅威が発生したときに人類はそれを止める時間がない可能性があります。アームストロングは、効果的な制御方法と保護システムの開発は、単に推奨されるだけでなく不可欠であると主張しています。これらがなければ、人類は人間の安全に致命的な脅威をもたらす可能性のある自律型 AGI に直面するリスクがあります。

   
   

2. 倫理と目標設定

   
   

   で人間に適合スチュアート・ラッセルは、同様に重要な疑問に取り組んでいます。AGI システムに人間の価値観を組み込むにはどうすればよいのでしょうか。彼は、AGI が人間が設定した目標をまったく意図しない方法で解釈する可能性があるため、AI が何が重要かを独自に決定することは許されないと主張しています。ラッセルは、確固とした道徳的基盤と人間の利益の保護がなければ、AGI は予測できない行動をとる可能性があると主張しています。結局のところ、これは、あらゆる AGI システムが、技術的な目標だけでなく、人間の幸福にとって重要な基本原則を反映した価値観に基づいていなければならないことを意味します。

   
   

3. グローバル協力

   
   

   でAIガバナンス：研究課題アラン・デフォー氏は、各国が優位に立とうとする AGI の覇権争いを防ぐために、国際協定と国際標準の重要性を強調しています。デフォー氏は、スピードや競争上の優位性のために安全性を犠牲にするリスクを最小限に抑えられるのは国際標準を通してのみであると主張しています。AGI の競争は壊滅的な結果を招く可能性があり、国家が団結してこのシナリオを防ぎ、私たちの未来を保障する安全な標準を作り出すことができるのは、国家の努力だけだとデフォー氏は主張しています。

   
   

4. 制御および絶縁技術

   
   

   ニック・ボストロムスーパーインテリジェンス：道筋、危険、戦略は、この考えをさらに推し進め、AGI が世界と直接相互作用するのを防ぐために AGI を封じ込めて「囲い込む」ことの必要性を強調しています。ボストロムは、AGI がリソースに無制限にアクセスできると、その自律的な行動が制御不能になる可能性があると警告しています。彼は、AGI が事前に設定された制限を回避できない隔離の概念を提案し、制御されたシステム内に AGI を事実上「囲い込む」ことを提案しています。この隔離は、他のすべてが失敗した場合に私たちを守る最後の障壁として機能する可能性があると彼は示唆しています。

   
   

したがって、AGI を作成するというアイデアは、人類がこれまでに直面したことのない深い疑問を提起します。つまり、思考、適応力、さらには生存スキルにおいて人間を上回る可能性のある知能と、私たちはどのように共存できるのでしょうか。その答えは、テクノロジーだけでなく、この知能の管理方法と、地球規模で協力する能力にもかかっています。

今日、楽観主義者は AGI を世界最大の課題を解決するのに役立つツールと見ています。彼らは、医療、科学、気候研究などの分野ですでに人類を支援している狭義の AI の例を挙げています。しかし、このテクノロジーを常に制御できるという信念に頼るべきでしょうか? AGI が真に独立し、自ら学習して目標を変更できるようになると、私たちが設定しようとしている境界を越えるかもしれません。その場合、かつては有用で安全だと考えていたものすべてが脅威になる可能性があります。

一部の専門家が提唱する世界規模の協力という考えにも、多くの課題が伴います。人類は政治的、経済的相違を乗り越えて、AGI の統一された安全原則と基準を作成できるでしょうか? 歴史を振り返ると、国家が自国の安全と主権に影響を与える問題で深い協力を約束することはめったにありません。20 世紀の核兵器開発はその最たる例です。しかし、AGI の場合、この技術はあらゆる点で人間の制御を超える可能性があるため、ミスや遅延はさらに破壊的になる可能性があります。

では、悲観論者が正しいとしたらどうなるでしょうか。ここには、イーロン・マスクやユヴァル・ノア・ハラリのような人々が提起する最大の実存的リスクが潜んでいます。人間の命は方程式の単なる変数であり、「より合理的な」道のために変更したり、排除したりできるものであると判断するシステムを想像してみてください。そのようなシステムが、自らの存在と目標が人間のものよりも重要だと信じれば、私たちが生き残る可能性はわずかです。皮肉なことに、私たちを助け、複雑な問題を解決するように設計された AGI が、私たちの存在に対する最大の脅威になる可能性があるのです。

人類にとって、この道は新たなレベルの責任と先見性を要求する。我々はAGIの創造がもたらす結果を認識し、厳格な安全対策を講じて、公共の利益のためにその発展を導く者となるのか？それとも、プライドと共通のルールに従うことへの抵抗が、後戻りできない技術を生み出すことにつながるのか？これらの疑問に答えるには、技術的なブレークスルーだけでなく、インテリジェントシステムの概念そのもの、その価値と原則、社会におけるその位置、そしてその世界における我々の位置を深く理解する必要がある。

何が起ころうとも、AGI は人類史上最大の試練の 1 つとなるでしょう。その結果に対する責任は、科学者、政策立案者、哲学者、そして安全な未来に向けた取り組みを認識し支援する役割を果たすすべての国民、私たち全員にあります。