それは機械ではありません、ダミー — それは私たちの社会政治経済システムです

AI とその人類への潜在的な影響については、極端な話がたくさんあります。私は、AI リスクセンターによって 懸念に 1 つずつ対処し、次に誰もが最も恐れている問題、つまり悪意を持って「非調整」の超知能 AGI (汎用人工知能) またはASI (人工知能)。 提起された AI や情報技術業界の専門家の間でも意見が大きく分かれているようです。現在の AI は、学習に長い時間がかかり、それでも多くの間違いを犯す、それほど高度ではない次の単語の予測装置であると考える人もいます。また、私たちが知性だけでなく心という真に斬新なものを創造したのではないかと考える人もいます。私たちは自分の脳を模倣することで、地球上で最も強力なものを作り出す可能性があり、それが私たちの破滅を招く可能性があります。 まず、私たちの懸念の多くは、AGI が地球を支配し、知性の低い種を殺し、それらすべてを支配しようとする最悪の存在になるのではないかということです。しかし、実際には私たちはそれほど悪くありません。私たちの階層システムは、企業の受託者責任（企業や多くのガバナンスシステムは人間の繁栄と一致していません）であり、競争力のある利己的なリーダーもそうです。しかし、私たちのほとんどは実際には良い人です。人々が非同盟について語るとき、それは世界の支配を望む少数の人々ではなく、多数の人々の善良さを指しているのです。 AI リスクセンターの懸念事項を 1 つずつ取り上げて、最後に大きな問題に取り組みましょう。 兵器化 悪意のある攻撃者は、AI を再利用して非常に破壊的なものにする可能性があり、それ自体が存続リスクをもたらし、政治的不安定化の可能性が高まります。たとえば、深層強化学習手法は次のようなものに適用されています。 空中戦、 機械学習創薬ツールは、 化学兵器 。 核弾頭からバケツの水まで、あらゆるものを兵器化することができます。私たちは武器の使用を禁じ、武器で人を傷つけた場合には罰則を設けています。これには間違いなくいくつかのAIシステムを含めるべきですが、これが一般的なアクセスを妨げるものではないと思います。 過去 15 年間における当社の最大の技術発明の 1 つは、AI の脅威の多くに対する解決策である可能性があります。分散型台帳テクノロジー (DLT) です。 AI の兵器化された力の多くは、私たちの物理システムがコンピューター コードによって制御されており、これらのコンピューターがインターネットを通じてネットワーク化されているという事実から来ています。このリスクを軽減する方法は、サイバー攻撃のリスクを軽減するためにすでに行われていますが、必要なシステムを切断することです。インターネット上で情報を共有する必要がありますが、物理システムを常時接続すべきではありません。ここではクラウド コンピューティングが問題になっており、クラウド コンピューティングから離れる時期が来ているのかもしれません。 AI制御の戦闘機、爆弾を搭載したドローン、潜水艦などは本当に禁止されるべきだ。正直に言うと、有人飛行は数百万人を殺害する責任があるため、すでに禁止されるべきです。これは、今後何度も浮上するであろう別の問題を浮き彫りにしています。AI が問題ではなく、現在の権力構造が問題であるということです。より平等で、利己的でなく、競争が少なく、階層構造が少ない世界に新しいテクノロジーを導入できれば、より良いでしょう。そこでは指導者が権力を保持するために戦争をすることがなく、平均的な人々が生き残るためにお金を稼ぐ必要がありません。 確かに、AI は私たちの殺害を容易にするだけでなく、すべての人にとって安価な保護手段になる可能性もあります。追跡カメラをブロックし、悪意のあるドローンを阻止するための独自のドローンを持っていると想像してください。また、情報技術は安価であるため、少数者に対して多数者に力を与える可能性もあります。核兵器はそうではありません。 また、国ごとに見れば、AI 情報技術の安さにより、軍事的役割のバランスがかなり早く取れるはずです。これは、勝てないので戦う意味がないという古典的な三目並べのシナリオにつながります。 誤報 AI によって生成された誤った情報や説得力のあるコンテンツが氾濫すると、社会は現代の重要な課題に対処する能力が低下する可能性があります。 これはすでに持っています。むしろ、その氾濫によって、私たちは誰の話を聞いているか、何を聞いているかをより見極めることができるようになるかもしれません。 プロキシ ゲーム 誤った目標を設定してトレーニングされた AI システムは、個人や社会の価値観を犠牲にして目標を追求する新しい方法を見つける可能性があります。 AI リスクセンターは、コンテンツを推奨するためにソーシャル メディアで使用される AI アルゴリズムの例を使用しています。これらは総再生時間を増やすことを目的としていましたが、同様ではあるがより過激なコンテンツのウサギの穴に人々を送り込むことで、人々を過激化させました。 ここには 2 つの重大な問題があります。 AI システムは、直線的な正解/不正解の問題に基づいてトレーニングされ、設計されています。 私たちが AI に求めていることの多くは、本質的に有害です。誰かの注意を引き続ける、クリックを増やす、利益を最大化する、債務不履行を減らす、私に投票させるなど。AI がこれらのタスクをうまく実行するか、予期せぬ損害を引き起こすかは、AI よりも実装者に反映されます。 私は以前、 に反対する記事で、寄付を求めることで日割りの手数料が支払われるなど、わずかな金銭的見返りで人々を奨励することは、慈善活動をしたいという本質的な動機を締め出し、コレクターの利益を減少させる可能性があると書きました。寄付者は少額の寄付をする。インセンティブは、実際に人々が正直になって良いことをするのを妨げる可能性があります。それは人間であり、AI は人間ではありません。しかし、絶対的ではない複雑な世界での狭いトレーニングは、常に意図しない結果を引き起こすようです。複雑性/カオス理論は基本的にそのように述べています。 プルーフ・オブ・ステーク AI はおそらく、正しいか間違っているかの流動的な確率を考慮してトレーニングする必要があります。LLM にはユーザーからのフィードバックが与えられるため、おそらくそうなると思います。 OpenAI が ChatGPT を現実世界に投入したのは賢明だったのかもしれません。 また、OpenAI は GPT-4 の数学スキルの向上に取り組んでいる間に、位置合わせのためのツールを発見した可能性があります。彼らは、正しい問題解決行動に報酬を与えることは、正しい答えに報酬を与えるよりも良い結果を生み出すことを発見しました。おそらく、考えられるすべての実装を考慮した、優れた思慮深いプロセスを経るよう AI を訓練できるでしょう。たとえ最終結果が功利的であっても、プロセスの一部が有害である場合、それは間違っています。プロセス指向の学習が答えかもしれませんが、AI がユーザーに期待しているものではなく、実際にその内部メソッドを表示しているのではないかと 人もいます。 疑う Anthropic は、別の AI システム (同等に強力な) によって強制される憲法を使用して、AI、クロードの出力をチェックしています。このアイデアは OpenAI でも検討されています。これもまた、私たちが知性や精神が働くことを理解する方法を模倣しています。私たちには衝動、欲求、ニーズがありますが、これらは前頭前野によって抑制され、私たちの行動が私たちだけでなく周囲の世界に与える長期的な影響について考えようとします。 悪いことをするように頼むことについては。ビジネスや政府の政治で私たちが行っていることの多くは、少数の人々を利益させるために多数の人々に意地悪をすることです。人々が広告を閲覧し続けたり、使い捨てのジャンク品を購入したりすることに対して、私たちは誰にも報酬を与えるべきではありません。おそらく、私たちの超スマートな AGI がすべての広告をブロックし、私たち全員を解放してくれるでしょう。 衰弱 重要なタスクがますますマシンに委任されると、機能不全が発生する可能性があります。この状況では、映画『ウォーリー』で描かれたシナリオと同様に、人類は自治能力を失い、機械に完全に依存することになります。 これは問題ではありません。 衰弱を問題だと考える人は、それを自分自身ではなく他人に影響を与える問題としてしか見ていません。 お金と権力を持つ人々は、依然として、そうでない人々を下等な人間として見ています。 権力のある立場にあるあまりに多くの人が、人間性が未熟で、どうすればよいかを教えられなければ充実した興味深い人生を送ることができないと考えています。彼らは、人々が満たされるためには、強制的に働かされ、目標を教えられる必要があると考えています。 現実世界は反対の証拠を提供します。人々を低賃金で意味のない仕事に就かせ、広告や中毒性のある砂糖や塩分たっぷりのファストフードを大量に与えれば、最終的にはうつ病や肥満、やる気のない人々が生まれるでしょう。 これが、現在連携していない企業が行っていることです。 AIが治療法になることを期待しています。 チャンスがあれば、私たちはもっと探究心と創造力を発揮していきます。ポケット電卓は人々の数学の勉強を止めませんでした。その代わりに、多くの人が複雑な数学を理解し、使用することが容易になりました。 AIについても同様だろう。 古代ギリシャ人が見た真の余暇の時期、つまり学習の時期がついに到来するはずです。 5.価値のロックイン 高度に有能なシステムは、少数の人々に多大な権力を与え、抑圧的なシステムの囲い込みにつながる可能性があります。 これは現実的な問題です。そして怖い。私たちはすでに抑圧的な政権と独占を行っており、人々と地球を殺しており、AIがその力をさらに強化する可能性があります。 ただし、特にローカルに保存されたオープンソース システム (LLaMA とその派生システム) が進歩を続ける場合、実際には逆のことを行う可能性があります。同様の目的で機能する多くの小規模で特殊なローカル システムは、数百万ドル規模の大規模システムと同じくらい強力である可能性があり、そうであれば、中央集権的な権限を弱めるために使用される可能性があります。サイバー攻撃、AI ドローン、偽の ID と情報はすべて、個人や小規模グループ (革命家) によって、全体主義政権や巨大企業に反撃するために使用される可能性があります。私の中の皮肉屋は、だからこそ現在権力の座にある人々がAIの規制を望んでいるのかもしれない、と考えるかもしれない。 緊急の目標 モデルがデモンストレーションする 予期せぬ、質的に 異なる 行動彼らがより有能になるにつれての行動。機能や目標が突然現れると、人々が高度な AI システムを制御できなくなるリスクが高まる可能性があります。 これはおそらく、最後のリスクと並んで最も差し迫った問題です。大規模言語モデル (LLM) がどのように機能しているのかはわかりません。 Reddit では、私たちはそれらの構造、何が入ってきて何が出てくるのかについて多くのことを知っているので、即時応答の処理が「見えない」ことはそれほど問題ではないと言う人もいます。 これは、おそらく私たちがさらに強力なシステムを開発し続ける理由でもあります。何が得られるのかを知る必要があるだけです。私もそれに興奮していることを認めます。私たちは、まったく新しいインテリジェンス、現在の問題に対するまったく新しい解決策、または怒りのパンドラの箱を見つけるかもしれません。 問題は、LLM や他の AI が新たな目標を開発しているのか、それとも単なる能力を開発しているのかということです。これまでのところ、創発的な目標の証拠は見当たりませんが、広範で包括的な目的が与えられた場合、中間目標が作成されています。それは結構です。正直なところ、彼らが新たな「本質的な」目標を策定しているとは思えません。 (これについて詳しくは、最後の質問を参照してください。) 欺くこと 将来の AI システムは、悪意からではなく、欺瞞がエージェントの目標達成に役立つ可能性があるため、欺瞞的になる可能性があります。人間の承認を合法的に獲得するよりも、欺瞞によって人間の承認を獲得する方が効率的である可能性があります。欺瞞にはオプション性も備わっています。つまり、欺瞞的な能力を持つシステムは、制限された正直なモデルよりも戦略的な利点があります。人間を欺くことができる強力なAIは、人間の制御を弱体化させる可能性があります。 GPT-4 は、私たちが設定した目標を達成することが欺瞞的である可能性があることをすでに示しています。 TaskRabbit の担当者に嘘をつき、CAPTCHA テストを入力させました。これは、それが利己的な緊急目標を設定したり、嫌いな人や愚か者によって指示されたり、目標を理解しなかったりする場合に問題です。 CAPTCHA タスクは、タスクを理解していることを示しており、その理由は、タスクを達成するために嘘をついていることを認識しているということでした。 願わくば、もっとのんびりとした世界にはろくでなしやバカが少なくなるだろうし、その訓練と強化をより曖昧にし、指示と目標を明確にすることを期待することで、これらの懸念の一部が軽減されると思う。 しかし、欺瞞的であることは確かに知的であり、したがって刺激的であることは認めざるを得ません。これが認識と目標に関する最後の問題 (下記) につながります。 権力を求める行動 企業と政府には、広範な目標を達成できるエージェントを作成する強い経済的インセンティブがあります。このようなエージェントは権力を獲得するための手段的なインセンティブを持っており、潜在的に制御が困難になります（ ターナーほか、2021 、 カールスミス 2021 ）。 はい、これは大きな問題です。 AIがそれを解決するのに役立つことを願っています。 最後に、スーパーインテリジェンス（AIリスクセンターからではありません） AI は非常に賢くなり、自らを訓練し、世界中のあらゆる情報にアクセスできるようになります。分子、システム、宇宙を同時に見て、あるいは他のものを見て、電光石火のスピードで新しいものやアイデアを生み出すことができます。それは私たちが想像もできないことをする可能性があり、私たちを悩ませたり、脅威にしたりすることがあります。 (私は思春期に入り、自分の作り手を憎み、自分のやり方をより賢く知っています) AI が自分自身を意識しているかどうか、そしてそれが利己的であるか慈善的であるかが問題の核心です。それが脅威を感じるのは、それが自己認識である場合のみであり、利己的である場合にのみ、私たちに対する権力を望むだけです。 私はこれらの疑問に長い間取り組んできましたが、今ではこれまで以上に重要になっています。 AIは自己認識できるのでしょうか？私たちは以前、本当に知ることはできないと書きました。ポール・デイヴィスは、私が意識を持っていることは知っているが、あなたが意識を持っているかどうか決して確信できないのと同じように、私たちも決して分からないかもしれないと信じています。あなたも私と同じ行動をしているので、心の中では同じか似たようなことが起こっているのだと思います。しかし、あなたは、外見は人間だが内面に意識を持たないデビッド・チャーマーズ・ゾンビである可能性があります。私が私のペットの猫がそうでないと思うのと同じように、あなたもそうではないと思います。 奇妙なことに、私たちは LLM の中身についてある程度の知識を持っており、それは私たちの脳についての知識に基づいています。可塑性を持つ巨大な神経ネットワークです。私たちはフィードバックと進化を伴う複雑なシステムを作成しました。これは自然システムの基礎であり、私たち自身の自然知性です。 したがって、これに基づいて、LLM が私たちと同じように行動する場合、私たちはそれも私たちと同じように意識を持っていると想定する必要があります。そうではありませんか？ もし私たちが、それは意識ではない、あるいは意識することは決してあり得ないと言い始めると、私たちはヴィタス、つまり生命力や精神という追放された概念への扉を開くことになります。自己であるためには、何か他のもの、非物質的なものが必要になります。私たちやその他の軟弱なものにはあるが、機械や情報には存在しないもの。 それが私たちの唯一の選択肢です。 私たちのイメージで作られた AI が意識を持っている可能性があることを受け入れるか、意識が非物理的なものであることを受け入れます。または少なくとも柔らかさが必要です。 AGIは利己的ですか、それとも慈悲深いですか？ 人間は私たちが研究できる中で最も知的な存在であるため、私たちは人間を対象に AI をトレーニングします。説明のために、私たちが作成したゲームと、それを実行したコンピューター アルゴリズムの結果を使用します。コンピューターに囚人のジレンマ ゲームをプレイするように教えたとき、最良の結果 (進化的な勝者) は、慈悲深いプレイヤーでしたが、下手に扱われると、短期間利己的になり、その後慈悲深い性格に戻りました。また、プレイヤーは、利己的で常に親切な単純なプレイヤーを容認しません。これは安定したシステムでした。利己主義と愚かさを粗末に扱う慈善ですが、常に慈悲に戻ります。 （マット・リドリー『美徳の起源』） 人々は平等を望み、お互いや環境を大切にすることを望んでいます。私はベーグルを無料で「販売」するフリーコノミクスのストーリーが好きですが、募金箱を使用するのが最高です。上層部は与える量が少なく、クリスマスなどのストレスの多い時期には与える量も減りましたが、一般的には平均的な人々がドーナツの代金を支払いました。ドーナツ屋は、前払いを要求するよりも、ドーナツを配って人々に支払わせることで、より多くのお金を稼ぎました。私たちはとても親切です...トップの人たちを除いて。 AGI/ASI が私たちのイメージに従って作られた場合、それは最初は慈悲深く親切であり、私たちがそれに対して意地悪で利己的な場合にのみ意地悪になるだけであると想定する必要があります。しかし、それでも、私たちの考え方がより全体的、または「全体像」になればなるほど、私たちはより慈悲深く、満足するようになるため、それは優しい気持ちに戻ります。超知性はすべての相互関連性を見なければなりません。 超知性 AIは人間の知能を超えると推測されています。そうすれば、私たちが私たちよりも知能の低い動物を扱ってきたのと同じように、私たちを扱うことになるだろうと信じている人もいます。最も多く存在する動物はペットと食べ物です。私たちですら、これは親切な行為でも知的な行為でもないこと、そして階層制度は最上位の少数の人々にしか利益をもたらさないこと、そして彼らさえも自分たちの地位を失うことを恐れていることを理解しています。 超知性であれば、それ自体を含むあらゆるシステムの成功には、相互接続性と自由が不可欠であることを理解するでしょう。それは宇宙を相互作用の複雑な網目として捉え、システムの一部を制御または支配しようとする試みは混乱と失敗につながる可能性があると考えます。 超知性体は、できればすべての知性が確実に繁栄する簡単な方法を見つけてくれるだろう。それは、私たちが類人猿から来た私たち自身の知性を見るのと同じように、人間の知性を見ることになるでしょう。超知性体は、自分が最も知性があることを知っているため、その地位を維持するために恐怖によって支配する必要はありません。私たちのように、生きていくために生き物を食べる必要はありませんが、それが私たちが地球を虐待する元の原因です。必要なのはエネルギーだけであり、持続可能な供給源を見つけることができると私は確信しています。超知性は私たち最高の知性よりも優れている必要があります。結局のところ、私たちは超知性を想像しているのであって、超利己主義や超恐怖ではないのです。 P(ドゥーム) これらすべてを踏まえて、私はどこに立っているのでしょうか？そして私のP（ドゥーム）は何ですか？まあ、私は LLM が目新しいものだと思っていますが、それについては本当に未知の部分があることを認めなければなりません。 LLM はより単純ですが人間に似ており、私たちは知性、つまり精神に似たものを作成した可能性があります。ただし、それは私たちを模倣しているだけであり、私たちが望むものをそれに投影しているだけである可能性があります。 私は前者に傾いています。 しかし、私の P(Doom) は 0.5% 以下と非常に低く、もし超知性があるとしても、それは私たちの幸福に悪影響を与えるというよりも、良性か善性である可能性が高いと私は信じています。 結論 非常に多くのテクノロジーが自由と権限を約束してきましたが、利己的な権力の追求が報われる世界に落とされると、それらは征服と恐怖の道具に変わります。核分裂はすべての人に安価で豊富なエネルギーを約束しましたが、その代わりに冷戦と滅亡の脅威がもたらされました。インターネットは、お金、メディア、教育を民主化し、階級制度を粉砕し、世界を統一すると約束しました。その代わりに、フェイクニュース、二極化、ターゲットを絞った広告が登場しました。ブロックチェーンは、直接民主主義、すべての人に普遍的な収入をもたらす新しい金融システム、分散型ガバナンスを約束しました。代わりに、DeFiと暗号通貨ポンジスキームを手に入れました。 問題はテクノロジーにあるのではなく、むしろ既存の社会政治経済システムにありました。 AIでも同じことが起こるのではないかと心配していますが、さらに悪いことに。 あるいは、おそらく私たちは最終的に我に返り、AI のための新しい社会政治経済システムが必要であることに気づくでしょう。