GPT モデルが人間のように聞こえる理由はこれです

必要なのは「注意」だけではありませんでした。

では、AI がなぜ機能するのかは誰も知りませんよね?

はいといいえ。

根本的な問題は、 人間の脳の謎についてはほとんど解明されていないことです。

しかし、トランスフォーマーと人間は、自然言語に対する不気味なほど似た反応を共有しています。

その理由を説明しましょう。

Transformers への情報表現の保存

いくつかの単語またはトークンの入力から生成されたベクトルを使用して、トランスフォーマーの埋め込みを作成します。

したがって、情報はベクトルとして保存されます。

表現を考えてみましょう。この表現の埋め込みは、注意よりもはるかに基本的な役割を果たしました。まず、解読可能または実行可能な形式で表現する必要がありました。

あなたは、これが、インターネット全体でトレーニングされたときにGPT-4のような変換器が実行できるすべてのこととどのような関係があるのかと考えているかもしれません。

情報は、元のデータの文脈上の意味と表現と組み合わせたアテンション ドット積と数学的処理によってエンコードされます。

したがって、このデータの表現がTransformer に保存されています。

秘伝のソース

すべてのニューラル ネットワークは普遍近似定理に従って問題を解決します。

ユニバーサル近似が何なのかわからない人のために説明すると、ユニバーサル近似器は、指定された入力を指定された出力に高精度で変換するプロセスとして定義できます。これは、入力のセットと出力のセットの間の関数を近似します。 。その関数には形式があります。しかし、十分なデータがあれば、ニューラル ネットワークはあらゆる関数を近似できるため、形式を知る必要はありません。

機能は何ですか?それが私たちが解決しようとしている問題です。

ニューラル ネットワークは、その処理アルゴリズムを通じてあらゆる関数を近似できます。あらゆる機能 - 非常に汎用的です。

アーキテクチャは異なります - アルゴリズムは異なります - モデルは異なります - しかし、基礎となる原理は同じです。

これが、十分なデータがあり、適切なタスクが与えられ、正しい方法で調整されている場合にニューラル ネットワークが機能する理由であり、時間の経過とともに上達する技術です。

この LLM における犬の基本的な表現は何ですか?

確かに、それは 1 つありますが、実際には多数あります。

おそらく、1 頭の犬のxベクトル、 yコンテキスト値、およびz位置引数、および生のデータ フロー アーキテクチャの正しい経路です。

私たちの目的には不必要なため、これについては詳しく説明しませんでした。

システムは機能します。

私たちにとってはそれで十分です。

したがって、システムはブラックボックスです。

しかし、脳はどのようにしてデータを保存するのでしょうか?

以前と同じように、正確な詳細はわかりません。

私たちの脳が作成されるとき、脳は外部のオブジェクト、概念、実体の内部表現を作成します。成長していく子供のようなもの。

たとえば、犬の概念には、 xニューロン、 yシナプス、およびzアーキテクチャと、動的に継続的に進化するニューロン間の生データ転送経路のセットが含まれる場合があります。

近似定理は明らかに私たちの脳に当てはまります。

同じ原理が働いています。

ただ、これらの埋め込みは自然に作成されるものです。

超低電気エネルギーを持つニューロン、軸索、樹状突起のファミリー。

さまざまな形。さまざまな機能。しかし、最終結果は同じです。

システムは機能します。

私たちにとってはそれで十分です。

これ以上何を知っていると言えますか？

私たちが経験的に観察できるものだけです。

またしてもブラックボックス。

では、なぜ自然言語がこれほど似ているのでしょうか?

私たちは、インターネット上でデジタル形式で収集されたすべてのデータの非常に複雑な処理手順を使用して、AGI を可能な限り最良にモデル化しようとしました。世界中のあらゆるデータ。

シーケンス-シーケンス モデルと自然言語タスクに関する限り、私たちは成功したと言えます。

私たちは、信じられないほど高価で体系的な労力を費やして、私たちの脳が情報を理解して処理する仕組みをモデル化しました。

私は満足していません。

実は怖いんです。

これがChatGPTでできることなら -

では、GPT-4は何を実現するのでしょうか？

Microsoftのソフトウェア エンジニアは、GPT-4 モデルで知覚の瞬間をいくつか特定しています。

彼らはこの発見に関する論文も発表しました -

ニュースページ:

https://www.microsoft.com/en-us/research/publication/sparks-of-artificial-general-intelligence-early-experiments-with-gpt-4/

研究論文：

私たちはここで大きなリスクを負っています。

ジェフリー・ヒントンが研究職を辞任したとき、私は物事が非常におかしな方向に進んでいることに気づきました。

お金はすべての原動力です。

どんなに規制しても、中国と米国の利益中心の企業を止めることはできない。

今後がうまくいくことを願っています。

AI の意思決定者は利益よりも倫理を優先する必要があります。

しかし、起業家たちがそんなことをしたのはいつ以来だろうか？

結論

ヒントンは信じられないことを言いました。

「これらの生物が私たちよりも賢くなるのではないかということについて、私は突然見方を変えました。彼らは現在それに非常に近づいていると思いますし、将来的には私たちよりもはるかに賢くなるでしょう。それをどうやって生き残るのですか？」

しかし今のところ、それを止めることはできません。

最後に、ChatGPT に興味深い質問をさせてください。

自分：

AGI を達成するにはどうすればよいでしょうか?

チャットGPT:

汎用人工知能 (AGI) の実現は、複数の科学および工学分野にわたる大幅な進歩を必要とする壮大な課題です。 AGI への正確な道筋は依然として議論と調査の対象ですが、研究者が研究しているいくつかの主要な領域について、より詳細に説明できます。

1. 認知アーキテクチャ:人間の知能を模倣できる認知アーキテクチャの開発は、AGI の基本的な側面です。これには、人間の脳の構造と機能を理解し、これらのプロセスを捕捉する計算モデルを設計することが含まれます。研究者は、神経科学、認知心理学、認知科学からインスピレーションを得て、高度な推論、知覚、記憶、学習、意思決定をサポートできるアーキテクチャを構築します。

   
   

2. 機械学習とディープ ニューラル ネットワーク:機械学習、特にディープ ラーニングは、最近の AI の進歩において重要な役割を果たしています。ディープ ニューラル ネットワークは、画像認識や自然言語処理などの認識タスクで目覚ましい成功を収めています。 AGI に向けて前進するために、研究者たちは、深層学習の一般化、解釈可能性、限定されたデータと複雑な推論を処理する能力を改善することにより、深層学習の機能を強化する方法を模索しています。

   
   

3. 強化学習とアクティブ ラーニング:強化学習は、AGI が重点を置くもう 1 つの重要な領域です。これには、環境と対話し、試行錯誤から学ぶエージェントのトレーニングが含まれます。強化学習手法と、有益なトレーニング サンプルを積極的に選択するアクティブ ラーニングを組み合わせると、エージェントが環境をより効率的に探索して学習できるようになります。 AGI を達成するには、多様なデータ ソースから学習し、知識を新しい状況に一般化できるアルゴリズムを開発することが重要です。

   
   

4. 認知ロボット工学と身体的知能:真の AGI には、情報を処理するだけでは不十分です。物理世界との対話が必要になります。認知ロボット工学は、ロボットの知覚、認知、動作を統合して、ロボットが人間と同じように世界について学習し推論できるようにすることを目的としています。身体化された知能の研究では、エージェントが感覚運動スキルや身体的経験を活用し、環境との相互作用を通じてどのように知能を発達させることができるかを探ります。

   
   

5. 記号的推論と知識表現: AGI システムは、記号的に推論し、複雑な知識表現を操作できる必要があります。記号推論には、論理ルール、推論メカニズム、構造化された知識表現を使用して、抽象的な推論と問題解決タスクを実行することが含まれます。記号推論とニューラル ネットワークなどの統計的アプローチを組み合わせることは、より強力で柔軟な推論機能を可能にする活発な研究分野です。

   
   

6. 転移学習とメタ学習: AGI システムは、1 つのドメインで学習した知識とスキルを、新しく馴染みのないドメインに移転する機能を備えている必要があります。転移学習手法は、既存の知識を活用して、関連するタスクまたはドメインの学習を加速することを目的としています。メタ学習、または学習することの学習は、限られたデータで新しい状況やタスクに迅速に適応して、効率的に学習する方法を学習できるモデルの開発に焦点を当てています。

   
   

7. データと計算リソース: AGI 開発には、モデルをトレーニングするための大量の高品質データが必要です。人間の知識の幅広さと深さを把握するには、複数のドメインにわたる多様なデータセットへのアクセスが不可欠です。さらに、AGI の開発には、複雑なモデルのトレーニングと実行に大量の計算リソースが必要です。特殊な AI チップや分散コンピューティング システムなどのハードウェアの進歩により、AGI 研究が大幅に加速される可能性があります。

   
   

8. 倫理、安全性、説明可能性: AGI が進歩するにつれて、倫理的懸念に対処し、堅牢な安全対策を開発し、AGI システムの透明性と解釈可能性を確保することが重要です。研究者たちは、リスクを軽減し、人間のユーザーが自分の行動を理解して信頼できるようにするために、AI システムの透明性、説明可能性、説明責任を高める方法を模索しています。

   
   

9. コラボレーションと学際的研究: AGI を達成するには、AI、神経科学、心理学、哲学などを含むさまざまな分野の専門家間のコラボレーションが必要です。学際的な研究と知識の共有を奨励すると、AGI の開発における新たな洞察と革新的なアプローチにつながる可能性があります。

   
   

これらの各分野で進歩は見られますが、AGI の達成は依然として解決の余地のない問題であり、完了までの明確なタイムラインがないことに注意することが重要です。これは複雑かつ長期的な目標であり、継続的な研究、探索、反復が必要です。

主よ、私たち全員を憐れんでください！