
 
 注:以下はバニラトランスフォーマーについてですが、結論と比は、より新しいLLMs(後でカバーされる記事)について果実に論争するために拡張することができます。 注:以下はバニラトランスフォーマーについてですが、結論と比は、より新しいLLMs(後でカバーされる記事)について果実に論争するために拡張することができます。 多くの人が、LLM(Large Language Model, e.g. ChatGPT)が本当に何を言っているのか理解していないという直感を持っています。 あなたが少し技術的な知識を持っている場合、あなたは、LLMは単に幻想的な自動完成、または「トークン予測器」であることを指摘することができます。これは直感を少し強化します - トークンの予測(すなわち、単語の断片、短い単語、シンボル...)は、議論から遠く離れた悲鳴のように見えます - しかし、それは合理的に疑問に思うことができる直感です:あなたはこの文を終わらせることができますか? あなたは段落が何を達成しているかを理解しなかった場合? 今、私たちの話す機械に対してより多くの慈善を持っている人々は、LLMは依然として理解されていない「ブラックボックス」であると主張し、減少主義の懐疑論者たちを非難するだろう:自然は新興現象を生み出す「世間的な」メカニズムに満ちており、その基本的な原因とは異なる品質を持っていないだろうか? もしかしたら、トークン予測の背後にある複雑な数学的機械は何らかの方法で真の理解を生み出すのではないか? たぶんノー トークン予測器の視点について理解すべき重要なことは、実際には減少主義ではないということです - 少なくとも脳を「単なる神経細胞の集団」と呼ぶ方法ではありません。 はい、モデル自体は小さな部分の巨大なセットであるが、それらはすべて、正確に1つの要求を満たすために共に働く:以前のNトークンを与えると、次のものを予測します。 モデルのレイヤーを通して流れる数値データからダウンストリームになると予想される新しい属性です。 は しかし、余分なものはまだ出てこないかもしれない。 予想トーク? 繰り返し ある意味では、どのテキストもその部分の合計よりも大きい:各単語の意味は、それを取り巻く全体の文脈によって変更されるので、全体のテキストの意味は、孤立した単語の意味の結合を超えています。それにもかかわらず、トークン予測によって生成されたテキストの場合、各ステップは原則として独立したプロセスです - それは単に中間結果に含まれる軌道に従うだけです。 私たちが見るように、トークン予測は、出現の魔法によって乗り越えられない固有の質的制約を課します。そこに到達するには、個々のテキストよりも高いレベルで生じるものを検討します:私たちがモデルのすべての可能な出力を1つの構造にまとめたらどうでしょうか? 皮肉なことに、「減少」形式主義はこの仕事のための完璧な数学的ツールです。 「Borges' Library of Babel」のインスピレーション 
 
 
 
 
 物語は、無限の六角形の部屋で構成される図書館を記述します. 各部屋には、文字、スペース、点字のすべての可能な配列を含む本の棚があります。 したがって、図書館はすべての有意義な作品 - すべての真実、嘘、預言、科学の突破、または傑作 - だけでなく、理解できないバカさの無限のボリュームを含んでいます。 図書館の住民 - 図書館員 - 無限の廊下を通って、意味と啓蒙のための不満な探求によって駆り立てられ、疲れ果てずに迷い散らす。しかし、図書館の無限は、無限の愚かさの中に埋め込まれたすべての有意義なテキストを実際に見つけることが不可能にします。 さまざまな宗派が彼らの間で形成される:いくつかは、図書館の内容の神話的な「カタログ」を絶望的に探し求め、他の人々は役に立たないと見なされた本を破壊し、それでも他の人々はニヒリズムの絶望に屈する - 宗教的信仰、根本主義、またはニヒリズム、すべては確実性の渇望から生まれる。 物語は、無限の六角形の部屋で構成される図書館を記述します. 各部屋には、文字、スペース、点字のすべての可能な配列を含む本の棚があります。 したがって、図書館はすべての有意義な作品 - すべての真実、嘘、預言、科学の突破、または傑作 - だけでなく、理解できないバカさの無限のボリュームを含んでいます。 図書館の住民 - 図書館員 - 無限の廊下を通って、意味と啓蒙のための不満な探求によって駆り立てられ、疲れ果てずに迷い散らす。しかし、図書館の無限は、無限の愚かさの中に埋め込まれたすべての有意義なテキストを実際に見つけることが不可能にします。 さまざまな宗派が彼らの間で形成される:いくつかは、図書館の内容の神話的な「カタログ」を絶望的に探し求め、他の人々は役に立たないと見なされた本を破壊し、それでも他の人々はニヒリズムの絶望に屈する - 宗教的信仰、根本主義、またはニヒリズム、すべては確実性の渇望から生まれる。 ChatGPT はその概要に感謝します. またはそれ以上に、あなた自身で読んでください。 ひどい話ですが、言語モデルと何の関係がありますか? まずは、ボルゼスの図書館を原始的な言語モデルの出力のセットとして考えてみましょう:そのモデルはトークンの代わりに文字を予測しますが、正確性はゼロです。 もちろん、そのようなモデルは、その出力のための組織原則を示唆しません - 少なくとも、データと騒音を区別するのに役立つものはありません. Borges は六角形のレイアウトで芸術的自由をとりますが、全体の図書館は均一にランダムな生成プロセスを表しています。 文字の代わりにトークンに基づく類似図書館を考えてみましょう:それは「差別のない」LLMの出力を表す最大数まですべての可能なテキストを含みます。この新しい図書館は本質的にオリジナルと同様の特性を持っています。しかし、それはまた、普通のLLMの出力のセットと一致し、無意味な完成さえも小さく、しかしゼロではない確率で表されます。 もちろん - Perplexity Formally, perplexity is defined as the exponentiated average negative log-probability of a sequence. フォーマル的に、迷惑は、次のように定義されます。 PP(X) = exp(-1/N ∑ log P(xᵢ|x₁,…,xᵢ₋₁)) 少なく正式に、私たちは、特定のテキストを、ランダムなプロセスからの結果の順序(必ずしも均一ではない)として扱います。 それぞれのトークンは、モデルに基づいて、以前のトークンに基づいて確率を割り当てられています: それは、各フォローアップがトレーニングデータにどれほど適合しているかを反映します。 確率は、テキスト全体のための有用な平均を計算することを可能にする方法で合計されます。 最後に、このキーメトリックは「トークン予測器」の定義から自然に由来し、その用語を直接使用します。 混乱の値は1から無限までの範囲です。1はテキストが予測可能で、各ステップは必然的に次のステップへと導くことを意味します - トレーニングデータの典型的なものとして、その完成は High values imply a branching labyrinth of possibilities: the model is not sure where the text is going, and the higher number of possible continuations means a lower confidence in each. 高い値は、可能性の分岐の迷路を意味します。 ルート 思い出 Now, imagine a structure of concentric circles コンチンチック・サークルの構造 円は、平らで無限の範囲をリングに分ける境界です. 各境界は、円の中心のための1から始まり、次第に外へと向かって増加します。 隣接する円の間の領域は、迷惑帯を形成します:各リングは、その内部と外部の境界によって定義された範囲内に迷惑値が含まれるすべてのテキストを収容します。 現代バベルの図書館です。 この新しいライブラリは、モデルのすべての可能な出力を、モデルが学んだことを忠実に反映する方法で分類します。 特定のプロンプトに対する潜在的な答えを見つけるには、バンドを選び、そのプロンプトから始まるテキストを見つけて読み続ける必要があります。 簡単そうですが、どのバンドを選べばいいですか? LLMのデザイナーがよく知っているように、ユーザーが望むテキストのほとんどは図書館の中心にありませんが、それがあなたが真の発言を見つける可能性が高い場所です(または少なくとも、従来の知識と完璧に一致する発言)。 信頼性のコストは極度の保守主義である。ユーザーが困難な問題やオープンな問題に対する解決策を望む場合、どうなるかを考える:図書館センターは一般的な指針を提供するか、あるいは単に既知の解決策がないと主張するか、トレーニングデータに厳密に合致する安全な回答を含む。 実際には、あなたがあなたの好きなチャットボットを促すとき、あなたは、いくつかの「創造的な」出力を見つけることができる中心の周辺のバンドを探索しています. トークン予測器の設計は、クリエイティビティから正しさを切り離す固有の方法を提供していないので、バンドの選択はバランスをとる行為です. もちろん、いくつかの製品は、あなたがさらに探ることを可能にする「温度」コントロールを持っています。 もし我々が実験的観察から少し抽出し、混乱のメトリックの影響に従うことができれば、我々は真に革新的なテキストが中心から遠く離れていると結論づけるべきである:アインシュタインの未書かれた理論やリヤマン仮説の有効な証拠は、本質的にテキストではない。 では、なぜもっと遠くを見ないのか。 さて、混乱の定義に基づいて、プロンプトへの潜在的な応答の数は、あなたが進むほど膨大に膨張します。それと同時に、正しい応答の数は、それらを述べるためのさまざまな方法だけが常に存在します。役に立つテキストと無意味なテキストの比率は急速に低下します。言い換えれば、少なくともいくつかのテキストが新しい、革新的な作品を含む可能性が増加する一方で、それらに衝突する可能性は消えます。 狭い迷惑帯を見ると、あなたはモデルによって(多かれ少なかれ)同じように「良い」であるテキストを見ている - 敏感性に関係なく同様に生成される可能性があります - しかし、外側のバンドには、同じトピック、または同じトピックで互いに矛盾するテキストが含まれます:これらのバンドは、非常に異なるトークンストリングパスの多様な設定に適しています。 要するに、私たちの近代化されたバベルの図書館の外側の範囲は、実際にはボルゼスの古典的な状況に近づいています。 おそらくあなたはこれが元の直感にどのようにつながっているかを見始めているかもしれません:あなたは生成プロセスによって追跡されたパスとしてテキストを考えることができます - 各ステップで行われたトークン選択(ha-ha)の記録です。 これは、モデルが何を話しているかを理解していないという意味を証明します:それは、真理、有用性、または外部の要因に関して、それが取るかもしれないさまざまな経路がどのように比較するかを知らない、または気にしない - それは合理的な裁判官ではありません Borgesの定義では、LLMのコアは図書館ではなく、図書館自体です。 それにもかかわらず、この現代バベルの図書館には図書館員がいる:彼らは熱心な利用者である。彼らのうちのいくつかは真理の隠れた宝石の郊外を探索しています。他の人々はボルゼスの物語のカタログのようなものを探しています:もし彼らが正しいプロンプトを見つけることができれば、彼らはあらゆる質問に信頼できる答えを得るでしょう。 ボルゼスの図書館員のように、彼らは無限の廊下を巡り、無限のボリュームに閉じ込められた鼻を巡り、この追求のより大きな絵を捉えずに、その真の浮上する特性です。 しかし、あなたは人間に対して同じ議論を返すことができないだろうか。 なぜ人間のバベルの図書館を仮定しないのか? 人間の心のあらゆる潜在的出力を、人間の混乱の尺度に基づいて組織するだけだ。 私はそう思わない。 最初に、人間の「混乱」は異なる方法で働く:私が革新的な作品を読んでいる場合、それは最初に混乱し、疑わしいように出てくるかもしれません。暫定的に、私はそれを混乱の値として高く、ギブリッシュに割り当てることができます - それは異常な前提から始まらず、または不確実な道に着いた場合、それほど新しいことはありませんでした。しかし、その終わりに、その作品は自らを正当化するでしょう。 全体として理解され、それは既知の事実と正当な推論とよく一致することができます。 最終的に、私は受け入れられた理論と同じくらい低い混乱の値を割り当てることができます。 以前のトークンのこのような劇的な再評価は、混乱の急激な変化と共に、通常のトランスフォーマーベースのLLMでは起こりません:異常なテキストは、十分な文脈を考慮して、最終的に相対的な予測可能性に落ち込むことができますが、平均は汚れ続けます。 さらに重要なことに、トークン予測器では、テキストの生成と評価の間の対称性がありますが、これは人間の場合ではありません:深い洞察を通じて、心は遠く、無関係に見えるアイデアの間の接続を感じることができます。そのような洞察を検証し、伝達するには、アイデアの間を明示的に仲介する必要があります - 他の心が従うことができる線形の進歩を持つ議論を構築する。このプロセスはゆっくりと困難ですが、読者が持つことを期待できない初期の理解のフラッシュによって指導されます。 それは重要な対照です. LLM がテキストを生成するとき,それは未知の目的地に前に展開するパスに従います. ステップストーン - 生成されたトークンの連続 - 仲介者ではなくガイドではありません. それは、結果の混乱の評価が意味するように,新しいテキストを構築しようとする「失われた」と同様です. すなわち、通りのほとんどは,それはその座席の端にあり,根拠のない読者のように推測! それでも、コンチンチック・サークルを持つコアのイメージは、人間にとっても役に立つかもしれない。 コアは地球であるようにしてください:地上の真理。周りには人類の知的雰囲気のバンドが、徐々に広大で未知の空間に到達するにつれて薄くなります。いくつかのアイデアは、明らかな結論のように、明らかにしやすいように、地面に横たわります。 一群は空中で、私たちの頭の上にあり、直感的な飛躍を待っています。大半は空にあります、または宇宙のすべての道 - 未証明の理論、根拠のないファンタジー、純粋な幻想... しかし、あなたは山を想像することもできます:それは地面から始まり、道を上る。知的冒険家は遠くからその枠組みを見、ピークのための厳しいコースを計画します。彼が登り始めるとき、山は彼が予想していなかった多くの課題を引き起こします - こうして彼はすぐさま解決することができます。結局、彼はピークに到達し、新しい利点から世界を見ます。彼は空気さえ薄いところに立っていますが、彼は純粋な山を通して地面に接続されています。そこから、彼は彼がどのように彼らに到達したかという物語と共に、新しい洞察を地面に戻すことができます:最初はあまりにも素晴らしい物語ですが、結局は間違いなく真実です。

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

How AI Reasoning Mirrors Borge's Library of Babel バベルの図書館

About Author

コメント

ラベル

この記事は

Related Stories

ワークフローを10倍に向上させる方法: 必須アプリ17選

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

ワークフローを10倍に向上させる方法: 必須アプリ17選

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps