LLM Data Drift LLMデータ運転 ヘウリスティックな予測は、第三者の規則によって支配されているように見えるが、実際には、このガバナンスはモデルに内在するものではない――それは、モデルの正確性を大幅に改善したり、パラメータ数で爆発しない文脈意識のモデルを作成したりするのに役立たない。 ほとんどのLLM(Large Language Models - ChatGPT、Claude、Gemini、Grokなど)は、伝統的な意味で幻覚を起こさない - 彼らはドライブしています. そして、ドライブは騒音ではありません。 私が実行した実験、そしてあなた自身ができることは、例えば、「予測AI epsilon、糖尿病猫、メインシンプルラジオをAに、従って辞書」というランダムな文をとることです。 そして、与えられたAIを持ち、出力を繰り返し、別のLLMへと移行して、2回目のパスに移行し、オリジナルとどれだけ一致しているかを見てください。 理論的には、LLMは句を完璧にコピーすることができるはずです。実践では、あなたはドライブ - 点数の動き、単語の変更、資本化の転換を得ます。そして、それらの小さなエラーが出力に入ると、次のモデルは欠陥のバージョンから予測し、エラーを複合し、幻覚を強化します。 重量層を導入し、元の入力に対する偏差をチェックすると、次の要素/トークンの文脈意識的な予測が可能になります。 基本的に、LLMの予測は以前のトークンに閉じ込められているため、それは可能である。 実際には、モデルは実際の文脈なしで動作しているが、実際には、現在や過去を知らずに次のイベントを推測するオラクルのようなものだ。それは次の明らかなエラーをブロックするかもしれないが、ドライブはまだ突っ込んでいる。 見る 外部の規制、RLHF(Reinforcement Learning from Human Feedback)、およびセキュリティの細かい調節は、有害なまたは非トピックのドライブを減らすことができます - それは貴重です。 彼らは出発点のモデルメモリ - オリジナルのユーザ入力 - トークンステップごとに提供しません。モデルに忠誠度チェックを移すことは、生産中のネイティブな制約として、LLMsをコンテキストに意識させ、プロセッサの後にコンプライアンスするだけでなく、最初にドライブが蓄積されないようにエンジンをアップグレードすることです。 この行動はかなり劇的な必要性を示しています:外部の監査 - 最後のトークンに注意を払うだけでなく、モデルの内部からの元の入力との積極的な比較です。そこで忠実性に制限された改良が登場します。 出力を迷わせる代わりに、我々は訂正ループを課す:各新しい草案を前回の草案と比較するだけでなく、元の源に戻します。 前回の出力を前回の仮説として扱い、それらの調和を重視し、システムを安定した地上真理に戻します。 初期テストでは、そのような層が元の入力文脈に戻ることを制限していることが示されています。 Zeno’s Paradox & Tokens Zenoは、動きが不可能になることを主張し、それはより小さな因果的ステップの無限のシリーズに分断されると、それぞれのステップはそれ直前にあるステップだけを参照する。 Autoregressive 言語モデルは、それぞれのトークンが「次なる小さなステップ」として生成され、テキストの直前の一部に依存するだけで解決されます。 彼のモデルは決して出発点に戻ることはなく、決して元の入力に自分自身を根拠にし、したがってその軌道を再びアンカーすることはありません。ゼノのランナーのように、半分ずつ前進し、決してターゲットラインに達することはありません、モデルはトークンでトークンを前進し、実際に最初の場所を再び確立することなくします。それはマラソンの完全なルートやマラソンの地図を知らずにマラソンを走るランナーのようになります。この構造的短所感は、すべての新しい予測がわずかに変化した状態に基づいて、真の起源ではなく、蓄積することを可能にするものです。 これにより、LLMは単なる言語的問題ではなく、因果的な問題になる:モデルの未来は、不完全な過去によって形作られた歪んだ現在に依存する。チェーンが滑り始めたとき、各次のステップはエラーを合成する――あなたが1つのLLMから別のLMにテキストを転送するときに見るカスカディングパターンを正確にします。接近の連鎖をその元の参照点に定期的に崩壊させるメカニズムなしで、システムは絶対的なフレームなしの因果的なプロセスのように振る舞います。忠誠に制限された精製は、本質的にこのパラドックスの解決方法です:原始的な入力に対して毎回新しい仮説を測定することにより、あなたは無限の回帰を破る固定地上の真理 Image Processing このドリフは自動回帰型テキストモデルの基本的な特性ですが、画像強化システムでは同じ走行行動が見られず、その理由は構造的です 画像処理モデルは、以前の推測に基づいて一度にピクセルを生成しません。 デノイザー、アップスケーラー、およびデブロッカーは完全な空間的文脈で動作し、それぞれのパスで新鮮で自己含有の表現を生成する。「次なるトークン予測」に等しいものはなく、以前の出力の脆弱な連鎖に依存し、したがって小さなエラーをより大きなエラーに組み合わせることはありません。比較可能な信頼性を達成するために、言語モデルは機能的にフルコンテキストの地盤を復元するメカニズムを必要とします。 LLMのドライブの根源は幻覚やランダム性ではなく、言語生成を顕微な因果性の段階の連鎖として扱うことの構造的結果である。Zenoのパラドックスのように、動きが無限に小さな増加値に減らされたときに不一致になる場合、自動反応型モデルは、元の参照点に戻ることなく、トークンごとにトークンを進めます。 各ステップは、前のステップの少し歪んだ出力に依存し、グローバルフレームがなければ、システムは必然的にソースから遠ざかります。 言語モデルの同様の安定性を達成するには、おそらく同等のグローバル参照を回復する必要があるでしょう。 Gap-Driven Self-Refinementまたは、概要されたFidelity-constrained refinementは、まさにそれを行います: それは、常に最初の入力と対照的に各新しい仮説を測定し、純粋に地元的、段階的な予測に固有のキャスカディングドライブを避けることができます。 Further Reading 
 
 
 GIER:Gap-Driven Self-Refinement for Large Language Models(グレート言語モデル) Multi-fidelity physics constrained neural networks for dynamic systems. ダイナミックシステムのための神経ネットワークを制限する物理学

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

ZenoのパラドックスとAIトークニケーションの問題

About Author

コメント

ラベル

この記事は

Related Stories

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

18 種類の開発者ツールで生産性を向上しましょう 🚀🔥

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps