私たちは、古典的な多層パーセプトロン (MLP) を当然のこととして受け止め、その周りに数多くのアーキテクチャを構築してきました。MLP は、chatGPT、LLAMA、DALLE、CLIP など、今日見られるすべての LLM または基盤モデルの一部です。また、YOLO-v* などの単純な認識モデルにも含まれています。 では、MLP に対抗する新しい技術があると言ったらどうでしょう。MLP に対抗する「コルモゴロフ-アーノルド ネットワーク」、略して KAN と呼ばれる新しい論文が発表されました。彼らが提案するソリューションが本当に拡張可能であれば、次世代のニューラル ネットワークが実現し、汎用人工知能 (AGI) にさらに一歩近づくことになります。  MLP は ReLU、シグモイド、tanh、GeLU などの活性化関数で構成されていますが、KAN ではこれらの活性化関数を学習することを提案しています。では、KAN はどのようにしてそれを実行するのでしょうか。その背後にある数学はどのようなものでしょうか。どのように実装されているのでしょうか。また、KAN をどのようにトレーニングするのでしょうか。 ここで KAN 論文を要約しようと最善を尽くしました。この要点を読むか、48 ページに及ぶ論文を読むか、どちらかをお選びいただけます。 視覚的な説明 あなたも私と同じように、物事を視覚化して理解を深めたい場合は、この記事のビデオをご覧ください。   https://youtu.be/M-xNt5Nl75Q?si=9tIJP2KHPm2-n23m&embedable=true  MLP — 問題点 まず、私たちがよく知っている MLP から始めましょう。MLP はノードとエッジで構成されています。各ノードでは、入力が合計され、ReLU、GeLU、SeLU などのアクティベーションが適用されて、その特定のノードの出力が生成されます。  これらの活性化関数は、トレーニング プロセス中に変更されることはありません。つまり、パラメーターはありません。特定のトレーニング データセットに合わせて調整できるほどインテリジェントではありません。そのため、トレーニング中にトレーニングまたは更新されるのは、これらの各ノードの重みです。 さて、活性化関数を固定し、トレーニング可能にする必要があるという仮定に疑問を投げかけるとどうなるでしょうか。これが、KAN ネットワークが取り組もうとした課題です。KAN ネットワークの活性化関数は、トレーニング プロセス中に更新されます。さらに深く掘り下げる前に、多項式と曲線フィッティングから始めましょう。 多項式と曲線フィッティング したがって、KAN の基本的な考え方は、任意の多変量複合関数を、単一変数である複数の関数の合計に分解できるというものです。  たとえば、上の黄色の曲線でプロットされている y=x³ の 3 次方程式があるとします。また、上のアニメーションの青い曲線で示されているように、y=x² の別の 2 次方程式があるとします。この視覚化から、x² を使用しても x³ で達成される曲率は決して達成できないことがわかります。 下の赤い点と青い点で表されるデータが与えられ、2 つのクラス間のバイナリ分類境界を見つけたいとします。   2 次多項式 を使用すると、 x² 曲線は「U」字型ですが、データは「S」字型であるため、2 つの間の境界を見つけることができません。このデータには の使用が適していますが、追加の計算コストがかかります。別の解決策としては、入力 が負の場合は を使用し、 x が正の場合は -  を使用することです (上図で手で描かれた青い曲線)。 x² x³ x x² x² 私たちが行ったのは、2 つの低次多項式を追加して、自由度の高い曲線を実現しただけです。これがまさに KAN ネットワークの背後にあるアイデアです。 おもちゃの問題 ここで、データが単純な方程式 によって生成されることがわかっている、もう少し複雑なおもちゃの問題を取り上げてみましょう。入力変数は 4 つあり、指数、正弦、および平方の 3 つの演算があります。したがって、以下に示すように、3 つの異なる演算専用の 3 つのレイヤーを持つ 4 つの入力ノードを選択できます。  y=exp(sin(x1² + x2²) + sin(x3² + x4²))  4 つの入力と 3 つの基底関数 (指数、正弦波、平方) を使ったおもちゃの問題に対する KAN ネットワーク トレーニング後、ノードはデータに適合させるために二乗、正弦波、指数関数に収束します。 これはおもちゃの問題なので、データの元となる方程式はわかっています。しかし、実際には、 この問題に対処する 1 つの方法は、B スプラインを使用することです。 現実世界のデータの分布はわかりません。 スプラインとBスプライン B スプラインの基本的な考え方は、任意の関数または曲線をより単純な関数または曲線の組み合わせとして表現できるというものです。これらの単純な関数は基底関数と呼ばれます。たとえば、下の図の赤い曲線を見てみましょう。簡単にするために、これを 2 つの基底関数だけで表現してみます。 これを 2 つの基底関数の合計で表すと、3 つのポイントに分解できます。これらのポイントはノットと呼ばれます。基底関数の数は 個までです。この基底関数の組み合わせを制御するパラメーターは つの曲線を「結合」すると、ノットで不連続が生じることがあります。この解決策は、曲線の曲率をノットで制限して、滑らかな曲線を得ることです。たとえば、下の図の緑の矢印で示されているように、2 つの曲線の傾きがノットで同じになるように制限できます。  n c です。2 ニューラル ネットワークではこのような制約を課すことはできないため、論文では が導入されています。これは、正規化のように機能します。実際には、これは以下の論文に示されているように、標準のスプライン関数に追加された SeLU 活性化です。 残差活性化関数 スプライングリッドとKANの細粒度化 KAN は と呼ばれる新しいトレーニング方法を導入します。私たちがよく知っているのは、モデルにパラメータを追加する微調整です。ただし、細粒化の場合、スプライン グリッドの密度を向上させることができます。これは   、細粒化 、グリッド拡張と呼ばれています。 論文の上の図からわかるように、細粒度化とは、B スプラインのグリッドを単に密にすることで、より代表的になり、より強力になることです。 計算の複雑さ スプラインの欠点の 1 つは、再帰的であるため計算コストが高いことです。スプラインの計算複雑度は O(N²LG) で、MLP の通常の複雑度 O(N²L) よりも高くなります。追加の複雑度はグリッド間隔 G によって生じます。 著者らは、次のことを示してこの固有の問題を擁護している。  KANに必要なパラメータの数は、同じ問題に対するMLPに比べて少ない。  KAN はトレーニング中に迅速かつ効率的に収束するため、必要なトレーニング時間が短縮されます。 これらの防御のグラフは結果のセクションで見ていきます。ここでは、KAN の別の特徴について詳しく見ていきましょう。 解釈可能性とKANレイヤーの選択 KAN は関数を学習するため、MLP のように特定のデータや問題に対して MLP の深さと幅を選択するだけで設計できる単なるブラック ボックスではありません。したがって、KAN をより解釈しやすくし、優れた KAN ネットワークを設計するには、以下の手順に従う必要があります。 予想よりも大きな KAN ネットワークから開始し、機械学習で一般的に行われる入力の代わりに活性化関数の L1 ノルムを導入することで正規化を導入します。 スパース化。 スパース ネットワークがトレーニングされると、設定された基準またはスコアで特定のしきい値を下回る不要なノードを削除できます。 プルーニング。 与えられたデータがどのような関数で構成されているのか漠然とわかっている場合は、その関数を受け取るノードをいくつか設定できます。これをシンボル化と呼びます。たとえば、音波を扱う場合、データのほとんどは正弦波なので、ノードの一部を正弦波に設定することで作業が楽になります。フレームワークでは、  というインターフェイス関数を提供することでこれを可能にします。ここで、  ノードのレイヤーと位置であり、  は の関数です。  シンボル化。 fix_symbolic(l,i,j,f) l、i、j は f sine, cosine, log, etc 訓練されたKANネットワークに到達するために論文で提案されたさまざまなステップの概要 さまざまな手順は、上の図にまとめられています。まず、大規模なネットワークから始めてスパース化 (手順 1) し、結果として得られたネットワークを整理 (手順 2)、いくつかのシンボル化を設定 (手順 3)、ネットワークをトレーニング (手順 4) し、最終的にトレーニング済みモデルに到達します。 実験と結果 上記の手順を使用して、5 つの異なるおもちゃの問題に対して KAN ネットワークをトレーニングし、その有効性を示し、MLP と比較しました。比較から得られた重要なポイントは次のとおりです。  KAN は MLP よりもはるかに高速にトレーニングされるため、固有の計算の複雑さが軽減されます。  KANはMLPがより多くのパラメータでできることを、より少ないパラメータで実現できる。  KANはMLPに比べて損失が急速に減少し、非常にスムーズに収束する。 最初のポイントは、上の図の 5 つのおもちゃの問題の 5 つのプロット内の太い青い線で示されています。最後の 2 つのポイントは、損失曲線と、特定の問題を解決するためのパラメーター数を示す下部のプロットで示されています。  破滅的な忘却 次に注目すべき点は、破滅的な忘却問題では KAN が MLP よりもはるかに優れているということです。連続学習のためにシーケンス データを入力すると、KAN は MLP に比べて過去のデータをはるかによく記憶しているように見えます。これは下の図に示されています。KAN はデータ内の 5 つのフェーズを再現しますが、MLP は苦戦しています。  その他の結果 彼らはまた、偏微分や物理方程式を含む問題に KAN を使用できることを示す広範な実験も行いました。それらの詳細に立ち入るよりも、KAN と MLP のどちらを選択するべきかについて見てみましょう。  KANとMLPの選択 以下の図は、MLPよりもKANを選ぶべき場合の指針を示しています。以下の場合はKANを選択してください。 波形やグラフなどの構造データを扱っている場合 データから継続的に学習したい トレーニング時間はあまり気にしないでください！ 高次元データ そうでなければ、MLP が勝ちます。 大声で叫ぶ この記事が気に入ったら、ぜひフォローしてください ツイッター トップ AI ラボの研究の最新情報を毎週共有する場所はどこですか? また、私のチャンネルを購読してください YouTubeチャンネル AIの概念と論文を視覚的に説明します。 考察と結論 私の意見では、KAN は、トランスフォーマーが NLP の世界を席巻したように、MLP に取って代わるために存在しているわけではありません。むしろ、KAN は数学や物理学のニッチな問題に役立つことが証明されるでしょう。それでも、さらに多くの改善が必要だと感じています。しかし、基礎モデルで解決されるビッグデータの問題に関しては、少なくとも現在の状態では、KAN にはまだまだ道のりが残っています。 さらに、トレーニング アプローチと KAN アーキテクチャの設計は、現代のニューラル ネットワークの設計とトレーニングの標準的な方法から逸脱する傾向があります。とはいえ、GitHub ページにはすでに 13,000 個のスターと 1,200 個のフォークがあり、何かが起こりそうな予感がします。このスペースを待ち、見守っていきましょう。  

This story contains new, firsthand information uncovered by the writer.

Why not checkout more about AI Bites!

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

コルモゴロフ・アーノルドネットワーク (KAN) と多層パーセプトロン (MLP) の比較

About Author

コメント

ラベル

この記事は

Related Stories

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps