球上のカーネル補間の分散不確実性の定量化

コンテンツの概要

要約と紹介

球上のカーネル補間の不確実性関係

分散カーネル補間

求積則による演算子の違い

証拠

数値検証

参考文献

抽象的な

散乱データの動径基底関数 (RBF) カーネル補間に関して、Schaback [30] は 1995 年に、達成可能な近似誤差と基礎となる補間行列の条件数を同時に小さくすることはできないことを証明しました。彼はこの発見を「不確実性関係」と呼び、その望ましくない結果として、RBF カーネル補間はノイズの多いデータの影響を受けやすくなります。この論文では、無視できない大きさのノイズを含む球面データを補間することによってもたらされる不確実性を管理および定量化するための分散補間法を提案および研究します。また、困難なコンピューティング環境からのノイズの多いデータを処理するという点で、私たちの方法が実用的で堅牢であることを示す数値シミュレーション結果も示します。

キーワード。カーネル補間、分散不確実性の軽減、散乱球面データ

球上のカーネル補間の不確実性関係

3. 分散カーネル補間。

系 2.2 は、無視できない大きさのノイズを含むデータに直面すると、カーネル補間のパフォーマンスが低下することを示しています。この大きな欠点を克服するために、このセクションでは、文献 [37、19] の「分散学習」を動機とする分散カーネル補間 (DKI) 方法を提案および研究します。比喩的に言えば、これは不確実性を定量化するための分割統治戦略です。さらに詳しく説明すると、その方法を 3 つのステップに分けて説明します。

4. 求積規則による演算子の違い。

このセクションでは、まず [8] で開始された積分演算子アプローチを簡単に説明し、次に関心のある演算子の差異に対する厳密な上限を導出し、副産物として特定のタイプの Sobolev サンプリング不等式 [12] を取得します。このセクションのハイライトには、命題 4.5) と補題 4.8 が含まれます。

6. 数値的検証

このセクションでは、DKI の優れたパフォーマンスを検証するために 4 つのシミュレーションが実行されます。 1 つ目は、DKI がカーネル補間の不確実性を回避することに成功していることを示しています。 2 番目のものは、DKI における m の役割を示しています。 3 番目は、DKI における部門戦略の役割に焦点を当てています。最後の例では、DKI を、分散フィルター超内挿 (DFH) [21]、s ∗ -designs によるスケッチ [20]、分散カーネル リッジ回帰 (DKRR) [8] などのいくつかの一般的な球面データ フィッティング スキームと比較します。

シミュレーション 2:このシミュレーションでは、DKI におけるパラメーター m の役割を示します。 10014 個のトレーニング サンプルを生成します (入力として 141 個の設計を使用)。分割数 m の範囲は {5, 10, · · · , 200} です。図 6.2 は、トレーニング サンプルの総数が与えられた場合の、さまざまなレベルのガウス ノイズの下での DKI の RMSE とローカル マシンの数との関係を示しています。図 6.2 から、次の主張を結論付けることができます。 1) 高レベルのノイズを含むトレーニング サンプルの場合、テスト RMSE は通常、最初は減少し、その後、ローカル マシンの数が増加するにつれてゆっくりと増加します。 m の値が適度であると、DKI の近似特性がより良くなります。その理由は、m が小さすぎると、カーネル補間における不確実性の問題にうまく対処できないためです。 m が大きすぎるとフィッティング誤差が増加し、汎化パフォーマンスがわずかに低下します。 2) RMSE が最も低い最適な数 m は、ガウス ノイズが増加するにつれて増加します。これは、定理 3.2 の式 (3.3) を検証します。ここで、近似誤差は主に大きなノイズ (つまり、大きな M) のサンプル誤差に関係しており、大きな m を使用して削減できます。

参考文献

[1] R. Bhatia、マトリックス分析、vol. 169、シュプリンガー サイエンス & ビジネス メディア、2013 年。

[2] JS Brauchart および K. Hesse、任意次元の球面上の数値積分、Constructive Average、25 (2007)、41 ～ 71 ページ。

[3] G. Brown および F. Dai、コンパクト 2 点均質空間上の滑らかな関数の近似、Journal of Functional Analysis、220 (2005)、401 ～ 423 ページ。

[4] A. Chernih、IH Sloan、および RS Womersley、「滑らかさが増加するウェンドランド関数はガウス分布に収束する」、『Advances in Computational Mathematics』、40 (2014)、185 ～ 200 ページ。

[5] F. Dai、「倍加重みおよび a∞ 重みに関する多変量多項式不等式」、Journal of Functional Analysis、235 (2006)、137 ～ 170 ページ。

[6] F. Dai、「球面上の一般化超補間について」、米国数学協会論文集、134 (2006)、2931 ～ 2941 ページ。

[7] HW Engl、M. Hanke、および A. Neubauer、「逆問題の正則化」、第 1 巻。 375、シュプリンガー サイエンス & ビジネス メディア、1996 年。

[8] H. フェン、S.-B.リン、D.-X。 Zhou、球体上に分散的に保存されたデータによる動径基底関数近似、arXiv:2112.02499、(2021)。

[9] T. Hangelbroek、FJ Narcowich、X. Sun、および JD Ward、多様体上のカーネル近似 ii: l2 プロジェクターの l∞ ノルム、SIAM Journal on Mathematical Analysis、43 (2011)、662–684 ページ。

[10] T. Hangelbroek、FJ Narcowich、および JD Ward、多様体 i のカーネル近似: ルベーグ定数の境界、SIAM Journal on Mathematical Analysis、42 (2010)、1732–1760 ページ。

[11] K. Hesse、IH Sloan、RS Womersley、球面上のノイズ散乱データの放射基底関数近似、Numerische Mathematik、137 (2017)、579–605 ページ。

[12] K. Hesse、IH Sloan、および RS Womersley、ノイズ散乱データを含む球面上の局所 rbf ベースのペナルティ付き最小二乗近似、Journal of Computational and Applied Mathematics、382 (2021)、p.12 113061。

[13] S. Hubbert、QT Le Gia、および TM Morton ^ 、球面動径基底関数、理論と応用、Springer、2015 年。

[14] MA King、RJ Bingham、P. Moore、PL Whitehouse、MJ Bentley、および GA Milne、「南極海面寄与の下部衛星重力推定値」、Nature、491 (2012)、586 ～ 589 ページ。

[15] QT Le Gia、FJ Narcowich、JD Ward、および H. Wendland、球面上の動径基底関数による連続および離散最小二乗近似、Journal of Improvement Theory、143 (2006)、124 ～ 133 ページ。

[16] P. Leopardi、「単位球を等しい面積と小さな直径の領域に分割する」、Electronic Transactions on Numerical Analysis、25 (2006)、309 ～ 327 ページ。

[17] J. Levesley、Z. Luo、および X. Sun、厳密な正定関数に関連付けられた内挿行列とその逆行列のノルム推定、米国数学協会論文集、(1999 年)、2127 ～ 2134 ページ。

[18] S.-B. Lin、X. Chang、および X. Sun、高次元散乱データのカーネル補間、arXiv プレプリント arXiv:2009.01514、(2020)。

[19] S.-B.リン、X. Guo、D.-X. Zhou、正則化最小二乗法による分散学習、The Journal of Machine Learning Research、18 (2017)、3202 ～ 3232 ページ。

[20] S.-B.リン、D. ワン、D.-X。 Zhou、球体上の球面デザインによるスケッチ、科学計算に関する SIAM ジャーナル、出版中 (2023)。

[21] S.-B.リン、YG ワン、D.-X。 Zhou、「球上のノイズのあるデータに対する分散フィルター超補間」、SIAM Journal on Numerical Analysis、59 (2021)、634 ～ 659 ページ。

[22] JD McEwen および Y. Wiaux、球面上の新しいサンプリング定理、信号処理に関する IEEE トランザクション、59 (2011)、5876 ～ 5887 ページ。

[23] H. Mhaskar、F. Narcowich、J. Ward、Spherical marcinkiewicz-zygmund の不等式と正の求積法、Mathematics of Computation、70 (2001)、1113 ～ 1130 ページ。

[24] HN Mhaskar、加重求積公式と球面上のゾーン関数ネットワークによる近似、Journal of Complexity、22 (2006)、348 ～ 370 ページ。

[25] C. Muller、Spherical Harmonics、vol. 17、スプリンガー、1966年。

[26] FJ Narcowich、N. Sivakumar、および JD Ward、ユークリッド球上の散乱データ補間の安定性結果、Advances in Computational Mathematics、8 (1998)、137 ～ 163 ページ。

[27] FJ Narcowich、X. Sun、JD Ward、および H. Wendland、球面基底関数による散乱データ内挿の直接および逆ソボレフ誤差推定、Foundations of Computational Mathematics、7 (2007)、369 ～ 390 ページ。

[28] FJ Narcowich および JD Ward、球面上の散乱データ補間: 誤差推定とローカルでサポートされる基底関数、SIAM Journal on Mathematical Analysis、33 (2002)、1393 ～ 1410 ページ。

[29] A. Rudi、R. Camoriano、および L. Rosasco、「Less is more: Nystr®om computational Regularization」、NIPS、2015 年、1657 ～ 1665 ページ。

[30] R. Schaback、放射基底関数内挿の誤差推定と条件数、Advances in Computational Mathematics、3 (1995)、251 ～ 264 ページ。

[31] S. スメールと D.-X. Zhou、Shannon のサンプリングと点値からの関数の再構成、Bulletin of the American Mathematical Society、41 (2004)、279 ～ 305 ページ。

[32] S. スメールと D.-X. Zhou、Shannon サンプリング ii: 学習理論への接続、応用および計算調和解析、19 (2005)、285 ～ 302 ページ。

[33] Y.-T.ツァイと Z.-C. Shih、球面動径基底関数とクラスター化テンソル近似を使用した全周波数事前計算放射輝度伝達、ACM Transactions on Graphics (TOG)、25 (2006)、967 ～ 976 ページ。

[34] H. Wendland、散乱データ近似、vol. 17、ケンブリッジ大学出版局、2004 年。

[35] MA Wieczorek および RJ Phillips、「球面上の潜在的異常: 月の地殻の厚さへの応用」、Journal of Geophysical Research: Planets、103 (1998)、1715 ～ 1724 ページ。

[36] RS Womersley、「現代の計算数学 - イアン スローン 80 歳の誕生日のお祝い」、Springer、2018 年、1243 ～ 1285 ページ。

[37] Y. Zhang、J. Duchi、および M. Wainwright、「カーネル リッジ回帰の分割と征服: ミニマックス最適レートを備えた分散アルゴリズム」、The Journal of Machine Learning Research、16 (2015)、3299 ～ 3340 ページ。

SM1。付録 A: データ部門の選択と判断の戦略。この付録では、選択と判断 (SAJ) 戦略の詳細な実装を示します。私たちの目的は、指定された許容値 c0 以上の分離半径を持つ同様のカーディナリティの一連のサブセットを導出することです。 SAJには2つのステージがあります。