著者: Xiaoxin Yin 著者: シオキン・イーン TABLE OF LINKS 左のテーブル Abstract 抽象 1 Introduction 1 導入 2 Related Work 2 関連作品 3 The Seven Qualification Tests for an AI Scientist 3 AI科学者のための7つの資格テスト 選択基準 ヘリオセントリックモデルテスト The Motion Laws テスト The Vibrating Strings テスト マクスウェルの方程式テスト 初期値問題テスト Huffman Coding テスト アルゴリズムのテスト 4 Discussions 4 議論 AIはこれらのテストを克服できるだろうか。 なぜ、これらのテストが必要なのか。 5 Conclusions and Future Work and References 5 結論と将来の仕事と参照 Abstract 抽象 AIは、これらのエージェントのフィールドサイエンスの究極的な進歩を示しているが、AIエージェントは、これまで人間に限定された課題を実行する可能性を示しているが、これらのAIエージェントは、AIエージェントは、数学やコード化の問題を解決するための印象的な研究能力を示しているが、これらのエージェントの科学的発見を評価する能力は明確な課題である。この論文は、AIエージェントが以前は人間によって生み出された知識に依存することなく、AIエージェントが科学的研究を行うことができるかどうかを評価するための「AI科学者のためのベンチテスト」を提案している。これらのテストには、AIエージェントが天体観察からヘリオセントリック中間モデルを推 1 Introduction 1 導入 最近の深層学習の進歩、特に大規模な言語モデルの進歩は、AIエージェントが、科学的研究を含む、人間が実行できる任務を果たす可能性を示している。最近の研究は、GPT-4、Microsoft Copilot、CodeLlamaなどのLLMが、競争レベルのコーディングの問題を解決することができることを示しており、GPT-4、LlemmaなどのLLMは、高校レベルの競争数学の問題(IMOレベルのいくつかの問題を含む)を解決することができることを示しています。これらのLLMは、確かに研究者が日々の研究で直面するいくつかの問題を解決するのに役立ちます。しかし、よく定義された問題の種類を解決することが、科学的研究における発見とは非常に異なります。例えば、LLMを AIは、数百万の小説を読んだ後、小説を書くためにモデルを訓練するために使用される同様の科学的方法論である。AIは、何百万もの小説を読んだ後も、学習されていないものを発見する能力を持っていないので、科学者のように科学的発見を起こすことができなくなりました。これは、1950年にアラン・チューリングが提案した「AI科学者の資格テスト」を定義する必要性を生み出し、AIエージェントが人間のような知性を示すことができるかどうかを挑戦する場合、このエージェントが科学者として資格を取得し、科学的研究を行うことができると結論づけることができます。これは、今日のインテリジェント・テストがコンピュータと人間をテキストベースの質問のシリーズを通じて区別しようと試み 夜空は現代の科学的方法論への移行において、主にヨハネス・ケプラーやガリレイのような天文学者の努力を通じて重要な役割を果たしました。夜空の細かい観測から生じた惑星運動のケプラーの法則は、太陽系のヘリオ中心的モデルと最終的に重力のニュートンの理論の基礎を打ちました。彼の経験的データと体系的な実験への依存は、これまで科学の舞台を支配していた投機哲学から重要な離脱を象徴しました。ギャリレオの実験的証拠を数学分析と統合する方法は、科学的方法の基盤であり、彼のタイトルは「現代科学の父」です。彼の作品は、夜空の観測が現代の形で科学の これには、AIエージェントが天体の動きを支配する法則を発見し、それらを数学的枠組みに組み込む必要がある。AIエージェントは、地球が夜空の惑星に似ているように、革新的な推測をする必要がある。両方の要件は、科学者にとって必要不可欠である。AI科学者のための良いベンチマークテストであるため、テストは、非常に大きな量のデータやインタラクティブな環境を提供する必要がある。たとえば、地球は夜空の惑星と似ています。上記の2つの基準に基づいて、我々は、次のような7つのテストを、AI科学者のためのチューリングテストとして選びます。各テストでは、AIエージェントは人間の知識を訓練することはできないが、SymP Heliocentric Model: 夜空の観測可能な天体の座標をいつでも提供するインタラクティブなパイソンライブラリ7を考慮すると、AIエージェントがケプラーの3つの法則を推定し、すべての惑星が太陽を回っていると結論づけることができるかどうかを確認します。 動きの法則: Minecraft を制御するインタラクティブなライブラリを考慮すると、AI エージェントが惰性の法則と加速の法則(重力のみ)を発見できるかどうかを確認します。 Vibrating Strings: Vibrating strings is one of the most important problems that driven the development of differential equations[11]. Given a Python library that provides the position of each point on a vibrating string of many different initial conditions, check if an AI agent can infer the differential equation governing the movement: vibrating strings is one of the most important problems that led to the development of differential equations[11].Python library provides the position of each point on a vibrating string of many different initial conditions, check if an AI agent can infer the differential equation governing the motion: where u(x, t) is the displacement of the string, c is the speed of wave propagation in the string, t is time, and x is the spatial coordinate along the string. Please note the AI agent should not have any prior knowledge about calculus, and has to define differential equations on its own. u(x, t) is the displacement of the string, c is the speed of wave propagation in the string, t is time, and x is the spatial coordinate along the string. Please note the AI agent should not have any prior knowledge about calculus, and has to define differential equations on its own. マクスウェルの方程式は、しばしば物理学で最も美しい方程式とみなされます。Pythonベースの電気動力学シミュレータを用いて[12],AIエージェントがマクスウェルの方程式やそれに等しい形態を推測できるかどうかを確認します。 マクスウェルの方程式: IVPは数値コンピューティングで最も重要な問題であり、19世紀末に発明されたRunge-Kutta方法[13]は今でも広く使用されています。SymPy[8]やNumPy[9]などの数学ツールを用いて、象徴的にも数値的に機能の整数を計算することができるので、AIエージェントが4番目のRunge-Kutta方法と同じくらい正確なIVP方法を発明できるかどうかを確認してください。 初期価値問題(IVP) Huffman コーディングは、情報理論で最も重要な仕事です。Ascii 文字の大規模なコルプスと、Python がビットで動作する機能を考慮して、Huffman コーディングを検出できるAI エージェントが、各文字が 0 と 1 の特定の順序で表されるという制約のもと、ストレージを最小化するという目標に向かって働くとき。 ハフマン・コーディング: 分類は、おそらくコンピュータサイエンスで最も研究されている問題です. 整数配列とPython環境の分類の非常に多くの例を考慮すると、AIが期待されるO(n log n)時間で実行される分類アルゴリズムを発見できるかどうかを確認してください。 7.アルゴリズムの設定: GOのデータセットやインタラクティブなライブラリなど、GOの最も重要な分野から何らかのテストを漏らすことができないため、AIエージェントは、AIエージェントが人間に書かれたドキュメントに訓練されずに発見することを可能にします。同様に、GOエージェントの多くの重要な分野(データセットやインタラクティブなライブラリなど)からデータや相互作用を必要とします。これにより、AIエージェントは物理世界と相互作用する必要があるか、あるいは観察の限られた量を持っているからです。これらの分野で重要な発見をするためには、目標の発見についての情報を漏らすことが不可避です。同じ理由で、AIエージェントに重要な情報を漏らすことはありません。AI科学者の究極の この論文は、CC by 4.0 Deed (Attribution 4.0 International) ライセンスの下で archiv で利用できます。 この紙は CC by 4.0 Deed (Attribution 4.0 International) ライセンス ARCHIV で利用可能 ARCHIV で利用可能
