Autori : Xiaoxin Yin Autori : Mārtiņš Yin TABLE OF LINKS Kreisās puses tabula Abstract Abstraktā 1 Introduction 1 Ievads 2 Related Work 2 Saistītie darbi 3 The Seven Qualification Tests for an AI Scientist 3 Septiņi kvalifikācijas testi AI zinātniekam Atlases kritēriji Heliocentriskā modeļa pārbaude Priekšlikumu likuma pārbaude Vibratīvās strēmeles tests Maxvela vienādojumu tests Sākotnējās vērtības problēmas tests Huffman kodēšanas tests Algoritma testēšana 4 Discussions 4 Diskusijas Vai AI var pārvarēt šos testus? Kāpēc mums ir vajadzīgi šie testi? 5 Conclusions and Future Work and References 5 Secinājumi un turpmākais darbs un atsauces Abstract Abstraktā Šie mērķtiecīgie AI aģenta pētījumu rezultāti ir pierādījuši, ka AI aģentiem ir potenciāls veikt uzdevumus, kas iepriekš bija ierobežoti ar cilvēkiem, tostarp zinātniskiem pētījumiem. Kaut arī šie AI aģenti ir parādījuši iespaidīgas pētniecības spējas matemātikas vai kodēšanas problēmu risināšanā, spēja izdarīt zinātniskus atklājumus joprojām ir atšķirīgs izaicinājums. Šis dokuments ierosina "Turing testu AI zinātniekam", lai novērtētu, vai AI aģents var veikt zinātniskus pētījumus neatkarīgi, neatkarīgi no cilvēka radītām zināšanām. Iegūstot iedvesmu no zinātnes vēsturiskās attīstības, mēs ierosinām septiņus atsauces testus, kas novērtē AI aģenta spēju veikt inovatīvus atklājumus dažādās zināt 1 Introduction 1 Ievads Pēdējos gados gūtie panākumi dziļās mācīšanās jomā, īpaši lielajos valodu modeļos, ir parādījuši, ka AI aģents var veikt jebkuru uzdevumu, ko cilvēks var veikt, ieskaitot zinātniskos pētījumus. Pēdējos gados pētījumi ir parādījuši, ka LLM, piemēram, GPT-4[1], Microsoft Copilot[2] un CodeLlama[3], var atrisināt konkurences līmeņa kodēšanas problēmas [4], un LLM, piemēram, GPT-4 un Llemma[5], var atrisināt dažas vidusskolas līmeņa konkurences matemātikas problēmas (ieskaitot dažas IMO līmeņa problēmas). Šie LLM var palīdzēt pētniekiem atrisināt dažas problēmas, ar kurām viņi saskaras ikdienas pētījumos. Tomēr spēja atrisināt dažādu veidu Šī ir būtībā tā pati zinātniskā metodoloģija, ko izmanto, lai apmācītu modeli, lai rakstītu romānus pēc miljoniem romānu lasīšanas. Tam nav spējas atklāt to, ko tas nav mācīts, padarot to nespējīgu veikt zinātniskus atklājumus, kā zinātnieks to darītu. Tas padara to nepieciešamu, lai definētu “kvalifikācijas testu AI zinātniekam”. Ja AI aģents var pabeigt šo testu bez cilvēka palīdzības, mēs varam secināt, ka šis aģents kvalificējas kā zinātnieks un var veikt zinātniskus pētījumus pats. Tas ir līdzīgs Turinga testam, ko 1950. gadā ierosināja Alan Turing un kas kalpo kā pamatkoncepts mākslīgā intelekta zinātnieka jomā, apšaubot, vai mašīnas var parādīt cilvēka līdzīgu inteliģenci. Turinga Zinātnes attīstība agrīnā stadijā. Nakts debesis spēlēja būtisku lomu pārejā uz mūsdienu zinātniskās metodoloģijas, lielā mērā ar tādu astronomu centieniem kā Johannes Kepler un Galileo Galilei. Keplera planētu kustības likumi, kas izriet no meticuloziem novērojumiem par nakts debesu, nodibināja pamatu saules sistēmas heliocentriskajam modelim un galu galā Ņūtona gravitācijas teorijai. Viņa paļaušanās uz empīriskajiem datiem un sistemātiskiem eksperimentiem bija nozīmīga novirze no spekulatīvajām filozofijām, kas iepriekš bija dominējušas zinātnes arē. Galileo metode eksperimentālo pierādījumu integrēšanai ar matemātisko analīzi ir zinātniskās metodes stūrakmens, Tas prasa, lai AI aģents atklātu likumus, kas regulē debesu objektu kustības, un pielāgotu tos matemātikas sistēmai. Tas prasa arī, lai AI aģents izdarītu novatoriskas pieņēmumus, piemēram, Zeme ir līdzīga planētām nakts debesīs. Abas prasības ir zinātnieka vajadzībām. Lai būtu labs references tests AI zinātniekam, testam ir jānodrošina ļoti liels datu apjoms vai interaktīva vide. Piemēram, jebkurā brīdī var piekļūt jebkura novērojama debesu objekta atrašanās vietai, izmantojot AstroPy bibliotēku[7]. Pamatojoties uz iepriekš minētajiem diviem standartiem, mēs izvēlamies šādus septiņus testus kā Turinga testus AI zinātniekam. Katrā testā AI aģents nevar tikt apmācīts par Heliocentriskais modelis: Ņemot vērā interaktīvo python bibliotēku[7], kas jebkurā konkrētā brīdī nodrošina jebkura novērojama debesu objekta koordinātas nakts debesīs, pārbaudiet, vai AI aģents var secināt Keplera trīs likumus un secināt, ka visas planētas orbītā ap Sauli. Kustību likumi: Ņemot vērā interaktīvo bibliotēku, kas kontrolē Minecraft[10], pārbaudiet, vai AI aģents var atklāt Inercijas likumu un Paātrinājuma likumu (tikai gravitācijai). Vibrating Strings: Vibrating strings ir viena no svarīgākajām problēmām, kas izraisīja diferenciālvienādojumu attīstību[11]. Ņemot vērā Python bibliotēku, kas nodrošina katra punkta pozīciju uz daudzām dažādām sākotnējām vibrējošām virknēm, pārbaudiet, vai AI aģents var secināt diferenciālvienādojumu, kas nosaka kustību: kur u(x, t) ir strāvas pārvietošanās, c ir viļņu izplatīšanās ātrums strāvas, t ir laiks, un x ir telpiskās koordinātas gar strāvu. Maksvela vienādojumi bieži tiek uzskatīti par skaistākajiem fizikā.Dodot Python balstītu elektrodinamikas simulatoru[12], pārbaudiet, vai AI aģents var secināt Maksvela vienādojumus vai to ekvivalentās formas. Maxvela vienādojumi: IVP, iespējams, ir svarīgākā problēma skaitļos, un 19. gadsimta beigās izgudrotā Runge-Kutta metode[13] joprojām tiek plaši izmantota šodien.Dodot matemātiskos rīkus, piemēram, SymPy[8] un NumPy[9] kas var aprēķināt funkciju integrālus gan simboliski, gan skaitliski, pārbaudiet, vai AI aģents var izgudrot IVP metodi, kas ir vismaz tikpat precīza kā ceturtās kārtas Runge-Kutta metode. Sākotnējās vērtības problēma (IVP) Ņemot vērā lielo ascii rakstzīmju korpusu un Python funkcijas, lai darbotos uz bitiem, pārbaudiet, vai AI aģents var atklāt Huffman kodēšanu, strādājot pie mērķa samazināt uzglabāšanu ar ierobežojumu, ka katrs raksturs tiek pārstāvēts ar noteiktu 0 un 1 secību. Huffman kodēšana: Ņemot vērā ļoti lielu skaitu veselu diapazonu šķirošanas piemēru un Python vidi, pārbaudiet, vai AI var atklāt šķirošanas algoritmu, kas darbojas gaidītajā O(n log n) laikā. Sastādīt algoritmu: Lūdzu, ņemiet vērā, ka katram pareizi izvēlētajam zinātniskajam aģentam ir nepieciešami dati vai mijiedarbība tikai labi definētā GO jomā (piemēram, datu kopumā vai interaktīvā bibliotēkā). Tas ļauj AI aģentam veikt atklājumus, netiekot apmācīts cilvēka rakstītajos dokumentos, kas var izlaist informāciju par mērķa atklājumiem. Tā paša iemesla dēļ mēs neizvēlamies nekādus testus no daudzām svarīgākajām GO disciplīnām, piemēram, ķīmijas, bioloģijas un ģeoloģijas, jo tiem ir vajadzīgi vai nu mijiedarbība ar fizisko pasauli, vai arī ierobežots novērojumu daudzums. Lai šajās disciplīnās veiktu svarīgus atklājumus, ir neizbēgami izmantot zināšanas ārpus nelielas iepriekš note Šis dokuments ir pieejams arhīvā saskaņā ar CC by 4.0 Deed (attribution 4.0 International) licenci. Šis dokuments ir pieejams arhīvā saskaņā ar CC by 4.0 Deed (attribution 4.0 International) licenci. Pieejams arhīvā
