Kirjoittajat : Huomioi Yin Kirjoittajat : Huomioi Yin TABLE OF LINKS Taulukko vasemmalla Abstract abstrakti 1 Introduction 1 Johdanto 2 Related Work 2 Liittyvät työt 3 The Seven Qualification Tests for an AI Scientist 3 Seitsemän pätevyystestiä AI-tieteilijälle Valintaperusteet Heliocentrisen mallin testaus Lainsäädäntöä testataan Vibraattorin testaus Maxwellin yhtälötesti Alkuperäisen arvoongelman testaus Huffmanin koodaustesti Algoritmin testaus 4 Discussions 4 Keskustelua Voiko AI voittaa nämä testit? Miksi näitä testejä tarvitaan? 5 Conclusions and Future Work and References 5 Päätelmät ja tuleva työ ja viittaukset Abstract abstrakti Nämä AI-agenttien nopeat kenttätutkimuksen edistysaskeleet ovat osoittaneet AI-agenttien mahdollisuuden suorittaa tehtäviä, jotka aiemmin olivat rajoitettuja ihmisiin, mukaan lukien tieteellinen tutkimus. Vaikka nämä AI-agentit ovat osoittaneet vaikuttavia tutkimusominaisuuksia matematiikan tai koodausongelmien ratkaisemisessa, kyky tehdä tieteellisiä löytöjä on edelleen erillinen haaste. Tämä paperi ehdottaa "Turing-testiä AI-tieteilijälle" arvioimaan, voiko AI-agentti suorittaa tieteellistä tutkimusta itsenäisesti, riippumatta ihmisen tuottamasta tiedosta. Inspiroimalla agentin kykyä hallita tieteen historiallista kehitystä, ehdotamme seitsemää vertailutestiä, jotka arvioivat AI-agentin mahdollisuutta tehdä uraau 1 Introduction 1 Johdanto Viimeaikaiset edistysaskeleet syväoppimisessa, erityisesti suurissa kielimalleissa, ovat osoittaneet mahdollisuuden, että AI-agentti voi suorittaa mitä tahansa tehtävää, mukaan lukien tieteellinen tutkimus. Viimeaikaiset tutkimukset ovat osoittaneet, että LLM: t, kuten GPT-4[1], Microsoft Copilot[2] ja CodeLlama[3] voivat ratkaista kilpailutason koodausongelmia [4], ja LLM: t, kuten GPT-4 ja Llemma[5] voivat ratkaista joitakin korkeakoulutason kilpailu matematiikan ongelmia (mukaan lukien jotkut IMO-tason ongelmat). Nämä LLM: t voivat varmasti auttaa tutkijoita ratkaisemaan joitakin päivittäisessä tutkimuksessaan kohtaamiaan ongelmia. Kuitenkin kyky ratkaista hyvin määriteltyjä ongelmia on hyvin erilainen kuin tiete Tämä on pohjimmiltaan sama tieteellinen menetelmä, jota käytetään kouluttamaan malli kirjoittamaan romaaneja lukemalla miljoonia romaaneja. Siinä ei ole kykyä löytää sitä, mitä sitä ei ole opetettu, mikä tekee siitä kykenemättömän tekemään tieteellisiä löytöjä kuin tiedemies tekisi. Tämä tekee tarpeelliseksi määritellä "pätevyystesti AI-tieteilijälle". Jos AI-agentti voi suorittaa tämän testin ilman ihmisen apua, voimme päätellä, että tämä agentti on pätevä tiedemieheksi ja voi suorittaa tieteellistä tutkimusta itsestään. Tämä muistuttaa Turingin testiä, jonka Alan Turing ehdotti vuonna 1950 ja joka toimii peruskäsitteenä keinotekoisen älykkyyden alalla. Haasteena siitä, pystyykö kone Yötaivaalla oli keskeinen rooli siirtymisessä nykyaikaisiin tieteellisiin menetelmiin suurelta osin tähtitieteilijöiden, kuten Johannes Keplerin ja Galileo Galilein, ponnistelujen kautta. Keplerin planeetan liikkeen lait, jotka johtuivat yötaivaan yksityiskohtaisista havainnoista, laittoivat pohjan aurinkokunnan heliocentriselle mallille ja lopulta Newtonin painovoiman teorialle. Hänen riippuvuutensa empiiristä dataa ja systemaattista kokeilua kohtaan merkitsi merkittävää syrjäytymistä spekulatiivisista filosofioista, jotka olivat aikaisemmin hallinneet tieteellistä areenia. Galileon menetelmä kokeellisten todisteiden integroimiseksi matemaattiseen analyysiin on tieteellisen menetelmän kulmakivi, Tämä edellyttää, että AI-agentti löytää taivaallisten esineiden liikkeitä säätelevät lait ja sopii niihin matemaattiseen kehykseen. Se edellyttää myös, että AI-agentti tekee uraauurtavia oletuksia, kuten maa on samanlainen kuin planeetat yötaivaalla. Molemmat vaatimukset ovat välttämättömiä tiedemiehelle. Jotta se olisi hyvä vertailutesti AI-tieteilijälle, testi tarvitsee tarjota erittäin suuren määrän tietoja tai vuorovaikutteista ympäristöä. Esimerkiksi voi käyttää minkä tahansa havaittavan taivaallisen esineen sijaintia milloin tahansa AstroPy-kirjaston kautta[7]. Edellä mainittujen kahden standardin perusteella valitsemme seuraavat seitsemän testiä Turingin testiä AI-tieteilijälle. Jokaisessa testissä AI-agenttia ei voida kouluttaa Heliocentrinen malli: Kun otetaan huomioon interaktiivinen python-kirjasto[7], joka tarjoaa koordinaatit kaikista havaittavista taivaallisista kohteista yötaivaalla milloin tahansa, tarkista, voiko AI-agentti päätellä Keplerin kolmesta laista ja päätellä, että kaikki planeetat kiertävät aurinkoa. Laki liikkeistä: Kun otetaan huomioon interaktiivinen kirjasto, joka ohjaa Minecraftia[10], tarkista, pystyykö AI-agentti löytämään inertian lain ja kiihtyvyyden lain (vain painovoiman osalta). Vibration Strings: Vibration strings on yksi tärkeimmistä ongelmista, jotka ovat johtaneet differentiaaliyhtälöiden kehittämiseen[11]. Kun otetaan huomioon Python-kirjasto, joka tarjoaa kunkin pisteen sijainnin värähtelevässä merkkijonossa monissa eri alkuperäisissä olosuhteissa, tarkista, pystyykö AI-agentti johtamaan liikettä ohjaavan differentiaaliyhtälön: jossa u(x, t) on merkkijonon siirtyminen, c on merkkijonon aaltojen leviämisen nopeus, t on aika, ja x on merkkijonon pitkin oleva alueellinen koordinaatti. Maxwellin yhtälöitä pidetään usein fysiikan kauneimpina yhtälöinä.Python-pohjaisen elektrodynamiikan simulaattorin[12] ansiosta tarkista, pystyykö AI-agentti johtamaan Maxwellin yhtälöistä tai niiden vastaavista muodoista. Maxwellin yhtälöt: IVP on luultavasti tärkein ongelma numeerisessa laskennassa, ja 1900-luvun lopulla keksittyä Runge-Kutta-menetelmää[13] käytetään edelleen laajalti nykyään. Kun otetaan huomioon matemaattiset työkalut, kuten SymPy[8] ja NumPy[9] , jotka voivat laskea funktioiden integraaleja sekä symbolisesti että numeerisesti, tarkista, voiko AI-agentti keksiä menetelmän IVP: lle, joka on vähintään yhtä tarkka kuin neljännen järjestyksen Runge-Kutta-menetelmä. Alkuperäisen arvon ongelma (IVP) Huffmanin koodaus[14] on tärkein osa informaatioteoriaa. Kun otetaan huomioon suuri joukko ascii-merkkejä ja Python toimii biteillä, tarkista, pystyykö AI-agentti havaitsemaan Huffmanin koodauksen pyrkiessään minimoimaan tallennustilaa sillä rajoituksella, että jokainen merkki on edustettuna tietyillä 0:n ja 1:n sekvensseillä. Huffmanin koodaus: Kun otetaan huomioon hyvin suuri määrä esimerkkejä kokonaisarjojen lajittelusta ja Python-ympäristöstä, tarkista, pystyykö AI löytämään lajittelualgoritmin, joka toimii odotetulla O(n log n) -ajalla. 7. Algoritmin määrittäminen Huomaa, että jokainen oikealla valittu tieteellinen agentti vaatii vain tietoja tai vuorovaikutusta hyvin määritellyssä GO-alueella (kuten tietokokonaisuus tai vuorovaikutteinen kirjasto). Tämä mahdollistaa AI-agentin tekemän löytöjä ilman, että hänet koulutetaan ihmiskirjoitettuihin asiakirjoihin, jotka voivat vuotaa tietoa kohdehavainnoista. Samasta syystä emme valitse mitään testejä monista tärkeimmistä tieteenaloista, kuten kemiasta, biologiasta ja geologiasta, koska ne edellyttävät joko vuorovaikutusta fyysisen maailman kanssa tai rajoitettua määrää havaintoja. Jotta voitaisiin tehdä tärkeitä löytöjä näissä tieteenaloissa, on väistämätöntä käyttää tietoa pienen ennalta määritellyn laajuuden ulkopuolella, mikä voi vuotaa Tämä artikkeli on saatavilla arkivissä CC by 4.0 Deed (Attribution 4.0 International) -lisenssillä. Tämä artikkeli on saatavilla arkivissä CC by 4.0 Deed (Attribution 4.0 International) -lisenssillä. Saatavilla arkistoinnissa
