AI tresna berri honek datu-arazoak beste ezer baino hobeto konpontzen dituela dio - Hona hemen zergatik garrantzitsua den

Esteken taula

• Laburpena eta 1 Sarrera

• 2 Lotutako lana

• 3 Metodologia eta 3.1 Egitura hierarkikoa duen plangintza dinamikoa

  • 3.2 Erremintaren erabilera eta sorrera
  • 3.3 Egiaztapenarekin eta esperientziarekin arrazoibidea hobetzea

• 4 Esperimentuak

  • 4.1 Konfigurazio esperimentala
  • 4.2 Emaitza nagusia
  • 4.3 Ablazioaren azterketa

• 5 Ondorioa eta Erreferentziak

  A. Emaitza osagarriak

  B. Ezarpenaren emaitzak

  C. Datu-multzoen xehetasunak

LABURPENA

Hizkuntza Eredu Handietan (LLM) oinarritutako agenteek eraginkortasun nabarmena erakutsi dute. Hala ere, haien errendimendua arriskuan egon daiteke denbora errealeko datuak doitzea eskatzen duten datu-zientzien agertokietan, hainbat atazaren arteko menpekotasun konplexuengatik optimizazioan aditua eta arrazoiketa zehatzetarako akats logikoak identifikatzeko gaitasuna. Azterketa honetan, Datuen Interpretea aurkezten dugu, datuen zientzian arazoen ebazpena areagotzeko hiru teknika funtsezko azpimarratzen dituen kodearekin konpontzeko diseinatutako irtenbidea: 1) plangintza dinamikoa grafiko-egitura hierarkikoekin datuen denbora errealean egokitzeko; 2) tresnen integrazioa dinamikoki exekuzioan zehar kodearen trebetasuna hobetzeko, beharrezko esperientzia aberastuz; 3) inkoherentzia logikoen identifikazioa feedbackean, eta eraginkortasuna hobetzea esperientziaren grabazioaren bidez. Datuen interpretea hainbat datu-zientzia eta mundu errealeko zereginetan ebaluatzen dugu. Kode irekiko oinarri-lerroekin alderatuta, errendimendu handiagoa erakutsi zuen, ikaskuntza automatikoko zereginetan hobekuntza nabarmenak erakutsiz, 0,86tik 0,95era handituz. Gainera, MATH datu-multzoan % 26ko igoera eta % 112ko hobekuntza nabarmena erakutsi zuen mugarik gabeko zereginetan. Irtenbidea https://github.com/geekan/MetaGPT helbidean argitaratuko da.

1 SARRERA

Hizkuntz Eredu Handiek (LLMs) eragileek aplikazio ugaritan gailentzea ahalbidetu dute, haien moldagarritasuna eta eraginkortasuna erakutsiz (Guo et al., 2024; Wu et al., 2023a; Zhou et al., 2023b). LLM-k bultzatutako agente hauek modu nabarmenean eragin dute software ingeniaritza (Hong et al., 2023), mundu irekiko agertoki konplexuetan nabigatzen (Wang et al., 2023; Chen et al., 2024a), elkarlanerako eragile anitzeko egiturak erraztuz. zeregin multimodalak (Zhuge et al., 2023), laguntzaile birtualen erantzuna hobetuz (Lu et al., 2023), taldeko adimena optimizatuz (Zhuge et al., 2024), eta ikerketa zientifikoan laguntzea (Tang et al., 2024).

Azken ikerketek eragile hauen arazoak konpontzeko gaitasunak hobetzera bideratu dira, arrazoiketa-prozesua hobetuz, sofistikazio eta eraginkortasuna areagotzeko helburuarekin (Zhang et al., 2023; Besta et al., 2023; Sel et al., 2023; Yao et al. ., 2024; Wei et al., 2022). Hala ere, datuetan oinarritutako arazo zientifikoek, besteak beste, ikaskuntza automatikoa, datuen analisia eta arazo matematikoen ebazpena, aurre egiteko dauden erronka bereziak aurkezten dituzte. Ikaskuntza automatikoko prozesuak zereginak kudeatzeko urrats konplexu eta luzeak dakartza, eta hainbat atazaren arteko mendekotasun korapilatsuak dira. Horretarako, adituen esku-hartzea behar da prozesuaren optimizaziorako eta doikuntza dinamikorako, hutsegite edo datuen eguneraketak gertatuz gero. Askotan zaila izaten da LLMentzat saiakera bakarrean irtenbide zuzena ematea. Gainera, arazo hauek arrazoiketa zehatza eta datuen egiaztapen sakona eskatzen dute (RomeraParedes et al., 2023), eta horrek erronka gehigarriak eragiten dizkio LLMn oinarritutako agente-esparruari.

Gainera, lehendik dauden lanek (Qiao et al., 2023; OpenAI, 2023; Lucas, 2023) datu-zentroko arazoei aurre egiten diete kodean oinarritutako arazoak konpontzeko metodoen bidez, interprete paradigma bezala ezagutzen dena, eskakizun estatikoen deskonposizioa eta kodearen exekuzioa konbinatzen dituena. Hala ere, funtsezko erronka batzuk sortzen dira esparru hauek datu-zientziako zeregin praktikoetan erabiltzean: 1) Datuen menpekotasun intentsitatea: datu-zientziaren konplexutasuna hainbat urratsen arteko elkarreragin korapilatsutik sortzen da, denbora errealeko aldaketen menpe daudenak (Liu et al. , 2021). Emaitza zehatzak lortzeko, datuen garbiketa eta ezaugarrien ingeniaritza integrala ezinbesteko baldintzak dira ikaskuntza automatikoko edozein eredu garatu aurretik. Hori dela eta, funtsezkoa da datuen aldaketak kontrolatzea eta eraldatutako datu eta aldagaietara dinamikoki doitzea. Ikaskuntza automatikoa modelatzeko prozesuak, ezaugarrien hautaketa, ereduen prestakuntza eta ebaluazioa barne hartzen dituena, prozesatzeko operadoreen eta bilaketa-espazioen espektro zabala dakar (Zheng et al., 2021). Erronka prozesu-kode osoa aldi berean sortzean eta ebaztean datza. 2) Domeinuen ezagutza findua: datu-zientzialarien ezagutza espezializatuak eta kodetze-praktikak funtsezkoak dira datuekin lotutako erronkei aurre egiteko. Eskuarki jabedun kodean eta datuetan txertatuta, ezagutza hori sarritan eskuraezin izaten jarraitzen du egungo LLMentzat. Adibidez, energia edo geologia bezalako domeinu espezifikoetan datuak eraldatzeko kodea sortzeak erronka bat sor dezake LLMentzat beharrezko domeinu-esperientziarik gabe. Dauden metodologiak LLMen araberakoak dira nagusiki, prozesua erraztu baina potentzialki errendimendua arriskuan jartzen duen konfiantza. 3) Baldintza logiko zorrotzak: gaur egun, (Qiao et al., 2023; OpenAI, 2023; Lucas, 2023) bezalako interpreteek kodea exekutatzeko eta akatsak harrapatzeko gaitasunak barneratzen dituzte arazoak konpontzeko errendimendua hobetzeko. Hala ere, askotan errorerik gabeko exekuzioa alde batera uzten dute, oker zuzentzat joz. Oinarrizko programazio-zereginak erraztu eta eskakizunak zehazten direnean berehalako exekuzio-adierazpenaren araberakoak izan daitezkeen arren, datu-zientzien arazoek askotan baldintza anbiguoak, irregularrak eta ez ondo definituak planteatzen dituzte, eta LLMek ulertzea zaila egiten dute. Ondorioz, zereginak konpontzeko LLM-k sortutako kode-soluzioek sendotasun logikoaren baliozkotze zorrotza behar duten anbiguotasunak izan ditzakete, exekuzio-adierazpen hutsetik haratago.

Aipatutako erronkei aurre egiteko, LLMn oinarritutako agente bat aurkezten dugu, Data Interpreter izenekoa, datuen zientzien esparrurako bereziki diseinatua. Agente honek plan-kode-egiaztapenaren ikuspegia jarraitzen du giza eskakizunak betetzeko, zereginak apurtuz, kodea exekutatuz eta iritziak egiaztatuz. Zehazki, 1) Egitura hierarkikoa duen plangintza dinamikoa proposatzen dugu: Gure Datu Interpreteak grafiko-egitura hierarkikoak erabiltzen ditu datu-zientzien berezko konplexutasunak eraginkorrago ulertzeko. Plangintza-ikuspegi dinamiko batek zereginen aldaketetarako moldagarritasuna ematen dio, datuen aldaketak kontrolatzeko eta datu-zientzien arazoen berezko aldagaien mendekotasun korapilatsuak kudeatzeko bereziki eraginkorra dela frogatuz. 2) Tresnak erabiltzea eta sortzea: kodetzeko trebetasuna hobetzen dugu, gizakiek idatzitako hainbat kode zati integratuz eta APIan oinarritutako gaitasun hutsez haratago zeregin zehatzetarako tresna pertsonalizatuak sortuz. Prozesu honek hainbat tresnaren konbinazio automatikoa dakar auto-sortutako kodearekin. Ataza-mailako exekuzioa erabiltzen du bere tresna-liburutegia modu independentean eraikitzeko eta zabaltzeko, tresnaren erabilera sinplifikatzeko eta behar den moduan kodea berregituratzeko. 3) Arrazoimendua hobetzea akats logikoekin: exekuzio emaitzetatik eta proben bidezko balioztatzeetatik eratorritako konfiantza puntuan oinarritzen da, salbuespenik gabeko eszenatoki baterako ezinbestekoak direnak. Kode-soluzioaren eta proba-kodearen exekuzioaren arteko inkoherentziak detektatzen ditu eta hainbat entsegu alderatzen ditu logika-erroreak murrizteko. Exekuzio- eta arrazonamendu-prozesuan zehar, ataza-mailako esperientziak erregistratzen dira, batez ere metadatuak eta exekuzio-denboraren ibilbideak, arrakastak eta porrotak barne hartzen dituztenak.

1. Irudian azaltzen den bezala, gure Datu Interpreteak nabarmen gainditzen ditu lehendik dauden kode irekiko esparruak. Oinarrizko lerro hauekin alderatuta, Datu Interpreteak errendimendu handiagoa erakusten du, % 10,3ko (0,86tik 0,95era) hobekuntzarekin ikaskuntza automatikoko zereginetan eta % 26ko hobekuntza MATH datu-multzoan, arazoak konpontzeko gaitasun sendoak erakutsiz. Zeregin irekietan, bere errendimendua bikoiztu egin da, % 112ko igoera izan duelarik, erronkei espektro zabal bati aurre egiteko duen eraginkortasuna erakutsiz.

Gure ekarpenak honela laburbiltzen ditugu:

• Egitura hierarkikoak dituen plangintza-esparru dinamiko bat proposatzen dugu, datu-zientziako zereginetan moldagarritasuna eta arazoak konpontzeko gaitasunak hobetuz.

• LLMetan kodetzearen trebetasuna eta eraginkortasuna hobetzen ditugu, tresnak erabiltzeko eta sortzeko tresnak integrazio automatizatua ezarriz.

• Arrazoimendua hobetzen dugu egiaztapena eta esperientzia integratuz, eta, horrela, arazoen ebazpenaren zehaztasuna eta eraginkortasuna hobetuz.

• Gure esperimentuek frogatzen dute gure Datuen Interpreteak lehendik dauden erreferentziak gainditzen dituela ikaskuntza automatikoko atazetan, arazo matematikoetan eta zeregin irekietan, eta, horrela, errendimendurako estandar berri bat ezartzen du.