AutoDev: Automatizirani AI-driven razvoj

Autori : Michele Tufano (Microsoft, Redmond, USA) Anisha Agarwal (Microsoft, Redmond, USA) Jinu Jang (Microsoft, Redmond, USA) Roshanak Zilouchian (Microsoft, Redmond, USA) Neel Sundaresan (Microsoft, Redmond, USA) Autori : Michele Tufano (Microsoft, Redmond, SAD) Anisha Agarwal (Microsoft, Redmond, SAD) Jinu Jang (Microsoft, Redmond, SAD) Roshanak Zilouchian (Microsoft, Redmond, SAD) Neel Sundaresan (Microsoft, Redmond, SAD) Abstrakcija Međutim, postojeća rješenja ne iskorištavaju sve potencijalne mogućnosti dostupne u IDE-u, kao što su izgradnja, testiranje, izvršavanje koda, git operacije, itd. Stoga, oni su ograničeni svojim ograničenim mogućnostima, prvenstveno usredotočujući se na predlaganje snipeta koda i manipulaciju datotekama unutar interfejsa koji se temelji na razgovoru. Da bismo popunili tu prazninu, predstavljamo AutoDev, potpuno automatizirani okvir za razvoj softvera zasnovan na AI-u, dizajniran za Planiranje i izvođenje složenih zadataka softverskog inženjeringa. AutoDev omogućuje korisnicima da definiraju složene ciljeve softverskog inženjeringa, koji su dodijeljeni Autodevovim autonomnim AI agentima za poduzimanje. Ovi AI agenti mogu obavljati razne operacije na temelju koda, uključujući uređivanje datoteka, preuzimanje, izgradnju procesa, izvršavanje, testiranje i git operacije. Oni također imaju pristup datotekama, izlazu kompilatora, dnevnicima izgradnje i testiranja, alatima za statičku analizu i još mnogo toga. To omogućuje AI agentima da obavljaju zadatke na potpuno automatiziran način uz sveobuhvatno razumijevanje potrebnih kontekstualnih informacija. Nadalje, AutoDev uspostavlja sigurno okruženje Autonomni U našoj evaluaciji, testirali smo AutoDev na HumanEval dataset, dobivajući obećavajuće rezultate s 91.5% i 87.8% Pass@1 za generaciju koda i test generaciju, pokazujući njegovu učinkovitost u automatizaciji zadataka softverskog inženjeringa uz održavanje sigurnog i korisnički kontroliranog razvojnog okruženja. 1 Uvod Kako programeri sve više usvajaju AI asistente kao što je ChatGPT za svoje razvojne zadatke, povećanje produktivnosti postaje očito. ], gdje nude prijedloge koda kako unutar chat interfejsa tako i izravno unutar datoteka. 2 Međutim, ti pomoćnici kodiranja umjetne inteligencije, unatoč njihovoj integraciji u IDE, pokazuju ograničene funkcionalnosti i nemaju kontekstualnu svijest. , Često ne iskorištavaju sve mogućnosti IDE-a, kao što su pozivanje lansera, kompilatori ili izvršavanje operacija zapovjednog reda, i kao posljedica toga, programeri još uvijek trebaju ručno validirati sintaksu i osigurati ispravnost koda generiranog AI-om, izvršiti bazu kodova i pregledati dnevnike pogrešaka. 3 6 AutoDev uklanja tu prazninu nudeći autonomnim AI agentima mogućnost izvršavanja radnji poput uređivanja datoteka, ponovnog pokušaja, izgradnje, testiranja i CLI zapovijedi izravno unutar repozitorija kako bi se postigli ciljevi definirani od strane korisnika, čime se omogućuje samostalno obavljanje složenih zadataka. AutoDev nudi sljedeće ključne značajke: (i) sposobnost praćenja i upravljanja razgovorima između korisnika i AI agenata (ii) Knjižnica prilagođenih (iii) sposobnost planiranja različitih agenata za umjetnu inteligenciju kako bi radili kolaborativno prema zajedničkom cilju kroz , i (iv) sposobnost izvršavanja koda i pokretanja testova kroz . ravnatelj razgovora alata Agenti rasporeda Procjena okoliša figure ilustrira primjer na visokoj razini AutoDev-ovog radnog toka. Korisnik definira cilj (npr. testiranje određene metode). AI Agent piše testove u novu datoteku i pokreće naredbu za izvršenje testa, sve u sigurnom okruženju za evaluaciju. Izlazak izvršenja testa, uključujući dnevnike neuspjeha, zatim se uključuje u konverziju. AI agent analizira taj izlazak, pokreće naredbu za preuzimanje, uključuje informacije dobivene uređivanjem datoteke i ponovno poziva na izvršenje testa. 1 S druge strane, s postojećim pomoćnicima kodiranja AI integriranim u IDE, programeri bi morali ručno izvršiti testove (npr. pokrenuti pytest), pružiti dnevnike neuspjeha na AI chat interfejsu, moguće identificirati dodatne kontekstualne informacije koje treba uključiti i ponoviti akcije validacije kako bi osigurali uspjeh testa nakon što AI generira revidirani kod. AutoDev se inspirirao prethodnim radom na području autonomnih AI agenata. Na primjer, AutoGen [ AutoDev proširuje AutoGen tako što ide izvan upravljanja razgovorima i omogućuje agentima da izravno komuniciraju s repozitorijem koda, izvršavajući zapovijedi i akcije autonomno. ], open-source AI agent za autonomno izvršenje zadataka nudeći kod i IDE specifične mogućnosti za omogućavanje izvršenja složenih zadataka softvera inženjeringa. 22 8 U našoj procjeni ocijenili smo mogućnosti AutoDev-a s HumanEvalovim skupom podataka[ ], izvorno dizajniran za generiranje koda iz opisa prirodnog jezika (docstrings). Osim toga, proširili smo evaluaciju tako da uključimo zadatak generiranja testnih slučajeva, pokazujući svestranost AutoDev-a u rješavanju različitih ciljeva softverskog inženjeringa. Rezultati pokazuju obećavajuće performanse, s AutoDev-om koji je postigao izvanredne ocjene od 91.5% i 87.8% za Pass@1 za generiranje koda i testnu generaciju. 5 2 AutoDev dizajn The design overview depicted in Fig. Nakon što su početne konfiguracije završene, AutoDev organizira svoje mogućnosti u četiri skupine: menadžer razgovora koji prati i upravlja razgovorima između korisnika i agenata; knjižnica alata u kojoj su različiti kodovi i IDE povezani alati dostupni agentima; agentički rasporednik koji rasporedi različite agente; i evaluacijsko okruženje koje omogućuje izvršenje operacija. 2 2.1 Pravila, akcije i konfiguracija ciljeva Korisnik započinje proces konfiguriranjem pravila i akcija putem datoteka yaml. Ove datoteke definiraju dostupne komande (akcije) koje AI agenti mogu izvršiti. Korisnici mogu iskoristiti podrazumijevane postavke ili fino izrađene dozvole omogućavanjem / onemogućavanjem specifičnih zapovijedi, prilagođavajući AutoDev njihovim specifičnim potrebama. Ovaj korak konfiguracije omogućuje preciznu kontrolu nad sposobnostima AI agenata. U ovoj fazi korisnik može definirati broj i ponašanje AI agenata, dodjeljujući specifične odgovornosti, dozvole i dostupne akcije. Na primjer, korisnik može definirati agenta "Developer" i agenta "Reviewer", koji surađuju prema cilju. Slijedom konfiguracije pravila i akcija, korisnik određuje zadatak ili proces softverskog inženjeringa koji će izvršiti AutoDev. Na primjer, korisnik može zatražiti generiranje testnih slučajeva i provjeriti jesu li oni sintaktički točni, prošli i da ne sadrže bake (to uključuje uređivanje datoteka, pokretanje test paketa, izvršavanje sintaških provjera i alata za pronalaženje buga). 2.2 Ravnatelj razgovora Upravitelj razgovora, odgovoran za inicijaliziranje povijesti razgovora, ima ključnu ulogu u nadzoru upravljanja na visokoj razini tekućeg razgovora. On se bavi zadatkom odlučivanja kada prekinuti proces i osigurava besprijekornu komunikaciju između korisnika, AI agenata i sustava u cjelini. Parser tumači odgovore generirane agentima, izvlačeći zapovijedi i argumente u unaprijed definiranom formatu. On osigurava da su upute ispravno oblikovane, potvrđujući broj i točnost argumenata (npr. zapovijed za uređivanje datoteke zahtijeva argument staze datoteke). U slučaju neuspjeha analize, poruke o pogreškama se ubrizgavaju u razgovor, sprječavajući daljnje akcije na repozitoriju. Uspješno analizirane zapovijedi dodatno se analiziraju, primjenom specifičnih dozvola agenata i provođenjem dodatnih semantičkih provjera. On osigurava da predložene akcije budu u skladu s finim dozvolama koje je odredio korisnik. Ako zapovijed prođe kontrolu, upravitelj razgovora poziva na odgovarajuću 2.2.1 Parser. Modul Organizer izlaza obrađuje izlaz dobiven iz okruženja za evaluaciju. Odabire ključne informacije, kao što su stanje ili pogreške, opcionalno sažima relevantni sadržaj i dodaje dobro strukturiranu poruku povijesti razgovora. 2.2.2 Output Organizer. Pregled okvira AutoDev: Korisnik pokreće proces određivanjem cilja koji treba postići. Upravitelj razgovora inicijalizira razgovor i postavke. Agenti planiraju agente AI-a kako bi surađivali na zadatku i prosljeđuju zapovijedi upravitelju razgovora. Upravitelj razgovora analizira te zapovijedi i poziva knjižnicu alata, koja nudi različite radnje koje se mogu izvršiti na repozitoriju. Djelovanja agenata izvršavaju se u sigurnom okruženju Docker, a izlaz se vraća u Upravitelja razgovora, koji ga uključuje u raspravu. Ovaj iterativni proces nastavlja se dok se zadatak ne završi uspješno. Figure 2. To se može dogoditi kada agent signalizira dovršetak zadatka (stop zapovijed), razgovor dosegne maksimalni broj iteracija/tokena koji je definirao korisnik, ili se problemi otkriju ili u procesu ili unutar okruženja za evaluaciju. 2.2.3 Conversation Conclusion. 2.3 Službeni raspored Agenti, konfigurirani s određenim osobama i skupovima dostupnih zapovijedi, surađuju kako bi izvršili različite zadatke. Agenti koriste različite algoritme suradnje, kao što su Round Robin, Token-Based ili Priority-Based, kako bi utvrdili redoslijed i način na koji agenti doprinose razgovoru. Konkretno, algoritmi planiranja uključuju, ali nisu ograničeni na: (i) suradnju Round Robin, koja poziva svakog agenta sekvencijalno, omogućujući svakom da izvrši unaprijed određeni broj operacija; (ii) suradnju na temelju tokena, koja omogućuje agentu da poduzme više operacija dok ne izda označavajući završetak svojih dodijeljenih zadataka; (iii) suradnju na temelju prioriteta, pokrećući Agents, comprising Large Language Models (LLMs) like OpenAI GPT-4 and Small Language Models (SLMs) optimized for code generation, communicate through textual natural language. These agents receive objectives and conversation histories from the Agent Scheduler, responding with actions specified by the Rules and Actions configuration. Each agent, with its unique configuration, contributes to the overall progress toward achieving the user’s objective. 2.3.1 Agents. 2.4 Knjižnica alata Knjižnica alata unutar AutoDev-a pruža niz zapovijedi koje omogućuju agentima da obavljaju različite operacije na repozitoriju. Te su zapovijedi dizajnirane tako da inkapsuliraju složene radnje, alate i korisnike iza jednostavne i intuitivne strukture zapovijedi. • : Ova kategorija obuhvaća komande za uređivanje datoteka, uključujući kod, konfiguraciju i dokumentaciju. Utiliti u ovoj kategoriji, kao što su pisanje, uređivanje, umetanje i brisanje, nude različite razine granularnosti. , omogućuje agentu da prepiše niz redaka s novim sadržajem. File Editing - Retrieval: U ovoj kategoriji, alat za preuzimanje kreće se od osnovnih CLI alata kao što su grep, find i ls do sofisticiranijih tehnika zasnovanih na ugrađivanju. Te tehnike omogućuju agentima da pretražuju slične snippetove koda, poboljšavajući njihovu sposobnost preuzimanja relevantnih informacija iz baze koda. Build & Execution: Zapovijedi u ovoj kategoriji omogućuju agentima da bez napora kompiliraju, grade i izvode bazu kodova pomoću jednostavnih i intuitivnih zapovijedi. Testiranje i validacija: Ove komande omogućuju agentima da testiraju bazu kodova tako što će izvršiti jedan test slučaj, određenu testnu datoteku ili cijeli testni paket. Agenti mogu izvršiti ove radnje bez oslanjanja na komande niske razine specifične za određene testne okvire. Ova kategorija također obuhvaća alate za validaciju kao što su linteri i alate za pronalaženje pogrešaka. Primjeri zapovijedi u ovoj kategoriji uključuju: sintazu koja provjerava ispravnost sintaze i test koji pokreće cijeli testni paket. Git: Fine-grained dozvole za git operacije mogu se konfigurirati od strane korisnika. To uključuje operacije kao što su commits, push, i spajanja. Na primjer, agentima može biti dodijeljena dozvola za obavljanje samo lokalnih commits ili, ako je potrebno, push promjene u izvorni repozitorij. Komunikacija: Agenti mogu pozvati skup zapovijedi usmjerenih na olakšavanje komunikacije s drugim agentima i/ili korisnikom.Naravno, zapovijed za razgovor omogućuje slanje poruka prirodnog jezika (ne tumači se kao zapovijedi za akcije repozitorija), zapovijed za upit koristi se za traženje povratnih informacija korisnika, a zapovijed za zaustavljanje prekida proces, što ukazuje na postizanje cilja ili nemogućnost agenata da nastave dalje. Knjižnica alata u AutoDev-u stoga pruža svestran i pristupačan skup alata za AI agente za interakciju s bazom kodova i učinkovitu komunikaciju unutar okruženja za suradnju u razvoju. 2.5 Procjena okoliša Evaluacijsko okruženje, koje se pokreće unutar Docker kontejnera, omogućuje sigurno izvršavanje komande za uređivanje datoteka, preuzimanje, izgradnju, izvršenje i testiranje. To uklanja složenost zapovijedi niske razine, pružajući pojednostavljeni sučelje za agente. 2.6 Postavljanje svega zajedno Korisnik pokreće razgovor određivanjem cilja i povezanih postavki. Menadžer razgovora inicijalizira predmet razgovora, konsolidirajući poruke i od agenata AI i od okruženja za evaluaciju. Nakon toga, menadžer razgovora šalje razgovor agentu Scheduler, odgovornom za koordinaciju djelovanja agenata AI. U svojoj ulozi kao agenata AI, jezični modeli (veliki ili mali LM) predlažu zapovijedi putem tekstualnih interakcija. Commands Interface obuhvaća raznovrstan skup funkcionalnosti, uključujući File Editing, Retrieval, Build and Execution, Testing i Git operacije. Izvršenje tih zapovijedi odvija se unutar sigurnih granica evaluacijskog okruženja, inkapsuliranog unutar Docker kontejnera. Nakon izvršenja, rezultatne akcije se besprijekorno integriraju u povijest razgovora, pridonoseći naknadnim iteracijama. Ovaj iterativni proces traje sve dok agenti ne smatraju da je zadatak završen, dođe do korisničke intervencije ili se dosegne maksimalna granica iteracije. 3 Empirski dizajn U našoj empirijskoj evaluaciji nastojimo procijeniti mogućnosti i učinkovitost AutoDev-a u zadaćama softverskog inženjeringa, ispitujući može li poboljšati performanse modela AI-a izvan jednostavnog zaključivanja. Istraživačka pitanja RQ1: Koliko je učinkovit AutoDev u zadatku generiranja koda? 2. 𝑅𝑄2: How effective is AutoDev in test generation task? RQ3: Koliko je učinkovit AutoDev u dovršenju zadataka? RQ1: Koliko je učinkovit AutoDev u zadatku generiranja koda? Da bismo riješili RQ1, ocijenili smo performanse AutoDev-a u zadatku generiranja koda koristeći skup podataka za rješavanje problema HumanEval u Pythonu. Ovaj skup podataka sastoji se od 164 rukopisnih programacijskih problema, od kojih svaki sadrži potpis funkcije, doktriniranje, tijelo i prosječno 7,7 testova jedinica. Procjenjujemo učinkovitost AutoDev-a koristeći metricu Pass@k, gdje k predstavlja broj pokušaja. Uspješno riješen problem definiran je kao onaj gdje Au-toDev generira kod tijela metode, zadovoljavajući sve ljudski napisane testove. Pokušaj odgovara cijelom AutoDev razgovoru, koji uključuje višestruke zaključne pozive i korake. Ovo kontrastuje s drugim pristupima, kao što je izravno pozivanje na GPT-4, koji obično uključuje jedan zaključni poziv. Detalji o višestrukim zaključnim pozivima i koracima dodatno su istraženi u RQ3. Za ovu procjenu postavljamo k = 1, tako računajući Pass@1, uzimajući u obzir samo uspjeh postignut u prvom pokušaju. RQ2: Koliko je AutoDev učinkovit u zadatku generacije testova? Za ovo istraživačko pitanje, izmijenili smo skup podataka HumanEval kako bismo procijenili AutoDevove sposobnosti u proizvodnji testova. Razmotrili smo ljudsko napisano rješenje i odbacili pružene ljudsko napisane testove. AutoDev je upućen da generira testne slučajeve za fokalnu metodu i procjenjuje se na temelju uspjeha testa, pozivanja na fokalnu metodu i pokrivenosti testova. Izvještavamo Pass@1, smatrajući testove uspješnima ako prođu i pozovu se na fokalnu metodu. RQ3: Koliko je učinkovit AutoDev u dovršenju zadataka? U ovom istraživačkom pitanju istražujemo učinkovitost AutoDev-a u dovršenju SE zadataka. analiziramo broj potrebnih koraka ili zaključnih poziva, raspodjelu zapovijedi koje se koriste (npr. pisanje, testiranje) i ukupni broj žetona koji se koriste u razgovoru. AutoDev postavke Za ovu evaluaciju, AutoDev održava dosljedne postavke s jednim agentom na temelju modela GPT-4 (gpt-4-1106-preview). Omogućene akcije uključuju uređivanje datoteka, preuzimanje i testiranje. Jedina dostupna komunikacijska zapovijed je zapovijed za zaustavljanje, koja ukazuje na dovršetak zadatka. Druge zapovijedi, kao što je pitanje, su onemogućene, što zahtijeva da AutoDev samostalno radi bez ljudske povratne informacije ili intervencije izvan početnog postavljanja cilja. 4 Empirski rezultati RQ1: Koliko je AutoDev učinkovit u zadatku generiranja koda? stolom prikazuje rezultate za RQ1, uspoređujući AutoDev s dva alternativna pristupa i nultom baznom linijom. Tablica uključuje informacije o modelu koji pokreće svaki pristup, potrebu za dodatnim osposobljavanjem i metricom Pass@1. 1 Usporedili smo AutoDev s Language Agent Tree Search (LATS) i Reflexion, dva vodeća pristupa na Hu-manEval ljestvicama od ožujka 2024. Rezultati za baznu liniju nultog udara (GPT-4) uzeti su iz tehničkog izvješća OpenAI GPT-4 [ ], while those for LATS and Reflexion from the HuamnEval leaderboard [ Na primjer. 1 11 1 Jezik Agent Tree Search (LATS) ] je svestran okvir koji koristi velike jezične modele (LLM) za planiranje, djelovanje i razmatranje.Inspiriran Monte Carlo stablo pretraživanje, LATS zapošljava LLM kao agenti, funkcije vrijednosti, i optimizatori, ponovno namijeniti svoje sposobnosti za poboljšanje donošenja odluka. 23 Reflexion[ ] uvodi jedinstveni okvir za jačanje jezičnih agenata putem jezične povratne informacije bez ažuriranja težine. 17 stolom pokazuje da je AutoDev postigao stopu Pass@1 od 91.5%, čime je osigurao drugo najbolje mjesto na HumanEvalovoj ljestvici.Naravno, ovaj rezultat je postignut bez dodatnih podataka o osposobljavanju, razlikujući AutoDev od LATS-a, koji postiže 94,4%. Nadalje, okvir AutoDev poboljšava performanse GPT-4 s 67% na 91.5%, što označava relativno poboljšanje od 30%. 1 Ovi rezultati naglašavaju sposobnost AutoDev-a da značajno poboljša performanse LLM-a u dovršenju zadataka softverskog inženjeringa. međutim, vrijedno je napomenuti da učinkovitost AutoDev-a može uključivati višestruke pozive i korake zaključivanja, jer ćemo u RQ3 produbiti u daljnje detalje. RQ2: Koliko je AutoDev učinkovit u zadatku generacije testova? stolom predstavlja rezultate za RQ2, uspoređujući AutoDev s GPT-4 s nultim hitom (osnovna linija) i ljudskim pisanim testovima u zadatku testiranja generacije.Budući da OpenAI nije ocijenio GPT-4 na zadatku testiranja generacije, dobili smo rezultate GPT-4 s nultim hitom pozivajući se na zaključak s uputama na istom modelu GPT-4 koji se koristi za AutoDev. 2 AutoDev postiže ocjenu Pass@1 od 87,8% na skupu podataka HumanEval modificiranom za zadatak generacije testa, što pokazuje relativno poboljšanje od 17% u odnosu na osnovnu liniju koja koristi isti model GPT-4. izvješćuje o cjelokupnoj pokrivenosti cijelog skupa podataka o testnim slučajevima, uzimajući u obzir pogrešne ili neuspjele testove kao nedostatak pokrivenosti. 2 Ovi rezultati potvrđuju sposobnost tvrtke AutoDev u rješavanju različitih zadataka softverskog inženjeringa. RQ3: Koliko je učinkovit AutoDev u dovršenju zadataka? figure prikazuje kumulativni broj zapovijedi koje koristi AutoDev za zadatke Code Generation i Test Generation, uzimajući u obzir prosječan broj zapovijedi koje se koriste za procjenu svakog problema HumanEval u RQ1 i RQ2. 3 Za Code Generation, AutoDev je izvršio prosječnu vrijednost 5.5 zapovijedi, uključujući 1,8 pisanja operacija, 1,7 test operacija, 0,92 stop operacija (ukazujući završetak zadatka), 0.25 pogrešne komande, zajedno s minimalnim pronalaženjem (grep, find, cat), operacijama provjere sintakse i govornim komandama komunikacije. U slučaju Test Generation, prosječan broj zapovijedi usklađen je s zadatkom Code Generation. međutim, Test Generation uključuje više operacija preuzimanja i povećanu učestalost pogrešnih operacija, što rezultira ukupnim prosjekom od 6,5 zapovijedi za svaki run. Komandu klasificiramo kao pogrešnu ako upućuje na nedostupnu komandu ili ne uspijeva analizirati (npr. pogrešno oblikovanje ili broj parametara).Najčešće pogrešne komande uključuju AI agente koji miješaju prirodni jezik s kodom ili zapovijedima. Iako AutoDev ima više poziva na zaključke u usporedbi s pristupima koji generiraju kandidatni kod u jednom pozivu, važno je napomenuti da AutoDev također obavlja operacije testiranja i validacije, zadatke koje obično izvode programeri kako bi validirali generirane kandidate. Osim toga, AutoDev često komunicira dovršetak zadatka putem govornih zapovijedi, pružajući uvid i tumačivost rješenja. Još jedna značajna komunikacijska zapovijed koja pridonosi ukupnom broju je zapovijed za zaustavljanje. Prosječna dužina AutoDev razgovora za rješavanje svakog HumanEval problema u RQ1 i RQ2 je 1656 i 1863 žetona, odnosno. To uključuje cilj korisnika, poruke od AI agenta i odgovore iz Evaluation Environment. U usporedbi, GPT-4 (osnovna linija) koristi 200 žetona (procjenjuje se) za generiranje koda i 373 žetona za testiranje, u prosjeku, za svaki zadatak. Dok AutoDev koristi više žetona, značajan iznos se troši na testiranje, validaciju i objašnjenje vlastitog generiranog koda, i dalje od onoga što osnovna linija nudi. Naposljetku, AutoDev snosi troškove izvršenja povezane s orkestriranjem AI agenata, upravljanjem razgovorima i izvršenjem zapovijedi unutar okruženja Docker.Naravno, okruženje za evaluaciju zasnovano na Dockeru snosi najveći trošak izvršenja, što pokazuje veće troškove u usporedbi s izravnim CLI zapovijedima unutar okruženja korisnika. 5 Rasprava 5.1 Autodev u akciji brojke (Djelom I) i (Dijel II) pružaju uvid u Au-toDev u akciji tijekom zadatka generacije testa, s nekim interakcijama sažetima ili propuštenima zbog kratkosti. , postavili smo cilj za AutoDev da generira najzahtjevnije testne slučajeve nakon određenog formata. AutoDev agent pokreće komandu write-new, pružajući filepath i sadržaj testne datoteke. AutoDev izvodi operaciju, potvrđujući uspješno pisanje sadržaja agentu. Nakon toga, AutoDev agent pokreće testnu operaciju, a AutoDev pokreće test u svom sigurnom Docker okruženju, predstavljajući izvješće o izvršenju testa JSON (rezumirano na slici za kratkoću). 4 5 4 AutoDev agent identificira pogrešku u najzahtjevnijem izlazu, prepoznajući da je potreban popravak kako bi se test uskladio s očekivanim ponašanjem funkcije. Continuing in Figure , AutoDev agent izdaje zapovijed za pisanje, određujući filepath i raspon brojeva linija (5-5) za prepisivanje pogrešne tvrdnje. Nakon toga, AutoDev agent nastavlja s testiranjem, što sada uspijeva. Prepoznajući dovršetak cilja, AutoDev agent završava razgovor. 5 Ovaj primjer naglašava sposobnost AutoDev-a da samostalno ocjenjuje svoj generirani kod i rješava bugove unutar vlastitog izlaza.Osim toga, pokazuje kako AutoDev olakšava uvid korisnika u akcije agenata, omogućujući agentima da komuniciraju tijekom zadatka. 5.2 Višestruka suradnja AutoDev podržava multi-agent suradnju na zadacima, orkestriran od strane Agent Scheduler. U našoj procjeni, s obzirom na relativnu jednostavnost seta podataka HumanEval, ograničili smo naše postavljanje na jedan GPT-4 agent za zadatke. Međutim, preliminarni rezultati ukazuju na pozitivan utjecaj suradnje s više agenata na složenije zadatke. Eksperimentiranje s AI Developerom i AI Reviewerom, svaki s različitim odgovornostima i dostupnim radnjama, suradnja na ispravljanju složene greške otkrila je zanimljive interakcije. Naši budući planovi uključuju širenje evaluacija kako bi se uključili složeniji scenariji u kojima suradnja s više agenata može značajno poboljšati performanse tvrtke AutoDev. 5.3 Čovjek u krugu AutoDev omogućuje AI agentima da komuniciraju napredak na zadacima ili zatražiti ljudsku povratnu informaciju pomoću razgovora i upita zapovijedi, odnosno.Anecdotično, ove zapovijedi su se pokazale korisnima za programere koji koriste AutoDev kako bi razumjeli namjere agenta i stekli uvid u agentov plan. Naši budući planovi uključuju dublju integraciju ljudi unutar AutoDev kruga, omogućujući korisnicima da prekidaju agente i pružaju brzu povratnu informaciju. 5.4 Autodev integracije Naša pilot studija uključivala je programere koji su koristili AutoDev kao CLI komandu, a razgovor je bio dostupan za promatranje unutar VSCode IDE-a. Idemo dalje, naš je cilj integrirati AutoDev u IDE, stvoriti chatbot iskustvo i integrirati ga u CI/CD pipelines i PR revizijske platforme. 6 Povezani radovi Naš rad temelji se na opsežnoj literaturi koja primjenjuje AI na različite zadatke softverskog inženjeringa.U ovom odjeljku istražujemo nedavne događaje i kontekstualiziramo AutoDev unutar ovog bogatog istraživačkog krajolika. 6.1 AI u softverskom inženjeringu The integration of AI, particularly Large Language Models (LLMs), into software engineering has witnessed substantial progress. Models like GPT-3 [ Upute za upravljanje [ ], i GPT-4 [ ] su iskoristili Transformer arhitekturu [ ] razumjeti i generirati ne samo prirodni jezik, već i izvorni kod. masivne veličine parametara LLM-ova, kao što su one u Gropher [ ] i Megatron-Turing NLG [ ], i GPT-4 [ ] omogućili su tim modelima AI-a postizanje impresivnih performansi u različitim zadaćama. 7 14 13 20 15 18 13 Kako se prakse razvoja softvera i dalje razvijaju, integracija najnaprednijih tehnologija postaje ključna za povećanje produktivnosti programera. Među značajnim napretkom, korištenje LLM-ova unutar integriranog razvojnog okruženja (IDE) privuklo je značajnu pozornost [ , ]. LLM-ovi, uključujući istaknute modele kao što je OpenAI GPT-3.5 [ ] i GPT-4 [ ], kao i robustni modeli otvorenog koda kao što je Code Llama [ ], pokazuju potencijal da djeluju kao inteligentni pomoćnici programiranja. 5 4 10 12 13 16 U ovom članku predstavljamo AutoDev, sveobuhvatan okvir za autonomne zadatke softverskog inženjeringa unutar sigurnog razvojnog okruženja. AutoDev se širi izvan postojećih radova pružajući svestranu knjižnicu alata, omogućujući AI agentima da samostalno obavljaju složene zadatke, kao što su uređivanje koda, testiranje i integracija. AutoDev je također LLM-agnosticiran, s infrastrukturom koja omogućuje raznovrstan skup modela AI, s različitim veličinama parametara i arhitekturama, da surađuju na određenom zadatku. 6.2 Evaluacija LLM-ova u softverskom inženjeringu Ocjenjivanje LLM-ova za zadatke softverskog inženjeringa predstavlja jedinstvene izazove.Tradicionalne metrike na temelju jezika, kao što je BLEU, bile su fokus prethodnih istraživanja, s evaluacijama koje se provode na statičkim skupovima podataka kao što je GLUE [ ] i BIGBench [ Međutim, ove mjere često nedostaju u hvatanju bitnih aspekata programiranja, kao što su ispravnost sintakse i mjerila zasnovana na izvršenju, kao što su izgradnja i testiranje. 21 19 Sljedeći Članak CodeXGLUE [ ] je riješio ta ograničenja pružanjem sveobuhvatne evaluacijske platforme za LLM u softverskom inženjeringu. nudi raznovrstan skup podataka o referentnim vrijednostima zajedno s osnovnim modelima kao što su CodeBERT i CodeGPT. 9 Čovječanstvo [ ] doprinosi polju usredotočenjem na funkcionalnu ispravnost LLM-ova, uvođenjem referentnog skupa podataka o problemima programiranja u Pythonu. 5 [ Slično kao i HumanEval, Copilot Evaluation Harness uključuje razmatranje izvršenja koda, ali proširuje spektar zadataka softverskog inženjeringa (koda, testiranja i proizvodnje dokumentacije, razumijevanja radnog prostora i rezolucije upita), kao i povećanje mjerila koje se koriste za evaluaciju. 3 Dok se naša trenutačna evaluacija oslanja na HumanEval za procjenu učinkovitosti AutoDev-a u dva zadatka kodiranja, naš budući rad ima za cilj proširiti ovu evaluaciju na izazovnije i stvarne skupove podataka, kao što su oni koji nude Copilot Evaluation Harness. 6.3 AI u softverskom inženjeringu interakcija Dok su prethodni radovi istražili raskrižje AI-a i softverskog inženjeringa, malo ih je proučavalo programiranje pod vodstvom AI-a unutar IDE interakcija. AutoDev, kao što je predstavljeno u ovom članku, hvata inspiraciju iz postojećih radova u literaturi dok pojačava njihov doprinos. LATS (Language Agent Tree Search) – potraga za jezikom i razmatranja Svaki od njih predstavlja jedinstvene pristupe AI-drivenim zadaćama. 8 23 17 Sljedeći Članak Auto-GPT [ ] djeluje usklađivanjem GPT-3.5 i GPT-4 s pratiteljevim botom, omogućujući korisnicima da upute te jezikovne modele na određene ciljeve. 8 Sljedeći [ ] , s druge strane, je opći okvir koji sinergizira mogućnosti LLM-ova u planiranju, djelovanju i razmatranju. Inspiriran pretraživanjem Monte Carlo stabla, koji se obično koristi u učenju o pojačavanju na temelju modela, LATS zapošljava LLM-ove kao agente, vrijednosne funkcije i optimizatore, poboljšavajući donošenje odluka. 23 Razmišljanje [ ] uvodi novi okvir za jačanje jezičnih agenata kroz jezičnu povratnu informaciju. Agenti za refleksiju verbalno reflektiraju na signale za povratnu informaciju, održavajući svoj reflektivni tekst u epizodnom memorijskom bufferu za poboljšanje donošenja odluka. Ovaj fleksibilni okvir uključuje različite vrste i izvore signala za povratnu informaciju i pokazuje značajna poboljšanja u odnosu na agente za bazu u različitim zadaćama, uključujući uzastopno donošenje odluka, kodiranje i jezično razmatranje. 17 AutoDev specijalizira ove ideje za područje softverskog inženjeringa, nudeći fleksibilan okvir koji omogućuje AI agentima da dovrše složene SE zadatke u potpunoj autonomiji.Naš rad ima za cilj ukloniti jaz između tradicionalnih softverskih inženjering praksi i AI-vodene automatizacije, olakšavajući suradnju između programera i AI agenata.Uvođenjem svestrane knjižnice alata, AutoDev osnažuje AI agente da samostalno obavljaju složene zadatke, pružajući obećavajući napredak u krajoliku AI-vodenog softvera. 7 Conclusion U ovom članku predstavili smo AutoDev, okvir koji AI agentima omogućuje da samostalno komuniciraju s repozitorijima, provode akcije i rješavaju složene zadatke softverskog inženjeringa. Prebacili smo odgovornost za izvlačenje relevantnog konteksta za zadatke softverskog inženjeringa i validaciju koda generiranog AI-om od korisnika (uglavnom programera) na same AI agente. Uloga programera unutar okvira AutoDev mijenja se od ručnih akcija i validacije AI prijedloga do supervizora koji nadzire suradnju s više agenata na zadacima, uz mogućnost pružanja povratnih informacija. Naša evaluacija na HumanEval skupu podataka za proizvodnju koda i testiranje pokazala je impresivne rezultate, postižući Pass@1 rezultat od 91.5 za proizvodnju koda – drugi najbolji rezultat na tablici u vrijeme pisanja i najbolji među pristupima koji ne zahtijevaju dodatne podatke o osposobljavanju. Gledajući naprijed, naš je cilj za budući rad integrirati AutoDev u IDE kao chatbot iskustvo i uključiti ga u CI / CD pipelines i PR revizijske platforme. referenciji [1] Generacija kodova na humaneval - state-of-the-art. 2024. pristupljeno: 2024-02-27. HNPS u BiH na paperswithcode.com/sota/code-generation-on-humaneval GitHub copilot: Vaš par programera. 2024. Sljedeći Članak github.com/features/ Kopilot je [3] Agarwal, A., Chan, A., Chandel, S., Jang, J., Miller, S., Moghad-dam, R. Z., Mohylevskyy, Y., Sundaresan, N., and Tufano, M. Copi-lot evaluation harness: Evaluating llm-guided software programming, 2024. [4] Chen, B., Mustakin, N., Hoang, A., Fuad, S., i Wong, D. Vscuda: Llm temelji cuda proširenje za vizualni studio kod. (New York, NY, USA, 2023), SC-W ’23, Association for Computing Machinery, str. 23. radionica Međunarodne konferencije o računalstvu visokih performansi, mreži, skladištenju i analizi [5] Chen, M., Tworek, J., Jun, H., Yuan, Q., de Oliveira Pinto, H. P., et al. Procjenjivanje velikih jezičnih modela osposobljenih na kodu. [6] Ding, Y., Wang, Z., Ahmad, W., Ding, H., Tan, M., Jain, N., Ra-manathan, M. K., Nallapati, R., Bhatia, P., Roth, D., et al. Cross-codeeval: Raznolika i višejezična referentna vrijednost za dovršetak križnog koda datoteke. 2024 ) Napredak u neuralnim informacijskim sustavima 36 [7] Floridi, L. i Chiriatti, M. Gpt-3: Njegova priroda, opseg, granice i posljedice. (2020), od 681 do 694. Umovi i strojevi 30 [8] Gravitas i S. Autogpt 2024 GitHub repozitorij. hNps://github.com/Significant-Gravitas/ Automobilski prijevoz, [9] Lu, S., Guo, D., Ren, S., Huang, J., Svyatkovskiy, A., Blanco, A., Clement, C., Drain, D., Jiang, D., Tang, D., Li, G., Zhou, L., Shou, L., Zhou, L., Tufano, M., Gong, M., Zhou, M., Duan, N., Sundaresan, N., Deng, S. K., Fu, S., i Liu, S. Codexglue: Sastav referentnih podataka za strojno učenje za razumijevanje i generiranje koda, 2021. [10] Nam, D., Macvean, A., Hellendoorn, V., Vasilescu, B., and Myers, B. In-ide generation-based information support with a large language model, 2023. [11] Almeida, Almeida, D., Altenschmidt, J., Goonti, S., Anadkat, S., Avila, R., Babuschkin, I., Balaji, S., Balcom, V., Brockman, G., Baltescu, P., Bao, H., Bavarski, M., Belgum, M., Button, K., Cai, T., Berdine, R., Cann, Fulyiro, G., Berner, C., Bogdonoff, L., Boiko, O., Boyd, M., Cumling-man, A.-L., Brockman, G., Brockman, T., Brundage, M., Button, K., Cai, T., Campbell, R., Cann, A., Carey, B., Carlson, C., Berner, C., Carmichael, R., Chan, B., Chang, Ch Grafstein, M., Gray, S., Greene, R., Gross, J., Gu, S. S., Guo, Y., Hallacy, C., Han, J., Harris, J., He, Y., Heaton, M., Heidecke, J., Hesse, C., Hickey, A., Hickey, W., Hoeschele, P., Houghton, B., Hsu, K., Hu, S., Hu, X., Huizinga, J., Jain, S., Jain, S., Jang, J., Jiang, A., Jiang, R., Jin, H., Jin, D., Jomoto, S., Jonn, B., Jun, H., Kaftan, T., Łukasz Kaiser, Kamali, A., Kanitscheider, I., Keskar, N. S., Khan, T., Kilpatrick, L., Kim, J. W., Kim, C., Kim, Y., Kirchner, J. H., Kiros, J., Knight, M., Kokotajlo, D., Łukasz Kondraciuk, Kondrich, A., Konstantinidis, A., Kosic, K., Krueger, G., Kuo, V., Lampe, M., Lan, I., Lee, T., Leike, J., Leung, J., Levy, D., Li, C. M., Lim, R., Lin, M., Lin, S., Litwin, M., Lopez, T., Lowe, R., Lue, P., Makanju, A., Mal-facini, K., Manning, S., Markov, T., Markovski, Y., Martin, B., Mayer, K., Mayne, A., McGrew, B., McKinney, S. M., McLeavey, C., McMillan, P., McNeil, D., Nair, A., Medina, D., Mehta, A., Menik, J., Metz, L., Mishchenko, A., Mishkin, P., Monaco, V., Morikawa, E., Poking, D., Mu, T., Murati, M., Murk, O., Mély, D., Nair, A., Nakano, R., Mehta, R., Neelak, A., Ngo, R., Noh A., Weihang, J., Ramesh, A., Raymond, C., Real, F., Rimbach, K., Ross, C., Rotsted, B., Roussez, H., Ryder, N., Saltarelli, M., Sanders, T., Santurkar, S., Sastry, G., Schmidt, K., Sohl, I., Sokolowsky, B., Song, Y., Schulman, J., Staudacher, N., Such, F. P., Summers, N., Sutieh, J., Shoker, S., J., Temba, Yoo Tezak, N., Sidor, S., Sigler, E., Simens, M., Sitkin, J., Slama, K., Sohl, I., Sokolowsky, B., Song, Y., Selsam, D., Sheppard, N., Such, F. P., Summ [12] OpenAI. Gpt 3.5 modeli, 2023. [13] OpenAI. Gpt-4 tehničko izvješće, 2023. [14] Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., et al. Obuka lan-guage modela da slijede upute s ljudskim povratnim informacijama. (2022), 27730 – 27744. Napredak u neuralnim informacijskim sustavima 35 [15] Rae, J. W., Borgeaud, S., Cai, T., Millican, K., i drugi. Modeliranje jezika: metode, analiza i uvid iz treninga gopher, 2022. [16] Roziere, B., Gehring, J., Gloeckle, F., Sootla, S., Gat, I., Tan, X. E., Adi, Y., Liu, J., Remez, T., Rapin, J., et al. Code llama: Modeli otvorenog temelja za kodiranje. 2023 ) arXiv preprint arXiv:2308.12950 [17] Shinn, N., Cassano, F., Berman, E., Gopinath, A., Narasimhan, K., i Yao, S. Razmišljanje: Jezični agenti s verbalnim jačanjem učenja, 2023. [18] Smith, S., Patwary, M., Norick, B., LeGresley, P., Rajbhandari, S., Casper, J., Liu, Z., Prabhumoye, S., Zerveas, G., Korthikanti, V., Zhang, E., Child, R., Aminabadi, R. Y., Bernauer, J., Song, X., Shoeybi, M., He, Y., Houston, M., Tiwary, S., i Catanzaro, B. Korištenje dubinske brzine i megatron za treniranje megatron-turing nlg 530b, model generativnog jezika velikih razmjera, 2022. [19] Srivastava, A., Rastogi, A., Rao, A., Shoeb, A. A. M., et al. Iznad imitacijske igre: Kvantificiranje i ekstrapoliranje sposobnosti jezičnih modela, 2023. [20] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., i Polosukhin, I. Pozornost je sve što vam je potrebno. (2017. godine) Napredak u neuralnim informacijskim sustavima 30 [21] Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., i Bowman, S. R. Glue: Multi-task referentna i analitička platforma za razumijevanje prirodnog jezika, 2019. [22] Wu, Q., Bansal, G., Zhang, J., Wu, Y., Li, B., Zhu, E., Jiang, L., Zhang, X., Zhang, S., Liu, J., Awadallah, A. H., White, R. W., Burger, D., i Wang, C. Autogen: Omogućavanje sljedeće generacije aplikacija llm putem multi-agent razgovora, 2023. [23] Zhou, A., Yan, K., Shlapentokh-Rothman, M., Wang, H., i Wang, Y.-X. Jezik agent stablo pretraživanje ujedinjuje rasuđivanje djelovanje i planiranje u jezikovnim modelima, 2023. Ovaj dokument je dostupan na arhivu pod licencom CC by 4.0 Deed (Attribution 4.0 International). Ovaj dokument je dostupan na arhivu pod licencom CC by 4.0 Deed (Attribution 4.0 International).

AutoDev: Automatizirani AI-driven razvoj

About Author

KOMENTARI

VIJESI OZNAKE

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps