AutoDev: automatiserad AI-driven utveckling

Författare : Michele Tufano (Microsoft, Redmond, USA) Anisha Agarwal (Microsoft, Redmond, USA) Jinu Jang (Microsoft, Redmond, USA) Roshanak Zilouchian (Microsoft, Redmond, USA) Neel Sundaresan (Microsoft, Redmond, USA) Författare : Michele Tufano (Microsoft, Redmond, USA) Anisha Agarwal (Microsoft, Redmond, Förenta staterna) Jinu Jang (Microsoft, Redmond, Förenta staterna) Roshanak Zilouchian (Microsoft, Redmond, USA) Neel Sundaresan (Microsoft, Redmond, USA) Abstrakt Landskapet för mjukvaruutveckling har bevittnat ett paradigmskifte med tillkomsten av AI-drivna assistenter, exemplifierat av GitHub Copilot. Men befintliga lösningar utnyttjar inte alla potentiella möjligheter som finns i en IDE, såsom att bygga, testa, köra kod, git-operationer, etc. Därför är de begränsade av sina begränsade möjligheter, främst med fokus på att föreslå kodavsnitt och filmanipulation inom ett chattbaserat gränssnitt. För att fylla detta gap presenterar vi AutoDev, en helt automatiserad AI-driven mjukvaruutvecklingsram, utformad för Planering och utförande av komplexa mjukvarutekniska uppgifter. AutoDev gör det möjligt för användarna att definiera komplexa mjukvarutekniska mål, som tilldelas AutoDevs autonoma AI-agenter för att uppnå. Dessa AI-agenter kan utföra olika operationer på en kodbaserad basis, inklusive redigering av filer, hämtning, byggprocesser, utförande, testning och git-operationer. De har också tillgång till filer, kompilatorutgång, bygg- och testloggar, statiska analysverktyg och mer. Detta gör det möjligt för AI-agenter att utföra uppgifter på ett helt automatiserat sätt med en omfattande förståelse för den kontextuella informationen som krävs. Dessutom skapar AutoDev en säker utvecklingsmiljö genom att begränsa alla operationer inom Docker-behållare. självständigt I vår utvärdering testade vi AutoDev på HumanEval-dataset, vilket resulterade i lovande resultat med 91,5 % respektive 87,8 % av Pass@1 för kodgenerering och testgenerering, vilket visade på dess effektivitet vid automatisering av programvarutekniska uppgifter samtidigt som en säker och användarkontrollerad utvecklingsmiljö upprätthålls. 1 Introduktion Eftersom utvecklare alltmer antar AI-assistenter som ChatGPT för sina utvecklingsuppgifter blir produktivitetsvinster uppenbara. AI-kodningsassistenter har vidareutvecklats till integrerade utvecklingsmiljöer (IDEs) som GitHub Copilot. ], där de erbjuder kodförslag både inom chattgränssnitt och direkt inom filer. 2 Men dessa AI-kodningsassistenter, trots deras integration i IDEs, visar begränsade funktioner och saknar kontextuell medvetenhet. och De utnyttjar ofta inte alla IDE-funktioner som att ringa in linters, kompilatorer eller utföra kommandoradsoperationer, och följaktligen behöver utvecklare fortfarande manuellt validera syntax och säkerställa korrektheten av AI-genererad kod, köra kodbasen och inspektera felloggar. 3 6 AutoDev överbryggar detta gap genom att erbjuda autonoma AI-agenter förmågan att utföra åtgärder som filredigering, re-trieval, build, test och CLI-kommandon direkt i lagret för att uppnå användardefinierade mål, vilket gör det möjligt att slutföra komplexa uppgifter autonomt. AutoDev erbjuder följande nyckelfunktioner: (i) möjligheten att spåra och hantera konversationer mellan användare och AI-agenter genom en , (ii) ett bibliotek av anpassade för att uppnå en mängd olika kod- och SE-relaterade mål, (iii) förmågan att schemalägga olika AI-agenter för att arbeta kollaborativt mot ett gemensamt mål genom en , och (iv) förmågan att köra kod och köra tester genom en . Konversationschef Verktyg Agent Scheduler Utvärderingsmiljö Figurer illustrerar ett högnivåexempel på AutoDev-arbetsflödet. Användaren definierar ett mål (t.ex. testar en specifik metod). AI-agenten skriver test i en ny fil och initierar testutförandekommandot, allt inom en säker utvärderingsmiljö. Utgången av testutförandet, inklusive felloggar, införlivas sedan i konverteringen. AI-agenten analyserar denna utgång, utlöser ett hämtningskommando, integrerar den hämtade informationen genom att redigera filen och återupptar testutförandet. 1 Med befintliga AI-kodningsassistenter integrerade i IDEs skulle utvecklare behöva utföra tester manuellt (t.ex. kör pytest), tillhandahålla felloggar till AI-chattgränssnittet, eventuellt identifiera ytterligare kontextuell information som ska införlivas och upprepa valideringsåtgärder för att säkerställa testets framgång efter att AI genererar reviderad kod. AutoDev drar inspiration från tidigare arbete inom området autonoma AI-agenter. Till exempel AutoGen [ ] är ett ramverk som orkestrerar språkmodellarbetsflöden och underlättar samtal mellan flera agenter. AutoDev utökar AutoGen genom att gå utöver konversationshantering och tillåta agenter att direkt interagera med kodlagret, utföra kommandon och åtgärder autonomt. ], en öppen källkod AI-agent för autonom utförande av uppgifter genom att erbjuda kod och IDE-specifika funktioner för att möjliggöra utförande av komplexa programvarutekniska uppgifter. 22 8 I vår utvärdering utvärderar vi möjligheterna hos AutoDev oss-ing HumanEval dataset[ ], ursprungligen utformad för kodgenerering från beskrivningar på naturligt språk (docstrings). Dessutom utökar vi utvärderingen till att inkludera testfallgenereringsprocessen, vilket visar på AutoDevs mångsidighet vid hantering av olika mjukvaruteknikmål. Resultaten visar lovande prestanda, med AutoDev som uppnår anmärkningsvärda poäng på 91,5% och 87,8% för Pass@1 för kodgenerering och testgenerering respektive. Dessa resultat understryker AutoDevs effektivitet vid automatisering av mjukvaruteknikuppgifter samtidigt som en säker och användarkontrollerad utvecklingsmiljö upprätthålls. 5 2 Autodev Design Översikt över designen som visas i Fig. provides insight into AutoDev’s architecture. Once the initial configurations are complete, AutoDev organizes its capabilities into four groups: a Conversation Manager that tracks and manages the user and agents conversations; a Tools library where a variety of code and IDE related tools are available for the agents, an Agents Scheduler that schedules various agents, and an Evaluation Environment that enables execution operations. Below we explain each capability in details. 2 2.1 Regler, åtgärder och målkonfiguration Användaren initierar processen genom att konfigurera regler och åtgärder via yaml-filer. Dessa filer definierar de tillgängliga kommandon (åtgärder) som AI-agenter kan utföra. Användare kan utnyttja standardinställningar eller fingräddade behörigheter genom att aktivera / inaktivera specifika kommandon, skräddarsy AutoDev till deras specifika behov. Detta konfigurationssteg möjliggör exakt kontroll över AI-agenternas förmågor. På detta stadium kan användaren definiera antalet och beteendet hos AI-agenterna, tilldela specifika ansvarsområden, behörigheter och tillgängliga åtgärder. Till exempel kan användaren definiera en "utvecklare" agent och en "reviewer" agent, som samarbetar mot ett mål. Efter reglerna och åtgärdernas konfiguration anger användaren den mjukvaruingenjörsuppgift eller -process som ska utföras av AutoDev. Till exempel kan användaren be om att generera testfall och se till att de är syntaxiskt korrekta, passerar och att de inte innehåller buggar (detta innebär redigering av filer, körning av testpaket, utförande av syntaxkontroller och verktyg för att hitta buggar). 2.2 Konversationsledare Konversationshanteraren, som ansvarar för att initialisera konversationshistoriken, spelar en viktig roll för att övervaka den pågående konversationens högnivåhantering.Den hanterar uppgiften att bestämma när processen ska avbrytas och säkerställer sömlös kommunikation mellan användaren, AI-agenterna och systemet som helhet.Den upprätthåller ett konversationsobjekt som inkluderar meddelandena från AI-agenterna och resultatet av åtgärderna från Utvärderingsmiljön. Parser tolkar svar som genereras av agenter, extraherar kommandon och argument i ett fördefinierat format. Det säkerställer att instruktionerna är korrekt formaterade, validerar antalet och noggrannheten av argument (t.ex. ett kommando för redigering av filer kräver argumentet filväg). I händelse av analysfel injiceras felmeddelanden i konversationen, vilket förhindrar ytterligare åtgärder på databasen. Framgångsrikt parserade kommandon analyseras ytterligare genom att tillämpa specifika agentbehörigheter och utföra ytterligare semantiska kontroller. Det säkerställer att de föreslagna åtgärderna överensstämmer med de fingröna behörigheterna som anges av användaren. Om kommandot passerar granskning, åberopar konversationshanteraren motsvarande åtgär 2.2.1 Parser. Modulen Output Organizer bearbetar utgången från utvärderingsmiljön. Den väljer viktig information, till exempel status eller fel, alternativt sammanfattar relevant innehåll och lägger till ett välstrukturerat meddelande till konversationshistoriken. 2.2.2 Output Organizer. Översikt över AutoDev Framework: Användaren initierar processen genom att definiera det mål som ska uppnås. Konversationshanteraren initialiserar konversationen och inställningarna. Agent Scheduler organiserar AI-agenter för att samarbeta på uppgiften och vidarebefordrar sina kommandon till konversationshanteraren. Konversationshanteraren analyserar dessa kommandon och åberopar verktygsbiblioteket, som erbjuder olika åtgärder som kan utföras på databasen. Agenternas åtgärder utförs i en säker Docker-miljö och utgången returneras till konversationshanteraren, som integrerar den i den pågående konversationen. Denna iterativa process fortsätter tills uppgiften är framgångsrikt slutförd. Figure 2. Konversationshanteraren bestämmer när konversationen ska avslutas. Detta kan hända när en agent signalerar slutförandet av uppgiften (stop-kommando), konversationen når ett användardefinierat maximalt antal iterationer/tokens, eller problem upptäcks antingen i processen eller inom utvärderingsmiljön. 2.2.3 Conversation Conclusion. 2.3 Agent Scheduler Agent Scheduler ansvarar för att orchestrera AI-agenter för att uppnå det användardefinierade målet. Agenter, konfigurerade med specifika personer och uppsättningar tillgängliga kommandon, arbetar gemensamt för att utföra olika uppgifter. Scheduler använder olika samarbetsalgoritmer, såsom Round Robin, Token-Based, eller Priority-Based, för att bestämma ordningen och sättet på vilket agenter bidrar till konversationen. Specifikt inkluderar schemaläggningsalgoritmer: (i) Round Robin-samarbete, som åberopar varje agent sekventiellt, vilket gör det möjligt för var och en att utföra ett förutbestämt antal operationer; (ii) Token-baserat samarbete, vilket gör det möjligt för en agent att genomföra flera operationer tills den utfärdar en signifikant slut Agenter, som består av stora språkmodeller (LLMs) som OpenAI GPT-4 och små språkmodeller (SLMs) som är optimerade för kodgenerering, kommunicerar genom text naturligt språk. Dessa agenter får mål och konversationshistorier från Agent Scheduler, svarar med åtgärder som anges i konfigurationen Regler och åtgärder. 2.3.1 Agents. 2.4 Verktygsbibliotek Verktygsbiblioteket i AutoDev ger en rad kommandon som ger agenter möjlighet att utföra olika operationer på lagret. Dessa kommandon är utformade för att inkapsla komplexa åtgärder, verktyg och verktyg bakom en enkel och intuitiv kommandostruktur. • är Denna kategori omfattar kommandon för redigering av filer, inklusive kod, konfiguration och dokumentation. Verktygen i denna kategori, till exempel skriva, redigera, infoga och ta bort, erbjuder olika nivåer av granularitet. Agenter kan utföra åtgärder som sträcker sig från att skriva hela filer till att ändra specifika rader inom en fil. , tillåter agenten att skriva om en rad rad rader med nytt innehåll. File Editing - Hämta: I denna kategori sträcker sig hämtarverktyg från grundläggande CLI-verktyg som grep, hitta och ls till mer sofistikerade inbäddningsbaserade tekniker. Dessa tekniker gör det möjligt för agenter att söka upp liknande kodsnitten, vilket förbättrar deras förmåga att hämta relevant information från kodbasen. Till exempel tillåter kommandot hämta agenten att utföra inbäddningsbaserad hämta av liknande avsnitten till det tillhandahållna innehållet. Build & Execution: Kommandon i den här kategorin gör det möjligt för agenter att kompilera, bygga och köra kodbasen utan ansträngning med enkla och intuitiva kommandon. Komplexiteten hos kommandon på låg nivå är abstrakt, vilket effektiviserar processen inom Evaluation Environment-infrastrukturen. Exempel på kommandon i denna kategori inkluderar: build, run . Testning och validering: Dessa kommandon gör det möjligt för agenter att testa kodbasen genom att köra ett enda testfall, en specifik testfil eller hela testpaketet. Agenter kan utföra dessa åtgärder utan att förlita sig på kommandon på låg nivå som är specifika för specifika testramar. Denna kategori omfattar också valideringsverktyg som linters och verktyg för felsökning. Exempel på kommandon i denna kategori inkluderar: syntax som kontrollerar syntaxens korrekthet och test som kör hela testpaketet. Git: Fina behörigheter för git-operationer kan konfigureras av användaren. Detta inkluderar operationer som commits, push och fusioner. Till exempel kan agenter beviljas behörighet att endast utföra lokala commits eller, om nödvändigt, driva ändringar till ursprungsregisteret. Kommunikation: Agenter kan åberopa en uppsättning kommandon som syftar till att underlätta kommunikationen med andra agenter och/eller användaren.Anmärkningsvärt är att talkommandot gör det möjligt att skicka meddelanden på naturligt språk (inte tolkat som kommandon för lagringsåtgärder), kommandot frågar används för att begära användarens feedback, och stopparkommandot avbryter processen, vilket indikerar måluppnåelse eller agenternas oförmåga att fortsätta. Verktygsbiblioteket i AutoDev ger därmed en mångsidig och tillgänglig uppsättning verktyg för AI-agenter att interagera med kodbasen och kommunicera effektivt inom den samarbetsvilliga utvecklingsmiljön. 2.5 Utvärderingsmiljö Utvärderingsmiljön körs i en Docker-behållare och möjliggör säker utförande av kommandon för redigering, hämta, bygga, utföra och testa filer. Den tar bort komplexiteten hos kommandon på låg nivå, vilket ger ett förenklat gränssnitt för agenter. Utvärderingsmiljön returnerar standardutgång/fel till modulen Output Organizer. 2.6 Sätta allting ihop Användaren initierar konversationen genom att ange målet och associerade inställningar. Konversationshanteraren initialiserar ett konversationsobjekt, konsoliderar meddelanden från både AI-agenter och utvärderingsmiljön. Därefter skickar konversationshanteraren konversationen till Agent Scheduler, som ansvarar för att samordna AI-agenternas åtgärder. I sin roll som AI-agenter föreslår Language Models (Large eller Small LMs) kommandon genom textinteraktioner. Commands Interface omfattar en mångsidig uppsättning funktioner, inklusive File Editing, Retrieval, Build and Execution, Testing och Git operationer. Dessa föreslagna kommandon analyseras sedan av Conversation Manager, som sedan dirigerar dem till utvärderingsmiljön för utförande på kodbasen. Utförandet av dessa kommandon sker inom de säkra gränserna för utvärderingsmiljön, inkapslade i en Docker-behållare. Efter utförandet integreras de resulterande åtgärderna sömlöst i konversationshistoriken, vilket bidrar till efterföljande iterationer. Denna iterativa process kvarstår tills uppgiften anses fullständig av agenterna, användarintervention inträffar eller den maximala iterationsgränsen uppnås. AutoDevs design säkerställer en systematisk och säker orkestrering av AI-agenter för att uppnå komplexa mjukvarutekniska uppgifter på ett autonomt och användarkontrollerat sätt. 3 Empirisk design I vår empiriska utvärdering strävar vi efter att utvärdera AutoDevs förmåga och effektivitet i mjukvaruingenjörsuppgifter och undersöka om den kan förbättra en AI-modells prestanda utöver enkel inferens. Forskningsfrågor RQ1: Hur effektiv är AutoDev i kodgenerering uppgift? RQ2: Hur effektiv är AutoDev i testgenerering uppgift? RQ3: Hur effektiv är AutoDev när det gäller att slutföra uppgifter? RQ1: Hur effektiv är AutoDev i kodgenerering uppgift? För att ta itu med RQ1 utvärderar vi AutoDevs prestanda i en kodgenererande uppgift med hjälp av HumanEval-datasetet för problemlösning i Python.Denna dataset innehåller 164 handskrivna programmeringsproblem, var och en innehåller en funktionssignatur, docstring, kropp och i genomsnitt 7,7 enhetstester.I vår bedömning levereras AutoDev med en partiell fil som innehåller funktionssignaturen och docstring, med målet att implementera metoden. Vi mäter AutoDevs effektivitet med hjälp av Pass@k-metriken, där k representerar antalet försök som gjorts. Ett framgångsrikt löst problem definieras som ett där Au-toDev genererar koden för metodens kropp, vilket uppfyller alla mänskligt skrivna tester. Ett försök motsvarar en hel AutoDev-konversation, som involverar flera inferenssamtal och steg. Detta kontrasterar med andra tillvägagångssätt, som att direkt åberopa GPT-4, vilket vanligtvis innebär ett enda inferenssamtal. Detaljer om de flera inferenssamtal och steg utforskas ytterligare i RQ3. För denna utvärdering ställer vi k = 1, därmed beräknar Pass@1, med hänsyn endast till framgången som uppnåtts i det första försöket. RQ2: Hur effektiv är AutoDev i testgenerering uppgift? För denna forskningsfråga modifierar vi HumanEval-dataset för att utvärdera AutoDev:s förmåga i testgenerering. Vi överväger den mänskligt skrivna lösningen och avvisar de föreslagna mänskligt skrivna testerna. AutoDev instrueras att generera testfall för den fokuserade metoden och utvärderas baserat på testframgång, inbjudan till den fokuserade metoden och testtäckning. Vi rapporterar Pass@1, med tanke på att testerna lyckas om de passerar och åberopar den fokuserade metoden. Dessutom jämför vi täckningen av AutoDev:s tester med de som skrivs av människor. RQ3: Hur effektiv är AutoDev när det gäller att slutföra uppgifter? Vi analyserar antalet steg eller inferenssamtal som behövs, fördelningen av kommandon som används (t.ex. skriva, testa) och det totala antalet tokens som används i konversationen. AutoDev inställningar För denna utvärdering upprätthåller AutoDev enhetliga inställningar med en agent baserad på GPT-4-modellen (gpt-4-1106-förhandsgranskning). Aktiva åtgärder inkluderar redigering av filer, hämtning och testning. Den enda tillgängliga kommunikationskommandot är stoppkommandot, vilket indikerar slutförandet av uppgiften. Andra kommandon, till exempel fråga, är inaktiverade, vilket kräver att AutoDev fungerar autonomt utan mänsklig feedback eller ingripande bortom den ursprungliga målsättningen. 4 Empiriska resultat Q1: Hur effektiv är AutoDev i en kodgenerering uppgift? bordet visar resultaten för RQ1, som jämför AutoDev mot två alternativa tillvägagångssätt och baslinjen för nollskott.Tabellen innehåller information om modellen som driver varje tillvägagångssätt, behovet av ytterligare utbildning och Pass@1-metriken. 1 Vi jämförde AutoDev med Language Agent Tree Search (LATS) och Reflexion, två ledande tillvägagångssätt på Hu-manEval-ledartavlan från mars 2024 [ ].Resultaten för nollskott baslinjen (GPT-4) tas från OpenAI GPT-4 teknisk rapport [ [ ], medan de för LATS och Reflexion från HuamnEval leaderboard [ och . 1 11 1 Språkagent träd sökning (LATS) ] är en mångsidig ram som använder Large Language Models (LLMs) för planering, handling och resonemang. Inspirerad av Monte Carlo-trädsökning, använder LATS LLMs som agenter, värdefunktioner och optimerare, återanvända sina förmågor för förbättrat beslutsfattande. 23 Reflektioner [ ] introduces a unique framework to reinforce language agents via linguistic feedback without weight updates. Agents in Reflexion verbally reflect on task feedback signals, maintaining their reflective text in an episodic memory buffer for enhanced decision-making. 17 bordet indikerar att AutoDev uppnår en Pass@1-frekvens på 91.5%, vilket säkerställer den näst bästa positionen på HumanEval-ledarpanelen. Anmärkningsvärt är att detta resultat erhålls utan ytterligare utbildningsdata, vilket skiljer AutoDev från LATS, vilket uppnår 94,4%. Dessutom förbättrar AutoDev-ramverket GPT-4-prestanda från 67% till 91.5%, vilket markerar en 30% relativ förbättring. 1 Dessa resultat understryker AutoDev: s förmåga att avsevärt förbättra LLM: s prestanda vid slutförandet av programvarutekniska uppgifter.Det är dock värt att notera att AutoDev: s effektivitet kan innebära flera inferenssamtal och steg, eftersom vi fördjupar oss i mer detaljer i RQ3. RQ2: Hur effektiv är AutoDev i testgenerering uppgift? bordet presenterar resultaten för RQ2, jämförande AutoDev med nollskottet GPT-4 (baslinje) och mänskliga skrivna tester i testgenereringsprocessen.Eftersom OpenAI inte har utvärderat GPT-4 på testgenereringsprocessen, fick vi nollskottet GPT-4 resultat genom att åberopa slutsatsen med instruktionsuppmaning på samma GPT-4-modell som används för AutoDev. 2 AutoDev uppnådde en Pass@1-poäng på 87,8% på HumanEval-dataset som modifierats för testgenereringsprocessen, vilket visade en relativ förbättring på 17% jämfört med baslinjen som använder samma GPT-4-modell.De korrekta testerna som genererades av AutoDev (inklusive i Pass@1) rapporterade en robust 99,3% täckning, jämförbar med de mänskligt skrivna testens täckning på 99,4%. Rapporterar den övergripande täckningen över hela dataset av testfall, med felaktiga eller misslyckade tester som bristande täckning. 2 Dessa resultat bekräftar AutoDevs skicklighet i att ta itu med olika mjukvarutekniska uppgifter. RQ3: Hur effektiv är AutoDev när det gäller att slutföra uppgifter? Figurer illustrerar det kumulativa antalet kommandon som används av AutoDev för både Code Generation och Test Generation-uppgifter, med hänsyn till det genomsnittliga antalet kommandon som används för att utvärdera varje HumanEval-problem i RQ1 och RQ2. 3 För Code Generation utförde AutoDev ett genomsnitt av 5.5 kommandon, bestående av 1,8 skrivoperationer, 1,7 testoperationer, 0,92 stoppoperationer (indikerar slutförd uppgift), 0,25 felaktiga kommandon, tillsammans med minimal återhämtning (grep, find, cat), syntaxkontrolloperationer och talkommunikationskommandon. I fallet med Test Generation är det genomsnittliga antalet kommandon i linje med Code Generation-uppgiften.Test Generation innebär dock fler hämtningsoperationer och en ökad förekomst av felaktiga operationer, vilket resulterar i ett totalt genomsnitt på 6,5 kommandon per körning. Vi klassificerar ett kommando som felaktigt om det hänvisar till ett otillgängligt kommando eller misslyckas med att analysera (t.ex. felaktig formatering eller parameterantal). De vanligaste felaktiga kommandona involverar AI-agenter som blandar naturligt språk med kod eller kommandon. Medan AutoDev upplever fler inferenssamtal jämfört med metoder som genererar kandidatkod i ett enda samtal, är det viktigt att notera att AutoDev också utför test- och valideringsoperationer, uppgifter som vanligtvis utförs av utvecklare för att validera genererade kandidater. Dessutom kommunicerar AutoDev ofta slutförandet av uppgifter genom talkommandon, vilket ger insikter och tolkningsbarhet för lösningen.En annan anmärkningsvärd kommunikationskommando som bidrar till det övergripande antalet är stoppkommandoen.Detta representerar ett relativt billigt inferenssamtal, vilket bara genererar en token.Potentiella optimeringar kan innebära batchning av sådana operationer med andra kommandon eller inferenser. Den genomsnittliga längden på AutoDev-konversationer för att lösa varje HumanEval-problem i RQ1 och RQ2 är 1656 respektive 1863 tokens. Detta omfattar användarens mål, meddelanden från AI-agenten och svar från utvärderingsmiljön. I jämförelse använder nollskottet GPT-4 (baslinjen) 200 tokens (uppskattad) för kodgenerering och 373 tokens för testgenerering, i genomsnitt, för varje uppgift. Medan AutoDev använder fler tokens, spenderas en betydande summa på testning, validering och förklaring av sin egen genererade kod, som går utöver vad baslinjen erbjuder. Slutligen står AutoDev för exekveringskostnader relaterade till att orchestrera AI-agenter, hantera konversationer och utföra kommandon i en Docker-miljö. Anmärkningsvärt är att den Docker-baserade utvärderingsmiljön står för de största exekveringskostnaderna, vilket visar högre överhead jämfört med direkta CLI-kommandon inom användarens miljö. 5 Diskussion 5.1 AutoDev i aktion siffror (Del I) och (Del II) ger en glimt av Au-toDev i handling under en testgenerering uppgift, med vissa interaktioner sammanfattas eller utelämnas för korthet. AutoDev-agenten initierar skriv-ny kommando, vilket ger filvägen och innehållet i testfilen. AutoDev utför operationen och bekräftar att innehållet skrivs framgångsrikt till agenten. Därefter utlöser AutoDev-agenten testoperationen och AutoDev kör testet i sin säkra Docker-miljö och presenterar testutföranderapporten JSON (sammanfattad i figuren för korthet). 4 5 4 AutoDev-agenten identifierar ett fel i den vanligaste utgången och inser att en fix krävs för att anpassa testet till det förväntade beteendet för funktionen. Fortsätter i figur , utfärdar AutoDev-agenten skrivkommandoen, specificerar filvägen och radnummerintervallet (5-5) för att skriva om den felaktiga påståendet. Därefter fortsätter AutoDev-agenten med testutförandet, vilket nu lyckas. 5 Detta exempel belyser AutoDevs förmåga att självutvärdera sin genererade kod och adressera buggar inom sin egen utgång.Dessutom visar det hur AutoDev underlättar användarens insikt i agentåtgärder, vilket gör det möjligt för agenter att kommunicera under uppgiften. 5.2 Flera samarbetspartners AutoDev stöder multi-agent samarbete på uppgifter, orchestrat av Agent Scheduler. I vår utvärdering, med tanke på den relativa enkelheten i HumanEval-dataset, begränsade vi vår installation till en enda GPT-4-agent för uppgifterna. Men preliminära resultat indikerar den positiva effekten av multi-agent samarbete på mer komplexa uppgifter. Experimentera med en AI Developer och AI Reviewer, var och en med olika ansvar och tillgängliga åtgärder, samarbeta på att fixa en komplex bugg avslöjade intressanta interaktioner. Våra framtida planer innebär att utvidga utvärderingarna för att inkludera mer komplexa scenarier där multi-agent-samarbete kan förbättra AutoDevs prestanda avsevärt. 5.3 Människan i loppet AutoDev tillåter AI-agenter att kommunicera framsteg på uppgifter eller begära mänsklig feedback med hjälp av samtals- och fråga-kommandon, respektive. Anekdotiskt sett har dessa kommandon visat sig vara användbara för utvecklare som använder AutoDev för att förstå agentens avsikter och få insikter i agentens plan. Våra framtida planer innebär en djupare integration av människor inom AutoDev-slingan, vilket gör det möjligt för användare att avbryta agenter och ge snabb feedback. 5.4 Autodev integrationer Vår pilotstudie involverade utvecklare som använder AutoDev som ett CLI-kommando, med konversationen tillgänglig för observation inom VSCode IDE. Framåt är vårt mål att integrera AutoDev i IDEs, skapa en chatbot-upplevelse och integrera den i CI/CD-rörledningar och PR-översynsplattformar.Vi ser utvecklare tilldela uppgifter och problem till AutoDev, granska resultat inom ett PR-system och ytterligare effektivisera arbetsflödet för mjukvaruutveckling. 6 Relaterade arbeten Vårt arbete bygger på en omfattande litteratur som tillämpar AI på olika programvarutekniska uppgifter.I det här avsnittet utforskar vi den senaste utvecklingen och sammanfattar AutoDev inom detta rika forskningslandskap. 6.1 AI i mjukvaruteknik Integrationen av AI, särskilt Large Language Models (LLMs), i mjukvarutekniken har bevittnat betydande framsteg. För att utföra instruktioner [ ] och GPT-4 [ ] har utnyttjat Transformers arkitektur [ ] för att förstå och generera inte bara naturligt språk, men också källkod. Den massiva parameter storlekar av LLMs, såsom de i Gropher [ ] and Megatron-Turing NLG [ ] och GPT-4 [ ] tillät dessa AI-modeller att uppnå imponerande prestanda över olika uppgifter. 7 14 13 20 15 18 13 Eftersom mjukvaruutvecklingsmetoder fortsätter att utvecklas blir integrationen av banbrytande tekniker avgörande för att förbättra utvecklarens produktivitet. ]. Bland de anmärkningsvärda framstegen har användningen av LLMs inom integrerade utvecklingsmiljöer (IDEs) fått betydande uppmärksamhet [ och ]. LLMs, inklusive framstående modeller som OpenAI: s GPT-3.5 [ ] och GPT-4 [ ], samt robusta open source-modeller som Code Llama [ ], visa potentialen att fungera som intelligenta programmeringsassistenter. 5 4 10 12 13 16 I denna artikel introducerar vi AutoDev, en omfattande ram för autonoma programvarutekniska uppgifter inom en säker utvecklingsmiljö. AutoDev sträcker sig utöver befintliga arbeten genom att tillhandahålla ett mångsidigt verktygsbibliotek, vilket ger AI-agenter möjlighet att självständigt utföra komplexa uppgifter, såsom kodredigering, testning och integration. AutoDev är också LLM-agnostik, med en infrastruktur som gör det möjligt för en mångsidig uppsättning AI-modeller, med olika parameterstorlekar och arkitekturer, att samarbeta på en given uppgift. 6.2 Utvärdering av LLMs i mjukvaruteknik Utvärdering av LLM för programvaruingenjörsuppgifter utgör unika utmaningar. traditionella språkbaserade mätvärden, såsom BLEU, har varit fokus för tidigare forskning, med utvärderingar som utförs på statiska datamängder som GLUE [ ] och BIGBench [ Men dessa mätvärden saknas ofta för att fånga viktiga programmeringsaspekter som syntaxkorrekthet och exekveringsbaserade mätvärden som bygga och testa. 21 19 CodeXGLUE är [ ] har tagit itu med dessa begränsningar genom att tillhandahålla en omfattande utvärderingsplattform för LLM i mjukvaruteknik.Det erbjuder en mångsidig benchmark dataset tillsammans med baslinjemodeller som CodeBERT och CodeGPT. 9 Människan [ ] contributes to the field by focusing on the functional correctness of LLMs, introducing a benchmark dataset of hand-written programming problems in Python. In recent developments, the Copilot Evaluation Harness 5 [ ] bygger på tidigare arbeten i litteraturen, som syftar till att förbättra deras bidrag. På samma sätt som HumanEval, Copilot Evaluation Harness innehåller överväganden av kodutförande, men utökar spektrumet av mjukvaruteknik uppgifter (kod, test och dokumentation generation, arbetsyta förståelse och fråga upplösning) samt öka de mätvärden som används för utvärdering. 3 Medan vår nuvarande utvärdering förlitar sig på HumanEval för att bedöma effektiviteten hos AutoDev i två kodningsuppgifter, syftar vårt framtida arbete till att utvidga denna utvärdering till mer utmanande och verkliga datasatser, såsom de som erbjuds av Copilot Evaluation Harness. 6.3 AI i programvaruingenjörsinteraktioner Medan tidigare arbeten har utforskat korsningen mellan AI och mjukvaruteknik, har få fördjupat sig i AI-styrd programmering inom IDE-interaktioner. AutoDev, som introducerats i denna artikel, drar inspiration från befintliga arbeten i litteraturen samtidigt som deras bidrag förstärks. LATS (Language Agent Tree Search) – sökning efter språkagent ] och reflektion [ ], each presenting unique approaches to AI-driven tasks. 8 23 17 Förbättringsbilar [ ] fungerar genom att para GPT-3.5 och GPT-4 med en följeslagare bot, vilket gör det möjligt för användare att instruera dessa språkmodeller på specifika mål. 8 Låtarna [ ] , å andra sidan, är en allmän ram som synergiserar LLM: s förmågor i planering, handling och resonemang. Inspirerad av Monte Carlo-trädsökning, vanligtvis används i modellbaserat förstärkningsinlärning, använder LATS LLMs som agenter, värdefunktioner och optimerare, vilket förbättrar beslutsfattandet. Det introducerar en miljö för extern feedback, som erbjuder en avsiktlig och adaptiv problemlösningsmekanism. 23 Reflektioner [ ] introducerar en ny ram för att förstärka språkagenter genom språklig feedback. Reflexionsagenter reflekterar verbalt på uppgiftsfeedback-signaler, behåller sin reflekterande text i en episodisk minnesbuffert för förbättrat beslutsfattande. Denna flexibla ram innehåller olika typer och källor till feedback-signaler och visar betydande förbättringar jämfört med baslinjeagenter i olika uppgifter, inklusive sekventiell beslutsfattande, kodning och språkbaserad resonemang. 17 AutoDev specialiserar sig på dessa idéer för programvaruteknikområdet, och erbjuder ett flexibelt ramverk som gör det möjligt för AI-agenter att slutföra komplexa SE-uppgifter i fullständig autonomi.Vårt arbete syftar till att överbrygga klyftan mellan traditionella mjukvaruteknikpraxis och AI-driven automation, vilket underlättar samarbetsinsatser mellan utvecklare och AI-agenter. 7 Slutsats I den här artikeln introducerade vi AutoDev, ett ramverk som gör det möjligt för AI-agenter att interagera autonomt med lagringsplatser, utföra åtgärder och ta itu med komplexa programvarutekniska uppgifter.Vi har flyttat ansvaret för att extrahera relevant kontext för programvarutekniska uppgifter och validera AI-genererad kod från användare (huvudsakligen utvecklare) till AI-agenterna själva. Utvecklarens roll inom AutoDev-ramverket förändras från manuella åtgärder och validering av AI-förslag till en handledare som övervakar samarbete mellan flera agenter på uppgifter, med möjlighet att ge feedback. Vår utvärdering av HumanEval-dataset för kod- och testgenerering visade imponerande resultat, vilket resulterade i en Pass@1-poäng på 91.5 för kodgenerering – det näst bästa resultatet på listan vid tidpunkten för skrivandet och det bästa bland metoder som inte kräver ytterligare utbildningsdata. Framåtblickande är vårt mål för framtida arbete att integrera AutoDev i IDEs som en chatbot-upplevelse och integrera den i CI/CD-rörledningar och PR-översynsplattformar. Referenser [1] Kodgenerering på humaneval - state-of-the-art. Tillgänglig: 2024-02-27. HNPS är på paperswithcode.com/sota/code-generation-on-humaneval [2] GitHub copilot: Din ai pair programmerare. 2024. hNps://github.com/funktioner/ av Copilot, [3] Agarwal, A., Chan, A., Chandel, S., Jang, J., Miller, S., Moghad-dam, R. Z., Mohylevskyy, Y., Sundaresan, N., och Tufano, M. Copi-lot utvärdering harness: Utvärdering av llm-styrd programvara, 2024. [4] Chen, B., Mustakin, N., Hoang, A., Fuad, S., och Wong, D. Vscuda: Llm baserad cuda förlängning för visuell studio kod. (New York, NY, USA, 2023), SC-W ’23, Association for Computing Machinery, s. 11–17. Proceedings of the SC ’23 Workshops of the International Conference on High Performance Computing, Network, Storage, and Analysis (Förberedelser från SC ’23 Workshops of the International Conference on High Performance Computing, Network, Storage, and Analysis) [5] Chen, M., Tworek, J., Jun, H., Yuan, Q., de Oliveira Pinto, H. P., et al. Utvärdera stora språkmodeller utbildade på kod. [6] Ding, Y., Wang, Z., Ahmad, W., Ding, H., Tan, M., Jain, N., Ra-manathan, M. K., Nallapati, R., Bhatia, P., Roth, D., et al. Cross-codeeval: En mångsidig och flerspråkig benchmark för cross-file kodutförande. Det är 2024! Framsteg i Neural Information Processing Systems 36 [7] Floridi, L., och Chiriatti, M. Gpt-3: Dess natur, omfattning, gränser och konsekvenser. 2020 och 681–694. Män och maskiner 30 [8] Gravitas och S. Autogpt 2024 GitHub repository. hNps://github.com/Significant-Gravitas/ förbilda sig, [9] Lu, S., Guo, D., Ren, S., Huang, J., Svyatkovskiy, A., Blanco, A., Clement, C., Drain, D., Jiang, D., Tang, D., Li, G., Zhou, L., Shou, L., Zhou, L., Tufano, M., Gong, M., Zhou, M., Duan, N., Sundaresan, N., Deng, S. K., Fu, S., och Liu, S. Codexglue: En datasats för maskininlärning för kodförståelse och generering, 2021. [10] Nam, D., Macvean, A., Hellendoorn, V., Vasilescu, B., och Myers, B. In-ide generation-baserat informationsstöd med en stor språkmodell, 2023. [11] FedAI, :, Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., Almeida, D., Altenschmidt, J., Goonti, S., Anadkat, S., Avila, R., Babuschkin, I., Boyd, M., Cumling-man, A.-L., Brockman, G., Baltescu, T., Brundage, M., Belgum, M., Button, K., Cai, T., Berdine, R., Cann, A., Fulyiro, G., Berner, C., Bogdonoff, L., Chan, B., Chang, C., Chantz, F., Degen, Chen, D., Brockman, Chen, S., Brundage, M., J., Button, K., Cai, T., Campbell, R Grafstein, M., Gray, S., Greene, R., Gross, J., Gu, S. S., Guo, Y., Hallacy, C., Han, J., Harris, J., He, Y., Heaton, M., Heidecke, J., Hesse, C., Hickey, A., Hickey, W., Hoeschele, P., Houghton, B., Hsu, K., Hu, S., Hu, X., Huizinga, J., Jain, S., Jain, S., Jang, J., Jiang, A., Jiang, R., Jin, H., Jin, D., Jomoto, S., Jonn, B., Jun, H., Kaftan, T., Łukasz Kaiser, Kamali, A., Kanitscheider, I., Keskar, N. S., Khan, T., Kilpatrick, L., Kim, J. W., Kim, C., Kim, Y., Kirchner, J. H., Kiros, J., Knight, M., Kokotajlo, D., Łukasz Kondraciuk, Kondrich, A., Konstantinidis, A., Kosic, K., Krueger, G., Kuo, V., Lampe, M., Lan, I., Lee, T., Leike, J., Leung, J., Levy, D., Li, C. M., Lim, R., Lin, M., Lin, S., Litwin, M., Lopez, T., Lowe, R., Lue, P., Makanju, A., Mal-facini, K., Manning, S., Markov, T., Markovski, Y., Martin, B., Mayer, K., Mayne, A., McGrew, B., McKinney, S. M., McLeavey, C., McMillan, O., Mély, D., Nair, A., Medina, D., Mehta, A., Menick, J., Metz, L., Mishchenko, A., Mishkin, P., Monaco, V., Morikawa, E., Poking, D., Mu, T., Murati, M., Murk, O., Mély, D., Nair, A., Nakano, R., Mehta, R., Neelak, A., Ngo, R., Noh, A., Weihang, J., Ramesh, A., Raymond, C., Real, F., Rimbach, K., Ross, C., Rotsted, B., Roussez, H., Ryder, N., Saltarelli, M., Sanders, S., Santurkar, S., Sastry, G., Schmidt, K., Sohl, I., Sokolowsky, B., Song, Y., Schulman, J., Staudacher, N., Such, F. P., Summers, S. J., Shieh, I., J., Tang, J., Tezak, N., Sidor, S., Sigler, E., Simens, M., Sitkin, J., Slama, K., Sohl, I., Sokolowsky, B., Song, Y., Selsam, D., Sheppard, K., N., Such, F. P., Summers [12] OpenAI. Gpt 3.5 modeller, 2023. [13] OpenAI. Gpt-4 teknisk rapport, 2023. [14] Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., et al. Träning lan-guage modeller för att följa instruktioner med mänsklig feedback. (2022), 27730–27744 Framsteg i Neural Information Processing Systems 35 [15] Rae, J. W., Borgeaud, S., Cai, T., Millican, K., och andra. Skala språkmodeller: Metoder, analyser och insikter från träning gopher, 2022. [16] Roziere, B., Gehring, J., Gloeckle, F., Sootla, S., Gat, I., Tan, X. E., Adi, Y., Liu, J., Remez, T., Rapin, J., et al. Code llama: öppna grundmodeller för kod. Det är 2023! arXiv förskrivning arXiv:2308.12950 [17] Shinn, N., Cassano, F., Berman, E., Gopinath, A., Narasimhan, K., och Yao, S. Reflexion: Språkagenter med verbal förstärkning inlärning, 2023. [18] Smith, S., Patwary, M., Norick, B., LeGresley, P., Rajbhandari, S., Casper, J., Liu, Z., Prabhumoye, S., Zerveas, G., Korthikanti, V., Zhang, E., Child, R., Aminabadi, R. Y., Bernauer, J., Song, X., Shoeybi, M., He, Y., Houston, M., Tiwary, S., och Catanzaro, B. Använda djuphastighet och megatron för att träna megatron-turing nlg 530b, en storskalig generativ språkmodell, 2022. [19] Srivastava, A., Rastogi, A., Rao, A., Shoeb, A. A. M., et al. Bortom imitationsspelet: Kvantifiering och extrapolering av språkmodellernas möjligheter, 2023. [20] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., och Polosukhin, I. Uppmärksamhet är allt du behöver. (2017 år) Framsteg inom neurala informationssystem 30 [21] Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., och Bowman, S. R. Glue: En multi-task benchmark och analysplattform för förståelse av naturligt språk, 2019. [22] Wu, Q., Bansal, G., Zhang, J., Wu, Y., Li, B., Zhu, E., Jiang, L., Zhang, X., Zhang, S., Liu, J., Awadallah, A. H., White, R. W., Burger, D., och Wang, C. Autogen: Att möjliggöra nästa generations llm-applikationer via multi-agent konversation, 2023. [23] Zhou, A., Yan, K., Shlapentokh-Rothman, M., Wang, H., och Wang, Y.-X. Språkagent träd sökning förenar resonemang agerande och planering i språkmodeller, 2023. Den här artikeln finns tillgänglig på arkiv under CC by 4.0 Deed (Attribution 4.0 International) licens. Den här artikeln finns tillgänglig på arkiv under CC by 4.0 Deed (Attribution 4.0 International) licens.

AutoDev: automatiserad AI-driven utveckling

About Author

KOMMENTARER

HÄNG TAGGAR

DENNA ARTIKEL PRESENTERAS I

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps