AutoDev: geautomatiseerde AI-gedreven ontwikkeling

De auteurs: Michele Tufano (Microsoft, Redmond, USA) Anisha Agarwal (Microsoft, Redmond, USA) Jinu Jang (Microsoft, Redmond, USA) Roshanak Zilouchian (Microsoft, Redmond, USA) Neel Sundaresan (Microsoft, Redmond, USA) De auteurs: Michele Tufano (Microsoft, Redmond, Verenigde Staten) Anisha Agarwal (Microsoft, Redmond, Verenigde Staten) Jinu Jang (Microsoft, Redmond, Verenigde Staten) Roshanak Zilouchian (Microsoft, Redmond, Verenigde Staten) Neel Sundaresan (Microsoft, Redmond, Verenigde Staten) Abstractie Het landschap van softwareontwikkeling heeft getuige geweest van een paradigmaverschuiving met de komst van AI-aangedreven assistenten, geïllustreerd door GitHub Copilot.Echter, bestaande oplossingen maken niet gebruik van alle potentiële mogelijkheden die beschikbaar zijn in een IDE, zoals het bouwen, testen, uitvoeren van code, git-operaties, etc. Daarom worden ze beperkt door hun beperkte mogelijkheden, voornamelijk gericht op het voorstellen van code-snippets en bestandshandeling binnen een chat-gebaseerde interface. Om deze kloof te vullen, presenteren we AutoDev, een volledig geautomatiseerd AI-gedreven softwareontwikkelingskader, ontworpen voor Het plannen en uitvoeren van ingewikkelde software engineering taken. AutoDev stelt gebruikers in staat om complexe software engineering doelen te definiëren, die worden toegewezen aan de autonome AI-agenten van AutoDev om te bereiken. Deze AI-agenten kunnen diverse operaties uitvoeren op basis van een code, waaronder bestand bewerken, ophalen, bouwen processen, uitvoeren, testen en git operaties. Ze hebben ook toegang tot bestanden, compiler output, bouwen en testen logs, statische analysetools en meer. Dit stelt AI-agenten in staat taken op een volledig geautomatiseerde manier uit te voeren met een uitgebreid begrip van de vereiste contextuele informatie. Bovendien creëert AutoDev een veilige ontwikkelomgeving door alle operaties binnen Docker-containers te beperken. Dit frame Autonoom In onze evaluatie hebben we AutoDev getest op de HumanEval-dataset, waarbij we veelbelovende resultaten kregen met respectievelijk 91,5% en 87,8% van Pass@1 voor code-generatie en testgeneratie, wat de effectiviteit demonstreert bij het automatiseren van software-engineeringtaken en het handhaven van een veilige en door de gebruiker gecontroleerde ontwikkelomgeving. 1 Inleiding Aangezien ontwikkelaars steeds meer AI-assistenten zoals ChatGPT adopteren voor hun ontwikkelingstaken, worden productiviteitswinsten duidelijk. ], waar ze codesuggesties aanbieden, zowel binnen chatinterfaces als rechtstreeks binnen bestanden. 2 Echter, deze AI-codering assistenten, ondanks hun integratie in IDEs, tonen beperkte functionaliteiten en ontbreken contextuele bewustzijn. - het Ze benutten vaak niet alle IDE-mogelijkheden, zoals het oproepen van linters, compilers of het uitvoeren van command-line-operaties, en daarom moeten ontwikkelaars nog steeds de syntax handmatig valideren en de juistheid van AI-genereerde code garanderen, de codebase uitvoeren en foutlogs inspecteren. 3 6 AutoDev brengt deze kloof over door autonome AI-agenten de mogelijkheid te bieden om acties uit te voeren zoals bestandsbewerken, opnieuw proberen, bouwen, testen en CLI-opdrachten rechtstreeks in het repository om door de gebruiker gedefinieerde doelstellingen te bereiken, waardoor complexe taken automatisch kunnen worden voltooid. AutoDev biedt de volgende belangrijke functies: (i) de mogelijkheid om gesprekken tussen gebruikers en AI-agenten te volgen en te beheren via een , (ii) een bibliotheek van aangepaste om een verscheidenheid aan code- en SE-gerelateerde doelstellingen te bereiken, (iii) de mogelijkheid om verschillende AI-agenten te plannen om samen te werken naar een gemeenschappelijk doel door middel van een , en (iv) de mogelijkheid om code uit te voeren en tests uit te voeren via een . Gesprekmanager gereedschap Agent Scheduler Evaluatie Milieu Figuur illustreert een voorbeeld op hoog niveau van de AutoDev-werkstroom. De gebruiker definieert een doelstelling (bijv. het testen van een specifieke methode). De AI-agent schrijft tests in een nieuw bestand en start de testuitvoeringsaanwijzing, alles binnen een beveiligde Evaluatie-omgeving. De output van de testuitvoering, inclusief falenlogs, wordt vervolgens opgenomen in de conversie. De AI-agent analyseert deze output, activeert een herhaalopdracht, integreert de ontvangen informatie door het bestand te bewerken en roept de testuitvoering opnieuw op. 1 In tegenstelling tot de bestaande AI-codering assistenten geïntegreerd in IDEs, ontwikkelaars zou moeten handmatig uitvoeren tests (bijv. run pytest), verstrekken falen logs aan de AI chat interface, mogelijk identificeren aanvullende contextuele informatie te worden opgenomen, en herhalen validatie acties om het testen succes te garanderen na de AI genereert herziene code. AutoDev is geïnspireerd op eerdere werkzaamheden op het gebied van autonome AI-agenten. AutoDev breidt AutoGen uit door verder te gaan dan conversatiebeheer en agenten in staat te stellen rechtstreeks met de code repository te communiceren, commando's en acties autonoom uit te voeren. ], een open-source AI-agent voor autonome taakuitvoering door code- en IDE-specifieke mogelijkheden aan te bieden om uitvoering van complexe software engineering-taken mogelijk te maken. 22 8 In onze evaluatie beoordelen we de mogelijkheden van AutoDev us-ing de HumanEval dataset[ ], oorspronkelijk ontworpen voor code-generatie uit natuurlijke taalbeschrijvingen (docstrings). Daarnaast breiden we de evaluatie uit tot de testcase-generatie-taak, waarbij de veelzijdigheid van AutoDev wordt getoond bij het omgaan met diverse software engineering-doelstellingen.De resultaten tonen veelbelovende prestaties, met AutoDev die opmerkelijke scores van 91,5% en 87,8% bereikt voor Pass@1 voor code-generatie en testgeneratie respectievelijk.Deze resultaten benadrukken de effectiviteit van AutoDev bij het automatiseren van software engineering-taken terwijl een veilige en door de gebruiker gecontroleerde ontwikkelomgeving wordt gehandhaafd. 5 2 Autodev Design Het ontwerp overzicht weergegeven in Fig. Zodra de eerste configuraties zijn voltooid, organiseert AutoDev zijn mogelijkheden in vier groepen: een Conversation Manager die gesprekken tussen gebruikers en agenten volgt en beheert; een Tools-bibliotheek waar een verscheidenheid aan code en IDE-gerelateerde hulpmiddelen beschikbaar zijn voor agenten; een Agents Scheduler die verschillende agenten plannen; en een Evaluation Environment die uitvoeringshandelingen mogelijk maakt. 2 2.1 Regels, acties en objectieve configuratie De gebruiker start het proces door regels en acties te configureren via yaml-bestanden. Deze bestanden definiëren de beschikbare commando's (acties) die AI-agenten kunnen uitvoeren. Gebruikers kunnen gebruikmaken van standaardinstellingen of fijne machtigingen door specifieke commando's in te schakelen / uit te schakelen, AutoDev af te stemmen op hun specifieke behoeften. Deze configuratiestap maakt precieze controle mogelijk over de mogelijkheden van de AI-agenten. In dit stadium kan de gebruiker het aantal en het gedrag van de AI-agenten definiëren, specifieke verantwoordelijkheden, machtigingen en beschikbare acties toewijzen. Na de configuratie van de regels en acties, geeft de gebruiker de software engineering taak of proces te voltooien door AutoDev. Bijvoorbeeld, kan de gebruiker vragen om te genereren test cases en zorg ervoor dat ze syntactisch correct zijn, passeren, en dat ze geen bugs bevatten (dit omvat het bewerken van bestanden, het uitvoeren van de test suite, het uitvoeren van syntax checks en bug-finding tools). 2.2 Gespreksmanager De Conversation Manager, die verantwoordelijk is voor het initialiseren van de gespreksgeschiedenis, speelt een sleutelrol bij het toezicht op het management op hoog niveau van het lopende gesprek.Het beheert de taak van het beslissen wanneer het proces te onderbreken en zorgt voor naadloze communicatie tussen de gebruiker, AI-agenten en het systeem als geheel.Het onderhoudt een gespreksobject dat de berichten van de AI-agenten en het resultaat van de acties uit de evaluatieomgeving omvat. De Parser interpreteert de door agenten gegenereerde antwoorden, extract commando's en argumenten in een vooraf gedefinieerd formaat. Het zorgt ervoor dat de instructies correct worden geformatteerd, waardoor het aantal en de nauwkeurigheid van argumenten worden gevalideerd (bijv. een bestandbewerkingsopdracht vereist het bestandspadargument). Bij mislukkingen bij het analyseren worden foutberichten in het gesprek geïnjecteerd, waardoor verdere acties op het repository worden voorkomen. Succesvol geanalyseerde commando's worden verder geanalyseerd, door specifieke agentvergunningen in te voeren en aanvullende semantische controles uit te voeren. Het zorgt ervoor dat de voorgestelde acties voldoen aan de door de gebruiker gespecificeerde goedgekeurde machtigingen. 2.2.1 Parser. De Output Organizer-module verwerkt de output die wordt ontvangen van de Evaluatie-omgeving. Het selecteert cruciale informatie, zoals status of fouten, resumeert optioneel relevante inhoud en voegt een goed gestructureerde boodschap toe aan de gespreksgeschiedenis. 2.2.2 Output Organizer. Overzicht van het AutoDev Framework: De gebruiker start het proces door het te bereiken doel te definiëren. De Conversation Manager initialiseert het gesprek en de instellingen. De Agent Scheduler orchestreert AI-agenten om op de taak samen te werken en stuurt hun commando's door naar de Conversation Manager. De Conversation Manager analyseert deze commando's en roept de Tools Library op, die verschillende acties biedt die op het repository kunnen worden uitgevoerd. De acties van agenten worden uitgevoerd in een beveiligde Docker-omgeving en de output wordt teruggestuurd naar de Conversation Manager, die het opneemt in het lopende gesprek. Dit iteratieve proces gaat door totdat de taak met succes is voltooid. Figure 2. Dit kan gebeuren wanneer een agent de voltooiing van de taak signaleert (stop command), het gesprek een door de gebruiker gedefinieerd maximum aantal iteraties/tokens bereikt, of problemen worden gedetecteerd in het proces of in de Evaluatie-omgeving. 2.2.3 Conversation Conclusion. 2.3 Agent Scheduler Agenten, geconfigureerd met specifieke personas en sets van beschikbare commando's, werken samen om verschillende taken uit te voeren. De planner maakt gebruik van verschillende samenwerkingsalgoritmen, zoals Round Robin, Token-Based, of Priority-Based, om de volgorde en de manier te bepalen waarop agenten bijdragen aan het gesprek. Specifiek, planningsalgoritmen omvatten, maar zijn niet beperkt tot: (i) Round Robin samenwerking, die elke agent sequentieel oproept, waardoor elk een vooraf bepaald aantal operaties kan uitvoeren; (ii) token-gebaseerde samenwerking, waardoor een agent meerdere operaties kan ondernemen totdat hij een symbolische voltooiing van zijn toegewezen taken afgeeft; (iii) prioritaire samenwerking, die agenten initieert in overeen Agenten, bestaande uit grote taalmodellen (LLM's) zoals OpenAI GPT-4 en kleine taalmodellen (SLM's) geoptimaliseerd voor code-generatie, communiceren via textuele natuurlijke taal. Deze agenten ontvangen doelen en gesprekshistorieën van de Agent Scheduler, die reageren met acties die zijn gespecificeerd in de configuratie Regels en Acties. 2.3.1 Agents. 2.4 Werktuigenbibliotheek De Toolbibliotheek in AutoDev biedt een reeks opdrachten die agenten in staat stellen om diverse operaties uit te voeren op het repository. Deze opdrachten zijn ontworpen om complexe acties, hulpmiddelen en hulpmiddelen achter een eenvoudige en intuïtieve opdrachtstructuur te encapsuleren. • : Deze categorie omvat opdrachten voor het bewerken van bestanden, waaronder code, configuratie en documentatie. De hulpprogramma's in deze categorie, zoals schrijven, bewerken, invoegen en verwijderen, bieden verschillende niveaus van granulariteit. Agenten kunnen acties uitvoeren, variërend van het schrijven van hele bestanden tot het wijzigen van specifieke lijnen in een bestand. , stelt de agent in staat om een reeks regels opnieuw te schrijven met nieuwe inhoud. File Editing - Recovery: In deze categorie variëren recovery-hulpmiddelen van basis CLI-tools zoals grep, find en ls tot meer geavanceerde embedding-gebaseerde technieken. Deze technieken stellen agenten in staat om naar soortgelijke code-snippets te zoeken, waardoor ze hun vermogen verbeteren om relevante informatie uit de codebase terug te halen. Build & Execution: Commando's in deze categorie stellen agenten in staat om de codebase moeiteloos te compileren, te bouwen en uit te voeren met eenvoudige en intuïtieve commando's. De complexiteit van low-level build commando's wordt geabstraheerd, waardoor het proces binnen de Evaluation Environment-infrastructuur wordt gestroomlijnd. Test & Validatie: Met deze opdrachten kunnen Agenten de codebase testen door een enkel testcase, een specifiek testbestand of de hele testsuite uit te voeren. Agenten kunnen deze acties uitvoeren zonder afhankelijk te zijn van opdrachten op laag niveau die specifiek zijn voor specifieke testframes. Deze categorie omvat ook validatietools zoals linters en hulpprogramma's voor het opsporen van bugs. Voorbeelden van opdrachten in deze categorie zijn: syntax die de juistheid van de syntax controleert en test die de hele testsuite uitvoert. Git: Fine-grained-rechten voor git-operaties kunnen door de gebruiker worden geconfigureerd. Dit omvat operaties zoals commits, push en fusies. Communicatie: Agenten kunnen een reeks commando's oproepen die gericht zijn op het vergemakkelijken van communicatie met andere agenten en/of de gebruiker.Natuurlijke taalberichten kunnen worden verzonden (niet geïnterpreteerd als commando's voor repository-acties), de vraag-commando wordt gebruikt om feedback van de gebruiker te vragen en de stop-commando onderbreekt het proces, wat aangeeft dat het doel is bereikt of dat de agenten niet in staat zijn verder te gaan. De Tool Library in AutoDev biedt dus een veelzijdige en toegankelijke set tools voor AI-agenten om met de codebase te communiceren en effectief te communiceren binnen de collaboratieve ontwikkelomgeving. 2.5 Beoordelingsomgeving In een Docker-container kan de Evaluation Environment veilig bestanden bewerken, ophalen, bouwen, uitvoeren en testen. Het verwijdert de complexiteit van low-level commando's en biedt een vereenvoudigde interface voor agenten. De Evaluation Environment retourneert standaard output/error naar de output Organizer-module. 2.6 Alles bij elkaar brengen De gebruiker start het gesprek door het doel en de bijbehorende instellingen te specificeren. De conversatiebeheerder initialiseert een conversatieobject, waarbij berichten worden geconsolideerd van zowel de AI-agenten als de evaluatieomgeving. Daarna stuurt de conversatiebeheerder het gesprek naar de Agent Scheduler, die verantwoordelijk is voor het coördineren van de acties van AI-agenten. De Commands Interface omvat een gevarieerde reeks functionaliteiten, waaronder File Editing, Retrieval, Build and Execution, Testing en Git operaties. Deze voorgestelde opdrachten worden vervolgens geanalyseerd door de Conversation Manager, die ze vervolgens stuurt naar de Evaluation Environment voor uitvoering op de codebasis. De uitvoering van deze opdrachten vindt plaats binnen de veilige grenzen van de Evaluatie-omgeving, ingesloten in een Docker-container. Na de uitvoering worden de resulterende acties naadloos geïntegreerd in de gespreksgeschiedenis, wat bijdraagt aan de daaropvolgende iteraties. Dit iteratieve proces duurt totdat de taak door de Agenten als voltooid wordt beschouwd, gebruikersinterventie plaatsvindt of de maximale iteratielimiet wordt bereikt. 3 Empirisch ontwerp In onze empirische evaluatie willen we de mogelijkheden en effectiviteit van AutoDev in software engineering-taken beoordelen, om te onderzoeken of het de prestaties van een AI-model kan verbeteren die verder gaat dan eenvoudige inferentie. Onderzoeksvragen RQ1: Hoe effectief is AutoDev in de code generatie taak? RQ2: Hoe effectief is AutoDev in de testgeneratie-taak? RQ3: Hoe efficiënt is AutoDev bij het voltooien van taken? Q1: Hoe effectief is AutoDev in de code-generatie-taak? Om RQ1 aan te pakken, evalueren we de prestaties van AutoDev in een code-generatie-taak met behulp van de HumanEval probleemoplossend dataset in Python. Deze dataset bestaat uit 164 handgeschreven programmeringsproblemen, elk met een functie handtekening, docstring, lichaam, en een gemiddelde van 7,7 eenheidstests. We meten de effectiviteit van AutoDev met behulp van de Pass@k-metric, waarbij k het aantal geprobeerde pogingen vertegenwoordigt. Een succesvol opgelost probleem wordt gedefinieerd als een probleem waarbij Au-toDev de code van het lichaam van de methode genereert, waarbij alle door mensen geschreven tests worden vervuld. Een poging komt overeen met een hele AutoDev-conversatie, waarbij meerdere inferentie-oproepen en -stappen betrokken zijn. Dit contrasteert met andere benaderingen, zoals het rechtstreeks oproepen van GPT-4, die meestal een enkele inferentie-oproep omvat. Details over de meerdere inferentie-oproepen en -stappen worden verder onderzocht in RQ3. Voor deze evaluatie stellen we k = 1, dus pass@1, rekening houdend met alleen het succes dat in de eerste RQ2: Hoe effectief is AutoDev in de testgeneratie-taak? Voor deze onderzoeksvraag wijzigen we de HumanEval-dataset om de mogelijkheden van AutoDev in testgeneratie te beoordelen. We overwegen de door de mens geschreven oplossing en verwijderen de door de mens opgegeven geschreven tests. AutoDev krijgt de instructie om testgevallen voor de focale methode te genereren en wordt geëvalueerd op basis van testsucces, beroep op de focale methode en testdekking. We melden Pass@1, waarbij tests als succesvol worden beschouwd als ze de focale methode passeren en inroepen. Q3: Hoe efficiënt is AutoDev bij het voltooien van taken? In deze onderzoeksvraag onderzoeken we de efficiëntie van AutoDev bij het voltooien van SE-taken.We analyseren het aantal stappen of inferentie-oproepen dat nodig is, de distributie van de gebruikte opdrachten (bijvoorbeeld schrijven, testen) en het totale aantal tokens dat in het gesprek wordt gebruikt. AutoDev instellingen Voor deze evaluatie behoudt AutoDev consistente instellingen met één agent op basis van het GPT-4-model (gpt-4-1106-preview). Geactiveerde acties omvatten bestandsbewerking, ophalen en testen. Het enige communicatiebevel dat beschikbaar is, is het stopbevel, dat aangeeft dat de taak is voltooid. Andere opdrachten, zoals vraag, zijn uitgeschakeld, waardoor AutoDev autonoom moet werken zonder menselijke feedback of tussenkomst buiten de oorspronkelijke doelstelling. 4 Empirische resultaten Q1: Hoe effectief is AutoDev in een code-generatie-taak? Tafel Toont de resultaten voor RQ1, waarbij AutoDev wordt vergeleken met twee alternatieve benaderingen en de basislijn met nul schot. 1 We vergeleken AutoDev met Language Agent Tree Search (LATS) en Reflexion, twee toonaangevende benaderingen op de Hu-manEval-liderboards per maart 2024 [ ].De resultaten voor de zero-shot baseline (GPT-4) zijn genomen uit het OpenAI GPT-4 technisch rapport [ [verdachte] en [verdachte] van de verdachte en [verdachte] van de verdachte . 1 11 1 Taal Agent Tree Search (LATS) ] is een veelzijdig kader dat gebruik maakt van Large Language Models (LLM's) voor planning, handelen en redeneren. geïnspireerd door de Monte Carlo-boomzoek, maakt LATS gebruik van LLM's als agenten, waardefuncties en optimisatoren, waarbij hun mogelijkheden worden hergebruikt voor betere besluitvorming. 23 Reflectie [ Introduceert een uniek kader voor het versterken van taalagenten via taalkundige feedback zonder gewichtsupdates.Agenten in Reflexion reflecteren mondeling op taakfeedback-signalen, waarbij hun reflectieve tekst in een episodisch geheugenbuffer wordt bewaard voor verbeterde besluitvorming. 17 Tafel geeft aan dat AutoDev een Pass@1-percentage van 91.5% bereikt, waardoor het de tweede beste positie op het HumanEval-leiderbord bewaart. Opmerkelijk is dat dit resultaat zonder extra traininggegevens wordt verkregen, waardoor AutoDev onderscheidt van LATS, dat 94,4% bereikt. Verder verbetert het AutoDev-framework de GPT-4-prestaties van 67% tot 91.5%, wat een relatieve verbetering van 30% betekent. 1 Deze resultaten benadrukken het vermogen van AutoDev om de prestaties van LLM's aanzienlijk te verbeteren bij het voltooien van software engineering-taken. RQ2: Hoe effectief is AutoDev in de testgeneratie-taak? Tafel presenteert de resultaten voor RQ2, waarbij AutoDev wordt vergeleken met de zero-shot GPT-4 (baseline) en door de mens geschreven tests in de testgeneratie-taak.Aangezien OpenAI geen GPT-4 heeft geëvalueerd op de testgeneratie-taak, hebben we de zero-shot GPT-4-resultaten verkregen door de inferentie aan te roepen met instructies op hetzelfde GPT-4-model dat werd gebruikt voor AutoDev. 2 AutoDev behaalde een Pass@1-score van 87,8% op de HumanEval-dataset gemodificeerd voor de testgeneratie-taak, wat een relatieve verbetering van 17% vertoont ten opzichte van de baseline die hetzelfde GPT-4-model gebruikt. rapporteert de algehele dekking over de gehele dataset van testgevallen, waarbij onjuiste of mislukte tests worden beschouwd als gebrek aan dekking. 2 Deze resultaten bevestigen de bekwaamheid van AutoDev bij het aanpakken van diverse software-engineeringtaken. Q3: Hoe efficiënt is AutoDev bij het voltooien van taken? Figuur illustreren het cumulatieve aantal commando's dat door AutoDev wordt gebruikt voor zowel de Code Generation- als de Test Generation-taken, rekening houdend met het gemiddelde aantal commando's dat wordt gebruikt voor de evaluatie van elk HumanEval-probleem in RQ1 en RQ2. 3 Voor Code Generation voerde AutoDev een gemiddelde van 5.5 opdrachten, bestaande uit 1,8 schrijfoperaties, 1,7 testoperaties, 0,92 stopoperaties (waaronder voltooiing van de taak), 0.25 onjuiste commando's, samen met minimale opsporing (grep, find, cat), syntaxcheckoperaties en spraakcommunicatiecommandes. In het geval van Test Generation komt het gemiddelde aantal opdrachten overeen met de Code Generation-taak.Test Generation omvat echter meer ophalen en een verhoogd aantal onjuiste opdrachten, wat resulteert in een gemiddeld totaal van 6,5 opdrachten per run. We classificeren een commando als onjuist als het verwijst naar een onbeschikbaar commando of faalt met het analyseren (bijv. onjuiste opmaak of parameter tellen).De meest voorkomende onjuiste commando's omvatten AI-agenten die natuurlijke taal mengen met code of opdrachten. Terwijl AutoDev meer inferentie-oproepen ondervindt in vergelijking met benaderingen die kandidaatcode genereren in een enkele oproep, is het essentieel op te merken dat AutoDev ook test- en validatieoperaties uitvoert, taken die meestal worden uitgevoerd door ontwikkelaars om gegenereerde kandidaten te valideren. Bovendien communiceert AutoDev vaak de voltooiing van taken via spraakopdrachten, waardoor inzichten en interpretabiliteit van de oplossing worden geboden.Een ander opmerkelijk communicatiebevel dat bijdraagt aan het totale aantal is de stop-opdracht.Dit vertegenwoordigt een relatief goedkope inferentie-oproep, die slechts één token genereert.Potentiële optimalisaties kunnen betrekking hebben op het bundelen van dergelijke operaties met andere opdrachten of inferenties. De gemiddelde lengte van AutoDev-gesprekken om elk HumanEval-probleem op te lossen in RQ1 en RQ2 is respectievelijk 1656 en 1863 tokens. Dit omvat het doel van de gebruiker, berichten van de AI-agent en antwoorden van de Evaluatie-omgeving. In vergelijking, de nul-shot GPT-4 (baseline) gebruikt 200 tokens (schattend) voor code-generatie en 373 tokens voor testgeneratie, gemiddeld, voor elke taak. Terwijl AutoDev meer tokens gebruikt, wordt een aanzienlijk bedrag besteed aan het testen, valideren en verklaren van zijn eigen gegenereerde code, verder dan wat de baseline-benadering biedt. Tot slot draagt AutoDev uitvoeringskosten in verband met het orchestreren van AI-agenten, het beheren van gesprekken en het uitvoeren van opdrachten in een Docker-omgeving.Natuurlijk is de op Docker gebaseerde evaluatieomgeving verantwoordelijk voor de belangrijkste uitvoeringskosten, die een hogere overhead vertonen in vergelijking met directe CLI-opdrachten in de gebruikersomgeving. 5 Discussies 5.1 AutoDev in actie cijfers (Part I) en (Part II) bieden een glimp van Au-toDev in actie tijdens een testgeneratie taak, met sommige interacties samengevat of weggelaten voor kortheid. , stelden we het doel voor AutoDev om de beste testcases te genereren volgens een specifiek formaat. De AutoDev-agent start de schrijf-nieuwe opdracht, waardoor de filepath en de inhoud van het testbestand wordt verstrekt. AutoDev voert de operatie uit en bevestigt het succesvol schrijven van inhoud aan de agent. Vervolgens triggert de AutoDev-agent de testoperatie en voert AutoDev de test uit in zijn beveiligde Docker-omgeving, waarbij het testuitvoeringsrapport JSON wordt gepresenteerd (in de figuur samengevat voor kortheid). 4 5 4 De AutoDev-agent identificeert een fout in de meest voorkomende output en erkent dat een correctie nodig is om de test af te stemmen op het verwachte gedrag van de functie. Doorgaan in figuur , de AutoDev-agent geeft de schrijfopdracht uit, waarbij de filepath en het rijnummerbereik (5-5) worden gespecificeerd voor het opnieuw schrijven van de onjuiste verklaring. Hierna gaat de AutoDev-agent door met de testuitvoering, die nu succesvol is. 5 Dit voorbeeld benadrukt het vermogen van AutoDev om zijn gegenereerde code zelf te evalueren en bugs binnen zijn eigen output te adresseren.Bovendien toont het hoe AutoDev gebruikers inzicht in agentacties faciliteert, waardoor agenten tijdens de taak kunnen communiceren. 5.2 Multi-agent samenwerking AutoDev ondersteunt multi-agent samenwerking op taken, georchestreerd door de Agent Scheduler. In onze evaluatie, gezien de relatieve eenvoud van de HumanEval dataset, beperken we onze configuratie tot één GPT-4 agent voor de taken. Experimenteren met een AI Developer en AI Reviewer, elk met verschillende verantwoordelijkheden en beschikbare acties, samenwerken bij het oplossen van een complexe bug onthulde interessante interacties. Onze toekomstige plannen omvatten het uitbreiden van evaluaties om complexere scenario's op te nemen waar multi-agent-samenwerking de prestaties van AutoDev aanzienlijk kan verbeteren. 5.3 Mensen in de loop AutoDev stelt AI-agenten in staat om de voortgang van taken te communiceren of om menselijke feedback te vragen met behulp van de talk- en vraagcommandes, respectievelijk.Anecdotisch genoeg zijn deze commando's nuttig gebleken voor ontwikkelaars die AutoDev gebruiken om de intenties van de agent te begrijpen en inzicht te krijgen in het plan van de agent. Onze toekomstige plannen omvatten een diepere integratie van mensen binnen de AutoDev-loop, waardoor gebruikers agenten kunnen onderbreken en snel feedback kunnen geven. 5.4 Autodev integraties Onze pilootstudie omvatte ontwikkelaars die AutoDev als een CLI-opdracht gebruikten, met de conversatie beschikbaar voor observatie binnen de VSCode IDE. In de toekomst is ons doel om AutoDev te integreren in IDEs, een chatbot-ervaring te creëren en te integreren in CI/CD-pijpleidingen en PR-beoordelingsplatforms. 6 Gerelateerde werkzaamheden Ons werk bouwt voort op een uitgebreide literatuur die AI toepast op verschillende software engineering-taken.In deze sectie verkennen we recente ontwikkelingen en contextualiseren we AutoDev binnen dit rijke onderzoekslandschap. 6.1 AI in software engineering De integratie van AI, in het bijzonder Large Language Models (LLM's), in software engineering heeft aanzienlijke vooruitgang getoond. De instructie van [ ], en GPT-4 [ ] hebben gebruik gemaakt van de Transformers-architectuur [ Om te begrijpen en te genereren niet alleen natuurlijke taal, maar ook broncode. ] en Megatron-Turing NLG [ ], en GPT-4 [ Hierdoor konden deze AI-modellen indrukwekkende prestaties bereiken in verschillende taken. 7 14 13 20 15 18 13 Aangezien softwareontwikkelingspraktijken zich blijven ontwikkelen, wordt de integratie van geavanceerde technologieën van cruciaal belang voor het verbeteren van de productiviteit van ontwikkelaars. ]. Onder de opmerkelijke vooruitgang heeft het gebruik van LLM's binnen geïntegreerde ontwikkelingsomgevingen (IDE's) aanzienlijke aandacht [ - het ]. LLM's, waaronder prominente modellen zoals OpenAI's GPT-3.5 [ ] en GPT-4 [ ], evenals robuuste open-source modellen zoals Code Llama [ , tonen het potentieel om te handelen als intelligente programmering assistenten. 5 4 10 12 13 16 In dit artikel introduceren we AutoDev, een uitgebreid kader voor autonome software-engineeringtaken binnen een veilige ontwikkelomgeving. AutoDev gaat verder dan bestaande werken door een veelzijdige toolbibliotheek te bieden, waardoor AI-agenten zelfstandig complexe taken kunnen uitvoeren, zoals code-editing, testen en integratie. AutoDev is ook LLM-agnostic, met een infrastructuur die een diverse reeks AI-modellen, met verschillende parametergroottes en architectuur, in staat stelt om samen te werken op een gegeven taak. 6.2 Evaluatie van LLM's in Software Engineering Traditionele taalgebaseerde metricen, zoals BLEU, zijn de focus van eerdere onderzoek, met evaluaties uitgevoerd op statische datasets zoals GLUE [ ] and BIGBench [ Echter, deze metricen vaak tekort in het vastleggen van essentiële programmering aspecten zoals syntax correctheid en uitvoering gebaseerde metricen zoals bouwen en testen. 21 19 CodeXGLUE [ ] heeft deze beperkingen aangepakt door een uitgebreid evaluatieplatform te bieden voor LLM's in software engineering.Het biedt een diverse benchmarkdataset samen met baseline-modellen zoals CodeBERT en CodeGPT. 9 De mensheid [ ] draagt bij aan het veld door zich te concentreren op de functionele correctheid van LLM's, het introduceren van een benchmark dataset van handgeschreven programmeringsproblemen in Python. 5 [ ] bouwt voort op eerdere werken in de literatuur, gericht op het verbeteren van hun bijdragen. Net als HumanEval, de Copilot Evaluation Harness omvat overwegingen van code uitvoering, maar het uitbreiden van het spectrum van software engineering taken (code, test, en documentatie generatie, werkruimte begrip en query resolutie) evenals het verhogen van de metricen die worden gebruikt voor evaluatie. 3 Terwijl onze huidige evaluatie vertrouwt op HumanEval om de effectiviteit van AutoDev in twee coderingstaken te beoordelen, is ons toekomstige werk gericht op het uitbreiden van deze evaluatie naar meer uitdagende en real-world datasets, zoals die aangeboden door de Copilot Evaluation Harness. 6.3 AI in software engineering interacties While prior works have explored the intersection of AI and software engineering, few have delved into AI-guided programming within IDE interactions. AutoDev, as introduced in this paper, draws inspiration from existing works in the literature while enhancing their contributions. Notable examples include Auto-GPT[ ], LATS (Language Agent Tree Search) En de gedachte, ], each presenting unique approaches to AI-driven tasks. 8 23 17 Automatische GPT [ ] werkt door GPT-3.5 en GPT-4 te koppelen met een begeleidende bot, waardoor gebruikers deze taalmodellen kunnen instrueren op specifieke doelen. 8 Latijnse [ ] , aan de andere kant, is een algemeen kader dat de mogelijkheden van LLM's in planning, actie en redenering synergiseert. Geïnspireerd door Monte Carlo-boomzoek, algemeen gebruikt in modelgebaseerd versterkingsleren, LATS gebruikt LLM's als agenten, waardefuncties en optimisatoren, waardoor besluitvorming wordt verbeterd. Het introduceert een omgeving voor externe feedback, het aanbieden van een opzettelijk en adaptief probleemoplossingsmechanisme. 23 Reflectie [ ] introduceert een nieuw kader om taalagenten te versterken door middel van taalkundige feedback. Reflexieagenten reflecteren mondeling op taakfeedback-signalen, waarbij hun reflectieve tekst in een episodische geheugenbuffer wordt bewaard voor verbeterde besluitvorming. Dit flexibele kader integreert verschillende soorten en bronnen van feedback-signalen en toont aanzienlijke verbeteringen ten opzichte van baselineagenten in diverse taken, waaronder sequentiële besluitvorming, codering en taalredenen. 17 AutoDev specialiseert zich op deze ideeën voor het gebied van Software Engineering en biedt een flexibel kader waarmee AI-agenten complexe SE-taken kunnen uitvoeren met volledige autonomie.Ons werk is gericht op het overbruggen van de kloof tussen traditionele software-engineeringpraktijken en AI-gedreven automatisering, waardoor de samenwerking tussen ontwikkelaars en AI-agenten wordt vergemakkelijkt.Door een veelzijdige toolbibliotheek in te voeren, stelt AutoDev AI-agenten in staat om complexe taken zelfstandig uit te voeren, wat een veelbelovende vooruitgang biedt in het landschap van AI-gedreven softwareontwikkeling. 7 Conclusie In dit artikel hebben we AutoDev geïntroduceerd, een kader waarmee AI-agenten zelfstandig kunnen communiceren met repositories, acties kunnen uitvoeren en complexe software-engineeringstaken kunnen aanpakken.We hebben de verantwoordelijkheid voor het extraheren van relevante context voor software-engineeringstaken en het valideren van AI-gegenereerde code van gebruikers (voornamelijk ontwikkelaars) naar de AI-agenten zelf verplaatst. De rol van de ontwikkelaar binnen het AutoDev-framework verandert van handmatige acties en validatie van AI-voorstellen tot een supervisor die toezicht houdt op de samenwerking tussen meerdere agenten over taken, met de mogelijkheid om feedback te geven. Onze evaluatie van de HumanEval dataset voor code- en testgeneratie toonde indrukwekkende resultaten en behaalde een Pass@1-score van 91.5 voor code-generatie - een tweede beste score op het lijstje op het moment van schrijven, en de beste onder benaderingen die geen extra trainingsgegevens vereisen. Kijkend naar de toekomst is ons doel voor toekomstig werk om AutoDev te integreren in IDEs als een chatbot-ervaring en te integreren in CI/CD-pijpleidingen en PR-beoordelingsplatforms. Referenties [1] Code generatie op humaneval - state-of-the-art. Toegang tot: 2024-02-27. HNVZ:// paperswithcode.com/sota/code-generation-on-humaneval GitHub copilot: Uw ai pair programmer. 2024. hNps://github.com/functies/ copilot, [3] Agarwal, A., Chan, A., Chandel, S., Jang, J., Miller, S., Moghad-dam, R. Z., Mohylevskyy, Y., Sundaresan, N., en Tufano, M. Copi-lot evaluatie harness: Evaluating llm-geleide software programmering, 2024. [4] Chen, B., Mustakin, N., Hoang, A., Fuad, S., en Wong, D. Vscuda: Llm-gebaseerde cuda-extensie voor visuele studio-code. (New York, NY, USA, 2023), SC-W ’23, Association for Computing Machinery, blz. Procedures van de SC ’23 Workshops van de Internationale Conferentie over High Performance Computing, Netwerk, Opslag en Analyse [5] Chen, M., Tworek, J., Jun, H., Yuan, Q., de Oliveira Pinto, H. P., et al. Beoordeling van grote taalmodellen opgeleid op code. [6] Ding, Y., Wang, Z., Ahmad, W., Ding, H., Tan, M., Jain, N., Ra-manathan, M. K., Nallapati, R., Bhatia, P., Roth, D., et al. Cross-codeeval: Een diverse en meertalige benchmark voor cross-file code voltooiing. Het is (2024). Advances in Neural Information Processing Systems 36 [7] Floridi, L. en Chiriatti, M. Gpt-3: de aard, de reikwijdte, de grenzen en de gevolgen ervan. (2020), 681 tot en met 694. Gedachten en machines 30 [8] Gravitas en S. Autogpt 2024 GitHub repository. hNps://github.com/Significant-Gravitas/ van de auto, [9] Lu, S., Guo, D., Ren, S., Huang, J., Svyatkovskiy, A., Blanco, A., Clement, C., Drain, D., Jiang, D., Tang, D., Li, G., Zhou, L., Shou, L., Zhou, L., Tufano, M., Gong, M., Zhou, M., Duan, N., Sundaresan, N., Deng, S. K., Fu, S., en Liu, S. Codexglue: Een machine learning benchmark dataset voor code begrip en generatie, 2021. [10] Nam, D., Macvean, A., Hellendoorn, V., Vasilescu, B., en Myers, B. In-ide generatie-gebaseerde informatieondersteuning met een groot taalmodel, 2023. [11] OpenAI, :, Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., Almeida, D., Altenschmidt, J., Goonti, S., Anadkat, S., Avila, R., Babuschkin, I., Boyd, M., Cumling-man, A.-L., Brockman, G., Baltescu, T., Brundage, M., Belgum, M., Button, K., Cai, T., Berdine, R., Cann, A., Fulyiro, G., Berner, C., Bogdonoff, L., Boiko, O., Boyd, M., Cumling-man, A.-L., Brockman, G., Brockman, T., Brundage, M., J., Button, K., Cai, T., Campbell, Grafstein, M., Gray, S., Greene, R., Gross, J., Gu, S. S., Guo, Y., Hallacy, C., Han, J., Harris, J., He, Y., Heaton, M., Heidecke, J., Hesse, C., Hickey, A., Hickey, W., Hoeschele, P., Houghton, B., Hsu, K., Hu, S., Hu, X., Huizinga, J., Jain, S., Jain, S., Jang, J., Jiang, A., Jiang, R., Jin, H., Jin, D., Jomoto, S., Jonn, B., Jun, H., Kaftan, T., Łukasz Kaiser, Kamali, A., Kanitscheider, I., Keskar, N. S., Khan, T., Kilpatrick, L., Kim, J. W., Kim, C., Kim, Y., Kirchner, J. H., Kiros, J., Knight, M., Kokotajlo, D., Łukasz Kondraciuk, Kondrich, A., Konstantinidis, A., Kosic, K., Krueger, G., Kuo, V., Lampe, M., Lan, I., Lee, T., Leike, J., Leung, J., Levy, D., Li, C. M., Lim, R., Lin, M., Lin, S., Litwin, M., Lopez, T., Lowe, R., Lue, P., Makanju, A., Mal-facini, K., Manning, S., Markov, T., Markovski, Y., Martin, B., Mayer, K., Mayne, A., McGrew, B., McKinney, S. M., McLeavey, C., McMillan, P., Mély, D., Nair, A., Medina, D., Mehta, A., Menick, A., Metz, L., Mishchenko, A., Mishkin, P., Monaco, V., Morikawa, E., Poking, D., Mu, T., Murati, M., Murk, O., Mély, D., Nair, A., Nakano, R., Mehta, R., Neelak, A., Ngo, R., Noh, A., Weihang, J., Ramesh, A., Raymond, C., Real, F., Rimbach, K., Ross, C., Rotsted, B., Roussez, H., Ryder, N., Saltarelli, M., Sanders, Xu, S., Santurkar, S., Sastry, G., Schmidt, K., Sohl, I., Sokolowsky, B., Song, Y., Schulman, J., Selsam, Staudacher, N., Such, F. P., Summers, N., Sutieh, I., Shoker, S., J., Temba, Yoo Tezak, N., Sidor, S., Sigler, E., Simens, M., Sitkin, J., Slama, K., Sohl, I., Sokolowsky, B., Song, Y., Selsam, D., Sheppard, N., C., [12] OpenAI. Gpt 3.5 modellen, 2023. [13] OpenAI. Gpt-4 technisch verslag, 2023. [14] Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., et al. Training lan-guage modellen om instructies te volgen met menselijke feedback. (2022), 27730 tot 27744. Vooruitgang in neurale informatiesystemen 35 [15] Rae, J. W., Borgeaud, S., Cai, T., Millican, K., en anderen. Scaling taalmodellen: methoden, analyses en inzichten van training gopher, 2022. [16] Roziere, B., Gehring, J., Gloeckle, F., Sootla, S., Gat, I., Tan, X. E., Adi, Y., Liu, J., Remez, T., Rapin, J., et al. Code llama: Open foundation models for code. Het is (2023). arXiv preprint arXiv:2308.12950 [17] Shinn, N., Cassano, F., Berman, E., Gopinath, A., Narasimhan, K., en Yao, S. Reflexie: Taalagenten met verbale versterking leren, 2023. [18] Smith, S., Patwary, M., Norick, B., LeGresley, P., Rajbhandari, S., Casper, J., Liu, Z., Prabhumoye, S., Zerveas, G., Korthikanti, V., Zhang, E., Child, R., Aminabadi, R. Y., Bernauer, J., Song, X., Shoeybi, M., He, Y., Houston, M., Tiwary, S., and Catanzaro, B. Using deepspeed and megatron to train megatron-turing nlg 530b, a large-scale generative language model, 2022. [19] Srivastava, A., Rastogi, A., Rao, A., Shoeb, A. A. M., et al. Buiten het imitatie spel: kwantificeren en extrapoleren van de mogelijkheden van taalmodellen, 2023. [20] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., en Polosukhin, I. Aandacht is alles wat je nodig hebt. (2017) van Vooruitgang in neurale informatiesystemen 30 [21] Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., en Bowman, S. R. Glue: Een multi-task benchmark en analyse platform voor het begrijpen van natuurlijke taal, 2019. [22] Wu, Q., Bansal, G., Zhang, J., Wu, Y., Li, B., Zhu, E., Jiang, L., Zhang, X., Zhang, S., Liu, J., Awadallah, A. H., White, R. W., Burger, D., en Wang, C. Autogen: Het mogelijk maken van next-gen llm-toepassingen via multi-agent conversatie, 2023. [23] Zhou, A., Yan, K., Shlapentokh-Rothman, M., Wang, H., en Wang, Y.-X. Language agent tree search unifies reasoning acting and planning in language models, 2023. Dit document is verkrijgbaar onder CC by 4.0 Deed (Attribution 4.0 International) licentie. Dit document is verkrijgbaar onder CC by 4.0 Deed (Attribution 4.0 International) licentie.

AutoDev: geautomatiseerde AI-gedreven ontwikkeling

About Author

OPMERKINGEN

LABELS

DIT ARTIKEL WERD GEPRESENTEERD IN

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps