AutoDev: Automatizovaný vývoj řízený AI

Autoři : Michele Tufano (Microsoft, Redmond, USA) Anisha Agarwal (Microsoft, Redmond, USA) Jinu Jang (Microsoft, Redmond, USA) Roshanak Zilouchian (Microsoft, Redmond, USA) Neel Sundaresan (Microsoft, Redmond, USA) Autoři : Michele Tufano (Microsoft, Redmond, USA) Anisha Agarwalová (Microsoft, Redmond, USA) Jinu Jang (Microsoft, Redmond, USA) Roshanak Zilouchian (Microsoft, Redmond, USA) Neel Sundaresan (Microsoft, Redmond, USA) Abstraktní Krajina vývoje softwaru byla svědkem změny paradigmatu s příchodem asistentů poháněných umělou inteligencí, jako je GitHub Copilot. stávající řešení však nevyužívají všechny potenciální možnosti dostupné v IDE, jako je budování, testování, provádění kódu, operace git atd. Proto jsou omezeny jejich omezenými schopnostmi, především se zaměřením na navrhování zlomků kódu a manipulaci se soubory v rozhraní založeném na chatu. Abychom tuto mezeru vyplnili, představujeme AutoDev, plně automatizovaný rámec pro vývoj softwaru založený na umělé inteligenci. Plánování a provádění složitých úkolů softwarového inženýrství. AutoDev umožňuje uživatelům definovat složité cíle softwarového inženýrství, které jsou přiděleny autonomním agentům AI společnosti AutoDev. Tito agenti AI mohou provádět různé operace na bázi kódu, včetně úprav souborů, vyhledávání, stavebních procesů, provádění, testování a operací git. Mají také přístup k souborům, výstupu kompilátoru, záznamům budování a testování, statickým analytickým nástrojům a dalším. To umožňuje agentům AI provádět úkoly plně automatizovaným způsobem s komplexním porozuměním potřebným kontextovým informacím. Navíc AutoDev vytváří bezpečné vývojové prostředí tím, že omezuje autonomní V našem hodnocení jsme testovali AutoDev na databázi HumanEval, získali slibné výsledky s 91,5% a 87,8% Pass@1 pro generování kódu a testovací generování, což prokázalo jeho účinnost při automatizaci úkolů softwarového inženýrství při zachování bezpečného a uživatelsky řízeného vývojového prostředí. 1 Úvod Vzhledem k tomu, že vývojáři stále více přijímají AI asistenty, jako je ChatGPT, pro své vývojové úkoly, zvýšení produktivity se stává zřejmým. ], kde nabízejí návrhy kódu jak v rozhraní chatu, tak přímo v souborech. 2 Nicméně, tyto AI kódování asistenty, navzdory jejich integraci do IDE, vykazují omezené funkčnosti a chybí kontextové povědomí. , , Často nevyužívají všechny možnosti IDE, jako je volání lanterů, kompilátorů nebo provádění operací příkazového řádku, a proto vývojáři stále potřebují manuálně ověřit syntaxi a zajistit správnost kódu generovaného AI, spustit kódovou základnu a zkontrolovat deníky chyb. 3 6 AutoDev tuto mezeru překonává tím, že nabízí autonomním agentům umělé inteligence schopnost provádět akce, jako je úprava souborů, opětovné vyzkoušení, budování, testování a příkazy CLI přímo v úložišti, aby dosáhly uživatelsky definovaných cílů, čímž umožňují autonomní dokončení složitých úkolů. AutoDev nabízí následující klíčové funkce: (i) schopnost sledovat a spravovat konverzace uživatelů a agentů AI prostřednictvím ii) knihovna přizpůsobených k dosažení různých kódových a SE souvisejících cílů, (iii) schopnost naplánovat různé agenty umělé inteligence, aby spolupracovaly na společném cíli prostřednictvím a (iv) schopnost provádět kód a provádět testy prostřednictvím . konverzační manažer nástroje Plánovač agentů Hodnocení životního prostředí figurek ilustruje příklad pracovního postupu AutoDev na vysoké úrovni. Uživatel definuje cíl (např. testování konkrétní metody). Agent AI píše testy do nového souboru a iniciuje příkaz k provedení testu, a to vše v bezpečném prostředí pro hodnocení. Výstup z provedení testu, včetně záznamů o selhání, je pak začleněn do konverze. Agent AI tento výstup analyzuje, spouští příkaz pro získání, začleňuje získané informace úpravou souboru a znovu vyvolává provedení testu. 1 Ve srovnání s existujícími AI kódovacími asistenty integrovanými do IDE by vývojáři museli ručně provádět testy (např. spustit pytest), poskytovat záznamy o selhání do rozhraní AI chatu, případně identifikovat další kontextové informace, které mají být začleněny, a opakovat ověřovací akce, aby zajistili úspěch testů poté, co AI vytvoří revidovaný kód. AutoDev čerpá inspiraci z předchozí práce v oblasti autonomních agentů AI. Například AutoGen [ AutoDev rozšiřuje AutoGen tím, že jde nad rámec řízení konverzací a umožňuje agentům přímo interagovat s úložištěm kódu, provádět příkazy a akce autonomně. ], open-source AI agent pro autonomní provádění úkolů tím, že nabízí kód a IDE specifické schopnosti umožňující provádění složitých úkolů softwarového inženýrství. 22 8 V našem hodnocení hodnotíme schopnosti AutoDev us-ing dataset HumanEval[ ], původně určený pro generování kódu z popisu přirozeného jazyka (docstrings). Kromě toho jsme rozšířili hodnocení tak, aby zahrnovalo úkol generování zkušebních případů, což ukázalo všestrannost aplikace AutoDev při řešení různých cílů softwarového inženýrství.Výsledky demonstrují slibný výkon, přičemž aplikace AutoDev dosáhla pozoruhodných bodů 91,5 % a 87,8 % pro Pass@1 pro generování kódu a generování zkušebních případů.Tyto výsledky zdůrazňují účinnost aplikace AutoDev při automatizaci úkolů softwarového inženýrství při zachování bezpečného a uživatelsky řízeného vývojového prostředí. 5 2 Autodev design Designový přehled je znázorněn na Fig. Po dokončení počátečních konfigurací organizuje AutoDev své schopnosti do čtyř skupin: konverzační správce, který sleduje a spravuje konverzace mezi uživateli a agenty; knihovnu nástrojů, kde jsou agentům k dispozici různé nástroje související s kódem a IDE; agenta plánovače, který plánuje různé agenty; a prostředí pro hodnocení, které umožňuje provádění operací. 2 2.1 Pravidla, akce a konfigurace cílů Uživatel iniciuje proces konfigurací pravidel a akcí prostřednictvím souborů yaml. Tyto soubory definují dostupné příkazy (akce), které mohou AI agenti provádět. Uživatelé mohou využít výchozí nastavení nebo jemně zrnité oprávnění tím, že povolit/deaktivovat specifické příkazy, přizpůsobení AutoDev jejich specifickým potřebám. Tento konfigurační krok umožňuje přesnou kontrolu nad schopnostmi AI agentů. V této fázi může uživatel definovat počet a chování AI agentů, přiřazení specifických odpovědností, oprávnění a dostupných akcí. Například uživatel mohl definovat agenta „Developer“ a agenta „Reviewer“, který spolupracoval na cíli. V souladu s pravidly a konfigurací akcí uživatel specifikuje úkol nebo proces softwarového inženýrství, který má AutoDev provést. Například uživatel může požádat o generování testovacích případů a ujistit se, že jsou syntaxně správné, projít a že neobsahují chyby (to zahrnuje úpravy souborů, spuštění testovací sady, provádění syntaxních kontrol a nástrojů pro vyhledávání chyb). 2.2 Správce konverzace Správce konverzací, který je zodpovědný za inicializaci historie konverzace, hraje klíčovou roli při dohledu nad řízením na vysoké úrovni probíhající konverzace. Řeší úkol rozhodnout, kdy proces přerušit a zajišťuje bezproblémovou komunikaci mezi uživatelem, agenty AI a systémem jako celkem. Parser interpretuje odpovědi generované agenty, extrahuje příkazy a argumenty v předdefinovaném formátu. Zajišťuje, že pokyny jsou správně naformátovány, validuje počet a přesnost argumentů (např. příkaz pro úpravu souborů vyžaduje argument cesty souboru). V případě selhání parsingu jsou do konverzace vstřikovány chybové zprávy, čímž se zabrání dalším akcím na úložišti. Úspěšně naformátované příkazy jsou dále analyzovány, a to vynucováním specifických oprávnění agentů a prováděním dodatečných sémantických kontrol. Zajišťuje, že navrhované akce jsou v souladu s oprávněními určenými uživatelem. 2.2.1 Parser. Modul Output Organizer zpracovává výstupy přijaté z hodnotícího prostředí. Vybírá klíčové informace, jako jsou stav nebo chyby, volitelně shrnuje relevantní obsah a přidává do historie konverzace dobře strukturovanou zprávu.Tím se zajistí, že uživatel má jasný a organizovaný záznam o akcích a výsledcích Au-toDev. 2.2.2 Output Organizer. Přehled rámce AutoDev: Uživatel zahajuje proces definováním cíle, který má být dosažen. Správce konverzací iniciuje konverzaci a nastavení. Agent Scheduler organizuje agenty AI, aby spolupracovali na úkolu a předává své příkazy správci konverzace. Správce konverzací analyzuje tyto příkazy a zavolá knihovnu nástrojů, která nabízí různé akce, které lze provést v úložišti. Akce agentů jsou prováděny v zabezpečeném prostředí Docker a výstup je vrácen správci konverzací, který je začleňuje do probíhající konverzace. Tento iterativní proces pokračuje, dokud není úkol úspěšně dokončen. Figure 2. Správce konverzace určuje, kdy končit konverzaci.To se může stát, když agent signalizuje dokončení úkolu (stop příkaz), konverzace dosáhne uživatelsky definovaného maximálního počtu iterací/tokenů, nebo jsou detekovány problémy buď v procesu nebo v prostředí hodnocení.Komplexní design AutoDev zajišťuje systematický a řízený přístup k vývoji řízenému AI. 2.2.3 Conversation Conclusion. 2.3 Plánování agentů Agent Scheduler je zodpovědný za zorganizování agentů AI k dosažení uživatelsky definovaného cíle. Agenty, konfigurované s konkrétními osobami a sadami dostupných příkazů, spolupracují na provádění různých úkolů. Plánovač používá různé algoritmy spolupráce, jako je například Round Robin, Token-Based nebo Priority-Based, aby určil pořadí a způsob, jakým agenti přispívají k konverzaci. Konkrétně, algoritmy plánování zahrnují, ale nejsou omezeny na: (i) spolupráci Round Robin, která volá každého agenta po sobě jdoucí, což každému umožňuje provést předem určený počet operací; (ii) spolupráci založenou na tokenech, která agentu umožní provádět více operací, dokud nevyd Agenti, včetně velkých jazykových modelů (LLM) jako OpenAI GPT-4 a malých jazykových modelů (SLM) optimalizovaných pro generování kódu, komunikují prostřednictvím textového přirozeného jazyka. Tito agenti přijímají cíle a historie konverzací od agenta Plánovače, reagují akcemi specifikovanými v konfiguraci Pravidla a akce. 2.3.1 Agents. 2.4 Knihovna nástrojů Knihovna nástrojů v AutoDev poskytuje řadu příkazů, které agentům umožňují provádět různé operace na úložišti. Tyto příkazy jsou navrženy tak, aby zapsaly složité akce, nástroje a nástroje za jednoduchou a intuitivní příkazovou strukturu. Například komplikace spojené s budováním a testováním jsou abstraktovány prostřednictvím jednoduchých příkazů, jako je build a test . • Tato kategorie zahrnuje příkazy pro úpravu souborů, včetně kódu, konfigurace a dokumentace. Nástroje v této kategorii, jako je psaní, úprava, vložení a odstranění, nabízejí různé úrovně granularity.Agenti mohou provádět akce od psaní celých souborů až po úpravu konkrétních řádků v souboru. , umožňuje agentu přepsat řadu řádků s novým obsahem. File Editing - Retrieval: V této kategorii se nástroje pro vyhledávání pohybují od základních nástrojů CLI jako grep, find a ls až po sofistikovanější techniky založené na vkládání. Tyto techniky umožňují agentům vyhledávat podobné kódy, což zvyšuje jejich schopnost vyhledávat relevantní informace z kódové databáze. Build & Execution: Příkazy v této kategorii umožňují agentům snadno kompilovat, budovat a spouštět kódovou základnu pomocí jednoduchých a intuitivních příkazů. Testování a ověřování: Tyto příkazy umožňují agentům testovat kódovou základnu provedením jediného testovacího případu, konkrétního testovacího souboru nebo celé testovací sady. Agenty mohou provádět tyto akce bez spoléhání se na příkazy nízké úrovně specifické pro konkrétní testovací rámce. Tato kategorie také zahrnuje ověřovací nástroje, jako jsou lintery a nástroje pro vyhledávání chyb. Příklady příkazů v této kategorii zahrnují: syntaxe , která kontroluje správnost syntaxe, a test, který spouští celou testovací sadu. Git: Fine-grained oprávnění pro operace git může uživatel nakonfigurovat. To zahrnuje operace jako commits, push a fúze. Například agentům může být uděleno oprávnění provádět pouze lokální commits nebo v případě potřeby tlačit změny do původního úložiště. Komunikace: Agenti mohou vyvolat soubor příkazů zaměřených na usnadnění komunikace s ostatními agenty a/nebo uživatelem.Nejdůležitější je, že příkaz konverzace umožňuje odesílat zprávy v přirozeném jazyce (není interpretován jako příkazy pro akce v úložišti), příkaz ask se používá k žádosti o zpětnou vazbu uživatele a příkaz stop přerušuje proces, což naznačuje dosažení cíle nebo neschopnost agentů pokračovat dále. Knihovna nástrojů v AutoDev tak poskytuje všestranný a přístupný soubor nástrojů pro agenty AI, aby mohli interagovat s kódovou databází a efektivně komunikovat v rámci kolaborativního vývojového prostředí. 2.5 Hodnocení životního prostředí Při spuštění v kontejneru Docker umožňuje Evaluation Environment bezpečné spuštění příkazů pro úpravu souborů, vyhledávání, sestavování, spuštění a testování. Abstraktuje složitost příkazů nízké úrovně a poskytuje zjednodušené rozhraní pro agenty. 2.6 Všechno dohromady Uživatel zahajuje konverzaci tím, že specifikuje cíl a související nastavení. Správce konverzace iniciuje konverzační objekt, konsoliduje zprávy jak od agentů AI, tak od prostředí hodnocení. Následně správce konverzace rozesílá konverzaci agentovi Schedulerovi, který je zodpovědný za koordinaci akcí agentů AI. Rozhraní příkazů zahrnuje rozmanitou sadu funkcí, včetně úprav souborů, vyhledávání, vytváření a spuštění, testování a operací Git. Tyto navrhované příkazy jsou pak analyzovány správcem konverzací, který je následně nasměruje do prostředí hodnocení pro spuštění na základě kódu. Provádění těchto příkazů probíhá v bezpečných hranicích hodnotícího prostředí, vkapslovaného do kontejneru Docker. Po provedení se výsledné akce bezproblémově integrují do historie konverzace, což přispívá k následným iteracím. Tento iterativní proces trvá, dokud není úkol považován za dokončený agenty, dojde k zásahu uživatele nebo je dosaženo maximálního limitu iterace. 3 Empirický design V našem empirickém hodnocení se snažíme posoudit schopnosti a účinnost AutoDev v softwarových inženýrských úkolech, zkoumat, zda může zlepšit výkon modelu AI nad rámec jednoduchého odvození.Dále se zajímáme o vyhodnocení nákladů na AutoDev z hlediska počtu kroků, odvození volání a tokenů. Výzkumné otázky RQ1: Jak efektivní je AutoDev v úkolu generování kódu? RQ2: Jak efektivní je AutoDev v testu generování úkolu? RQ3: Jak efektivní je AutoDev při dokončování úkolů? Q1: Jak efektivní je AutoDev v úkolu generování kódu? Abychom řešili RQ1, vyhodnotili jsme výkon AutoDev v úkolu generování kódu pomocí datové sady pro řešení problémů HumanEval v Pythonu. Tato datová sada se skládá ze 164 ručně psaných programovacích problémů, z nichž každá obsahuje podpis funkce, docstring, tělo a v průměru 7,7 testů jednotek. Účinnost AutoDev měříme pomocí metriky Pass@k, kde k představuje počet pokusů. Úspěšně vyřešený problém je definován jako ten, kde Au-toDev vytváří kód těla metody, který splňuje všechny lidsky psané testy. Jeden pokus odpovídá celé konverzaci AutoDev, která zahrnuje více závěrových hovorů a kroků. To je v kontrastu s jinými přístupy, jako je přímé volání GPT-4, které obvykle zahrnuje jediný závěrový hovor. Podrobnosti týkající se několika závěrových hovorů a kroků jsou dále prozkoumány v RQ3. Pro toto hodnocení nastavujeme k = 1, tedy výpočet Pass@1, s přihlédnutím pouze k úspěchu dosaženému v prvním pokusu. RQ2: Jak efektivní je AutoDev v testu generování úkolu? Pro tuto výzkumnou otázku modifikujeme datový soubor HumanEval, abychom vyhodnotili schopnosti společnosti AutoDev při testovací generaci. Zvažujeme řešení napsané člověkem a zrušíme poskytnuté testy napsané člověkem. AutoDev je pověřen generováním testovacích případů pro fokální metodu a je vyhodnocován na základě úspěchu testování, odvolání fokální metody a pokrytí testů. Oznamujeme Pass@1, přičemž testy považujeme za úspěšné, pokud projdou a odvolají se na fokální metodu. Q3: Jak efektivní je AutoDev při dokončování úkolů? V této výzkumné otázce zkoumáme efektivitu AutoDev při dokončování úkolů SE. Analyzujeme počet kroků nebo závěrečných volání potřebných, distribuci použitých příkazů (např. psaní, testování) a celkový počet tokenů použitých v konverzaci. Nastavení AutoDev Pro toto hodnocení AutoDev udržuje konzistentní nastavení s jedním agentem založeným na modelu GPT-4 (gpt-4-1106-preview). Povolené akce zahrnují úpravy souborů, vyhledávání a testování. Jediným dostupným komunikačním příkazem je příkaz Stop, který indikuje dokončení úkolu. Jiné příkazy, jako je Ask, jsou zakázány, což vyžaduje, aby AutoDev fungoval autonomně bez lidské zpětné vazby nebo zásahu nad rámec počátečního nastavení cíle. 4 Empirické výsledky Q1: Jak efektivní je AutoDev v úkolu generování kódu? stůl zobrazuje výsledky pro RQ1, porovnání AutoDev proti dvěma alternativním přístupům a nulové výchozí linie. tabulka obsahuje informace o modelu napájení každého přístupu, potřebu dalšího školení a metriku Pass@1. 1 AutoDev jsme porovnali s Language Agent Tree Search (LATS) a Reflexion, dvěma předními přístupy na Hu-manEval leaderboardu od března 2024 [ ].Výsledky pro nulovou základnu (GPT-4) jsou převzaty z technické zprávy OpenAI GPT-4 [ A to i v případě, že se jedná o předchůdce a předchůdce. 1 11 1 Jazykový agent Tree Search (LATS) ] je všestranný rámec, který využívá velkých jazykových modelů (LLM) pro plánování, jednání a uvažování. inspirovaný hledáním stromu Monte Carlo, LATS zaměstnává LLM jako agenty, hodnotové funkce a optimalizátory, které znovu využívají své schopnosti pro lepší rozhodování. 23 Přemýšlení [ ] introduces a unique framework to reinforce language agents via linguistic feedback without weight updates. Agents in Reflexion verbally reflect on task feedback signals, maintaining their reflective text in an episodic memory buffer for enhanced decision-making. 17 stůl ukazuje, že AutoDev dosahuje míry Pass@1 ve výši 91.5%, což zajišťuje druhou nejlepší pozici na žebříčku HumanEval. Pozoruhodně, tento výsledek je získán bez dalších vzdělávacích dat, což odlišuje AutoDev od LATS, což dosahuje 94,4%. Navíc rámec AutoDev zvyšuje výkonnost GPT-4 z 67% na 91.5%, což představuje relativní zlepšení o 30%. 1 Tyto výsledky zdůrazňují schopnost AutoDev významně zvýšit výkon LLM při dokončování úkolů softwarového inženýrství. nicméně, je třeba poznamenat, že účinnost AutoDev může zahrnovat více závěrů a kroků, jak jsme se ponořit do dalších podrobností v RQ3. RQ2: Jak efektivní je AutoDev v testu generování úkolu? Table prezentuje výsledky pro RQ2, srovnání AutoDev s nulovým výstřelem GPT-4 (základní linie) a lidsky psanými testy v zkušební generace úkolu. jelikož OpenAI nehodnotil GPT-4 na zkušební generace úkolu, jsme získali nulové výsledky GPT-4 tím, že se dovolává závěru s pokynem na stejný model GPT-4 používaný pro AutoDev. 2 AutoDev dosáhl skóre Pass@1 ve výši 87,8 % na databázi HumanEval upravené pro úkol generování testů, což představuje relativní zlepšení ve výši 17 % oproti výchozím hodnotám, které používají stejný model GPT-4. hlásí celkové pokrytí celého datového souboru zkušebních případů, přičemž nesprávné nebo neúspěšné testy považuje za nedostatečné pokrytí. 2 Tyto výsledky potvrzují schopnost společnosti AutoDev řešit různé úkoly softwarového inženýrství. Q3: Jak efektivní je AutoDev při dokončování úkolů? figurek ilustruje kumulativní počet příkazů používaných společností AutoDev pro úkoly generování kódu a generování testů s přihlédnutím k průměrnému počtu příkazů používaných pro hodnocení každého problému HumanEval v RQ1 a RQ2. 3 Pro Code Generation AutoDev provedl průměrnou 5.5 příkazů, zahrnující 1,8 zápisu, 1,7 zkušebních operací, 0,92 zastavení (ukazující dokončení úkolu), 0,25 nesprávných příkazů, spolu s minimálním vyhledáváním (grep, find, cat), operacemi kontroly syntaxe a příkazy komunikace řeči. V případě Test Generation se průměrný počet příkazů shoduje s úkolem Code Generation. Nicméně, Test Generation zahrnuje více operací vyhledávání a zvýšený výskyt nesprávných operací, což má za následek celkový průměr 6,5 příkazů pro každý běh. Příkaz klasifikujeme jako nesprávný, pokud odkazuje na nedostupný příkaz nebo neuspěje v analýze (např. nesprávné formátování nebo počítání parametrů).Nejběžnější nesprávné příkazy zahrnují agenty umělé inteligence, které mísí přirozený jazyk s kódem nebo příkazy. Zatímco AutoDev vyvolává více výmluvních výzev ve srovnání s přístupy, které generují kandidátový kód v jedné výzvě, je důležité si uvědomit, že AutoDev také provádí testovací a validační operace, úkoly obvykle prováděné vývojáři k validaci generovaných kandidátů. Kromě toho AutoDev často komunikuje dokončení úkolů prostřednictvím rozhovorových příkazů, poskytuje vhled a interpretovatelnost řešení. Dalším pozoruhodným komunikačním příkazem přispívajícím k celkovému počtu je příkaz Stop. Průměrná délka rozhovorů AutoDev pro řešení každého problému HumanEval v RQ1 a RQ2 je 1656 a 1863 tokenů. To zahrnuje cíl uživatele, zprávy od agenta AI a odpovědi z hodnotícího prostředí. Ve srovnání, nulový GPT-4 (základní linie) používá 200 tokenů (odhadované) pro generování kódu a 373 tokenů pro testovací generování, v průměru, pro každý úkol. Zatímco AutoDev používá více tokenů, značná částka se vynakládá na testování, validaci a vysvětlení vlastního generovaného kódu, a to nad rámec toho, co základní přístup nabízí. Konečně AutoDev nese náklady na provedení spojené s orchestrováním AI agentů, řízením konverzací a prováděním příkazů v prostředí Docker.Nejdůležitější je, že prostředí pro vyhodnocování založené na Dockeru představuje hlavní náklady na provedení, které vykazují vyšší nadměrné náklady ve srovnání s přímými příkazy CLI v prostředí uživatele. 5 Diskuse 5.1 Autodev v akci Čísla (část I) a (Část II) poskytují přehled o Au-toDev v akci během zkušební generace úkolu, s některými interakcemi shrnuty nebo vynechány pro stručnost. , jsme si stanovili cíl pro AutoDev generovat nejzajímavější testovací případy podle konkrétního formátu. AutoDev agent iniciuje příkaz write-new, poskytuje filepath a obsah testovacího souboru. AutoDev provádí operaci, potvrzující úspěšné psaní obsahu agentu. Následně AutoDev agent spouští testovací operaci a AutoDev spustí test v jeho zabezpečeném prostředí Docker, prezentuje zprávu o provedení testu JSON (souhrn v obrázku pro stručnost). 4 5 4 Agent AutoDev identifikuje chybu v nejnáročnějším výstupu a uznává, že je vyžadována oprava, aby byl test sladěn s očekávaným chováním funkce. Continuing in Figure , AutoDev agent vydává příkaz psát, specifikuje filepath a rozsah číslic řádků (5-5) pro přepisování nesprávného tvrzení. Po tom, AutoDev agent pokračuje s testováním, které nyní uspěje. 5 Tento příklad zdůrazňuje schopnost AutoDev vyhodnotit svůj generovaný kód a řešit chyby v rámci vlastního výstupu.Dále demonstruje, jak AutoDev usnadňuje uživatelům vhled do akcí agentů, což umožňuje agentům komunikovat během úkolu. 5.2 Multifunkční spolupráce AutoDev podporuje multiagentovou spolupráci na úkolech, kterou organizuje Agent Scheduler.V našem hodnocení jsme vzhledem k relativní jednoduchosti databáze HumanEval omezili naše nastavení na jediného agenta GPT-4 pro úkoly. Předběžné výsledky však naznačují pozitivní dopad spolupráce s více agenty na složitější úkoly. Experimentování s AI Developerem a AI Reviewerem, každý s odlišnými odpovědnostmi a dostupnými akcemi, spolupracující na opravě složité chyby odhalilo zajímavé interakce. AI Reviewer mohl předem identifikovat chyby AI Developerů před provedením akcí ověřování kódu a poskytnout relevantní návrhy. Naše budoucí plány zahrnují rozšíření hodnocení tak, aby zahrnovaly složitější scénáře, ve kterých může spolupráce více agentů výrazně zlepšit výkonnost společnosti AutoDev. 5.3 Člověk v kruhu AutoDev umožňuje agentům umělé inteligence komunikovat o pokroku v úkolech nebo požadovat lidskou zpětnou vazbu pomocí rozhovoru a příkazů na dotazy.Anexdotálně se tyto příkazy ukázaly jako užitečné pro vývojáře, kteří používají AutoDev, aby pochopili záměry agenta a získali vhled do plánu agenta.Přidání příkazu na dotazy bylo přímou reakcí na žádost vývojáře během naší pilotní studie, kde chtěli schopnost poskytovat zpětnou vazbu, když se agenti zdají být nejistí o dalších akcích. Naše budoucí plány zahrnují hlubší integraci lidí v kruhu AutoDev, což umožňuje uživatelům přerušit agenty a poskytnout okamžitou zpětnou vazbu. 5.4 Autodev integrace Naše pilotní studie zahrnovala vývojáře, kteří používali AutoDev jako příkaz CLI, přičemž konverzace byla k dispozici pro pozorování v rámci VSCode IDE. Naším cílem je integrovat AutoDev do IDE, vytvořit chatbotovou zkušenost a začlenit ji do potrubí CI/CD a platforem pro hodnocení PR. Předpokládáme, že vývojáři přidělí úkoly a problémy společnosti AutoDev, přezkoumají výsledky v rámci systému PR a dále zjednoduší pracovní postup pro vývoj softwaru. 6 Související práce Naše práce je založena na rozsáhlé literatuře, která aplikuje AI na různé úkoly softwarového inženýrství.V této sekci zkoumáme nedávný vývoj a kontextalizujeme AutoDev v této bohaté výzkumné krajině. 6.1 AI v softwarovém inženýrství Integrace AI, zejména velkých jazykových modelů (LLM), do softwarového inženýrství dosáhla značného pokroku. [Zobrazit instrukce] ], a GPT-4 [ ] využily transformační architektury [ ] pochopit a generovat nejen přirozený jazyk, ale také zdrojový kód. masivní velikosti parametrů LLM, jako jsou ty v Gropher [ ] a Megatron-Turing NLG [ ], a GPT-4 [ Tyto modely AI umožnily dosáhnout impozantního výkonu v různých úkolech. 7 14 13 20 15 18 13 Jak se postupy vývoje softwaru nadále vyvíjejí, integrace špičkových technologií se stává klíčovým faktorem pro zvýšení produktivity vývojářů. ]. mezi pozoruhodnými pokroky získalo využití LLM v rámci integrovaného rozvojového prostředí (IDEs) značnou pozornost [ , , ]. LLM, včetně prominentních modelů, jako je OpenAI GPT-3.5 [ ] a GPT-4 [ ], stejně jako robustní modely s otevřeným zdrojovým kódem jako Code Llama [ , vykazují potenciál působit jako inteligentní programovací asistenti. 5 4 10 12 13 16 V tomto článku představujeme AutoDev, komplexní rámec pro autonomní úkoly softwarového inženýrství v bezpečném vývojovém prostředí. AutoDev se rozšiřuje nad rámec stávajících prací tím, že poskytuje všestrannou knihovnu nástrojů, která umožňuje agentům AI samostatně provádět složité úkoly, jako je editace kódu, testování a integrace. AutoDev je také LLM-agnostic, s infrastrukturou, která umožňuje různorodý soubor modelů AI s různými velikostmi parametrů a architekturami, aby spolupracovali na daném úkolu. 6.2 Hodnocení LLM v softwarovém inženýrství Hodnocení LLM pro úkoly softwarového inženýrství představuje jedinečné výzvy. tradiční metriky založené na jazyce, jako je BLEU, byly zaměřeny na předchozí výzkum, s hodnoceními prováděnými na statických datových souborech, jako je GLUE [ ] and BIGBench [ Tyto metriky však často chybí při zachycování základních programovacích aspektů, jako je syntaxní správnost a metriky založené na provedení, jako je budování a testování. 21 19 CodeXGLUE (článek) ] řeší tato omezení tím, že poskytuje komplexní platformu pro hodnocení LLM v softwarovém inženýrství. nabízí různorodý datový soubor s referenčními hodnotami spolu s výchozími modely, jako jsou CodeBERT a CodeGPT. 9 Lidské tělo [ ] přispívá k oblasti tím, že se zaměřuje na funkční správnost LLM, zavádí referenční datový soubor ručně psaných programovacích problémů v Pythonu. 5 [ Podobně jako HumanEval, Copilot Evaluation Harness zahrnuje úvahy o provádění kódu, ale rozšiřuje spektrum úkolů softwarového inženýrství (kód, testování a tvorba dokumentů, porozumění pracovním prostorům a řešení dotazů), stejně jako zvyšuje metriky používané pro hodnocení. 3 Zatímco naše současné hodnocení spoléhá na HumanEval pro hodnocení účinnosti AutoDev ve dvou kódovacích úkolech, naše budoucí práce má za cíl rozšířit toto hodnocení na náročnější a reálné datové sady, jako jsou ty, které nabízí Copilot Evaluation Harness. 6.3 AI v softwarovém inženýrství Interakce Zatímco předchozí práce zkoumaly křižovatku umělé inteligence a softwarového inženýrství, jen málo se ponořilo do programování řízeného umělou inteligencí v rámci interakcí IDE. AutoDev, jak je uvedeno v tomto článku, čerpá inspiraci z existujících prací v literatuře a zároveň posiluje jejich příspěvky. LATS (Language Agent Tree Search) – vyhledávání jazykových agentů a přemýšlení o tom, Každá z nich představuje jedinečné přístupy k úkolům řízeným AI. 8 23 17 Řidičské auto[editovat] Operuje párováním GPT-3.5 a GPT-4 s doprovodným botem, což umožňuje uživatelům poučit tyto jazykové modely o konkrétních cílech. 8 Letiště [ ] , na druhé straně, je obecný rámec, který synergizuje schopnosti LLM v plánování, jednání a uvažování. Inspirovaný hledáním stromu Monte Carlo, který se běžně používá v učení o posilování založeném na modelech, LATS používá LLM jako agenty, hodnotové funkce a optimalizátory, které zlepšují rozhodování. 23 Přemýšlení [ ] zavádí nový rámec pro posílení jazykových agentů prostřednictvím jazykové zpětné vazby. Reflexní agenty ústně odrážejí zpětné signály úkolů a udržují svůj reflexní text v epizodickém paměťovém bufferu pro zlepšení rozhodování. Tento flexibilní rámec zahrnuje různé typy a zdroje zpětných signálů a ukazuje významná zlepšení oproti agentům výchozí linie v různých úkolech, včetně sekvenčního rozhodování, kódování a jazykového uvažování. 17 AutoDev se specializuje na tyto myšlenky pro oblast softwarového inženýrství a nabízí flexibilní rámec, který umožňuje agentům AI dokončit složité úkoly SE v plné autonomii.Naší prací je překlenout propast mezi tradičními postupy softwarového inženýrství a automatizací řízenou AI, což usnadní spolupráci mezi vývojáři a agenty AI. 7 Závěry V tomto článku jsme představili AutoDev, rámec, který umožňuje agentům umělé inteligence autonomně interagovat s úložišti, provádět akce a řešit složité úkoly softwarového inženýrství. Přenesli jsme odpovědnost za extrahování relevantního kontextu pro úkoly softwarového inženýrství a validování kódu generovaného AI od uživatelů (hlavně vývojářů) na samotné agenty umělé inteligence. Role vývojáře v rámci rámce AutoDev se mění od manuálních akcí a validace návrhů umělé inteligence k nadřízenému, který dohlíží na spolupráci s více agenty na úkolech, s možností poskytnout zpětnou vazbu. Naše hodnocení datového souboru HumanEval pro generování kódu a testů ukázalo impozantní výsledky, přičemž Pass@1 dosáhl skóre 91.5 pro generování kódu – druhý nejlepší výsledek na žebříčku v době psaní a nejlepší mezi přístupy, které nevyžadují žádné další školení. S ohledem na budoucnost je naším cílem pro budoucí práci integrovat AutoDev do IDE jako chatbotové zkušenosti a začlenit ji do potrubí CI / CD a platforem pro hodnocení PR. Reference [1] Generace kódu na humaneval - state-of-the-art. Přihlášeno: 2024-02-27. HNPS je na paperswithcode.com/sota/code-generation-on-humaneval GitHub copilot: Váš pár programátorů. 2024. Jihomoravský kraj://github.com/features/ Copilotová [3] Agarwal, A., Chan, A., Chandel, S., Jang, J., Miller, S., Moghad-dam, R. Z., Mohylevskyy, Y., Sundaresan, N., a Tufano, M. Copi-lot vyhodnocovací nástroj: Vyhodnocování programování softwaru řízeného LLM, 2024. [4] Chen, B., Mustakin, N., Hoang, A., Fuad, S., a Wong, D. Vscuda: Llm založené rozšíření cuda pro vizuální studio kód. (New York, NY, USA, 2023), SC-W ’23, Association for Computing Machinery, s. 11–17. Výsledky SC ’23 Workshopy Mezinárodní konference o vysoce výkonné výpočetní techniky, sítě, úložiště a analýzy [5] Chen, M., Tworek, J., Jun, H., Yuan, Q., de Oliveira Pinto, H. P., et al. Hodnocení velkých jazykových modelů vyškolených na kódu. [6] Ding, Y., Wang, Z., Ahmad, W., Ding, H., Tan, M., Jain, N., Ra-manathan, M. K., Nallapati, R., Bhatia, P., Roth, D., et al. Cross-codeeval: A diverse and multilingual benchmark for cross-file code completion. Až 2024). Pokroky v oblasti neurálních informačních systémů 36 [7] Floridi, L., a Chiriatti, M. Gpt-3: Jeho povaha, rozsah, limity a důsledky. (2020), 681 až 694. Myšlenky a stroje 30 [8] Gravitas a S. Autogpt 2024 GitHub úložiště. hNps://github.com/Significant-Gravitas/ autopůjčovna , [9] Lu, S., Guo, D., Ren, S., Huang, J., Svyatkovskiy, A., Blanco, A., Clement, C., Drain, D., Jiang, D., Tang, D., Li, G., Zhou, L., Shou, L., Zhou, L., Tufano, M., Gong, M., Zhou, M., Duan, N., Sundaresan, N., Deng, S. K., Fu, S., and Liu, S. Codexglue: A machine learning benchmark dataset for code understanding and generation, 2021. [10] Nam, D., Macvean, A., Hellendoorn, V., Vasilescu, B., a Myers, B. In-ide generace informační podpora s velkým jazykovým modelem, 2023. [11] FedAI, :, Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., Almeida, D., Altenschmidt, J., Goonti, S., Anadkat, S., Avila, R., Babuschkin, I., Boyd, S., Cumling, S., Brockman, G., Baltescu, P., Bao, H., Bavarian, M., Brundage, M., Button, K., Cai, T., Berdine, R., Cann, Fulyiro, G., Berner, C., Bogdonoff, L., Boiko, O., Boyd, M., Cumling-man, A.-L., Brockman, G., Brockman, T., Brundage, M., Button, K., Cai, T., Campbell, R., A Grafstein, M., Gray, S., Greene, R., Gross, J., Gu, S. S., Guo, Y., Hallacy, C., Han, J., Harris, J., He, Y., Heaton, M., Heidecke, J., Hesse, C., Hickey, A., Hickey, W., Hoeschele, P., Houghton, B., Hsu, K., Hu, S., Hu, X., Huizinga, J., Jain, S., Jain, S., Jang, J., Jiang, A., Jiang, R., Jin, H., Jin, D., Jomoto, S., Jonn, B., Jun, H., Kaftan, T., Łukasz Kaiser, Kamali, A., Kanitscheider, I., Keskar, N. S., Khan, T., Kilpatrick, L., Kim, J. W., Kim, C., Kim, Y., Kirchner, J. H., Kiros, J., Knight, M., Kokotajlo, D., Łukasz Kondraciuk, Kondrich, A., Konstantinidis, A., Kosic, K., Krueger, G., Kuo, V., Lampe, M., Lan, I., Lee, T., Leike, J., Leung, J., Levy, D., Li, C. Lin, S., Litwin, M., Lopez, T., Lowe, R., Lue, P., Makanju, A., Mal-facini, K., Manning, S., Markov, T., Markovski, Y., Martin, B., Mayer, K., Mayne, A., McGrew, B., McKinney, S. M., McLeavey, C., McMillan, P., Mély, D., Nair, A., Medina, D., Mehta, A., Menik, J., Metz, L., Mishchenko, A., Mishkin, P., Monako, V., Morikawa, E., Poking, D., Mu, T., Murati, M., Murk, O., Mély, D., Nair, A., Nakano, R., Mehta, R., Neelak, A., Ngo, R., Noh, A., Weihang, J., Ramesh, A., Raymond, C., Real, F., Rimbach, K., Ross, C., Rotsted, B., Roussez, H., Ryder, N., Saltarelli, M., Sanders, S., Santurkar, S., Sastry, G., Schmidt, K., Sohl, I., Sokolowsky, B., Song, Y., Schulman, J., Staudacher, N., Such, F. P., Summers, N., Sutieh, I., Shoker, S., J., Temba, Yoo Tezak, N., Sidor, S., Sigler, E., Simens, M., Sitkin, J., Slama, K., Sohl, I., Sokolowsky, B., Song, Y., Selsam, D., Sheppard, K., N., Such, F. P., [12] OpenAI. Gpt 3.5 models, 2023. [13] OpenAI. Gpt-4 technická zpráva z roku 2023. [14] Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., et al. Výcvik modelů lan-guage následovat pokyny s lidskou zpětnou vazbou. (2022), 27730 až 27744. Neurální systémy zpracování informací 35 [15] Rae, J.W., Borgeaud, S., Cai, T., Millican, K., a další. Škálování jazykových modelů: Metody, analýzy a poznatky z výcviku gopher, 2022. [16] Roziere, B., Gehring, J., Gloeckle, F., Sootla, S., Gat, I., Tan, X. E., Adi, Y., Liu, J., Remez, T., Rapin, J., et al. Code llama: Modely otevřeného základu pro kód. Až 2023 arXiv předtisk arXiv:2308.12950 [17] Shinn, N., Cassano, F., Berman, E., Gopinath, A., Narasimhan, K., a Yao, S. Reflexie: Jazykové agenti s verbálním posilováním učení, 2023. [18] Smith, S., Patwary, M., Norick, B., LeGresley, P., Rajbhandari, S., Casper, J., Liu, Z., Prabhumoye, S., Zerveas, G., Korthikanti, V., Zhang, E., Child, R., Aminabadi, R. Y., Bernauer, J., Song, X., Shoeybi, M., He, Y., Houston, M., Tiwary, S., a Catanzaro, B. Použití hloubky a megatronu k výcviku megatron-turing nlg 530b, generativního jazyka velkého rozsahu, 2022. [19] Srivastava, A., Rastogi, A., Rao, A., Shoeb, A. A. M., et al. Mimo hru napodobování: Kvantifikace a extrapolace schopností jazykových modelů, 2023. [20] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., a Polosukhin, I. Pozornost je vše, co potřebujete. (2017 ) se Pokroky v oblasti neurálních informačních systémů 30 [21] Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., a Bowman, S. R. Glue: Multi-task benchmark a analytická platforma pro pochopení přirozeného jazyka, 2019. [22] Wu, Q., Bansal, G., Zhang, J., Wu, Y., Li, B., Zhu, E., Jiang, L., Zhang, X., Zhang, S., Liu, J., Awadallah, A. H., White, R. W., Burger, D., a Wang, C. Autogen: Povolení aplikací next-gen llm prostřednictvím multi-agent konverzace, 2023. [23] Zhou, A., Yan, K., Shlapentokh-Rothman, M., Wang, H., a Wang, Y.-X. Jazykový agent strom hledání sjednocuje uvažování jednání a plánování v jazykových modelech, 2023. Tento dokument je k dispozici v archivu pod licencí CC by 4.0 Deed (Attribution 4.0 International). Tento papír je Pod licencí CC by 4.0 Deed (Attribution 4.0 International). Dostupné v archivu