AutoDev: اتومات AI-Driven پراختیا

د نویسنده: Michele Tufano (Microsoft, Redmond, USA) Anisha Agarwal (Microsoft, Redmond, USA) Jinu Jang (Microsoft, Redmond, USA) Roshanak Zilouchian (Microsoft, Redmond, USA) Neel Sundaresan (Microsoft, Redmond, USA) د نویسنده: د Michele Tufano (Microsoft، Redmond، متحده ایاالتو) Anisha Agarwal (Microsoft، Redmond، متحده ایالاتو) Jinu Jang (Microsoft، Redmond، متحده ایاالتو) Roshanak Zilouchian (Microsoft، Redmond، متحده ایالاتو) Neel Sundaresan (Microsoft، Redmond، متحده ایالاتو) د Abstract د سافټویر د پراختیا پړاو سره د AI-powered مسلکیانو د راټولولو سره د پیراګرام بدل دی، د GitHub Copilot په مثال کې. په هرصورت، د موجوده حلونه د یو IDE کې شتون لري لکه د جوړولو، ازمايښت، کوډ ترسره کولو، git عملیاتونه، او داسې نور د ټولو امکاناتو څخه ګټه نه کوي. له دې امله، دوی د دوی محدود ظرفیتونو له امله محدود دي، په عمده توګه د کوډ نندارتونونه او د چیټ پر بنسټ د انټرنیټ کې د فایلونو بدلون په اړه تمرکز کوي. د دې بڼه بشپړولو لپاره، موږ د AutoDev، په بشپړه توګه اتومات AI-driven سافټویر د پراختیا چارچوب، ډیزاین کوو د سافټویر انجنیري کارونو پلان کولو او ترسره کولو لپاره. AutoDev کاروونکو ته وړاندیز کوي چې پیچلي سافټویر انجنیري اهداف، چې د AutoDev اتومات AI اګانې ته اړتیا لري. دا AI اګانې کولی شي په کوډ بیس کې ډیری فعالیتونه ترسره کړي، په شمول فایل ترمیم، ترلاسه کولو، جوړولو پروسې، ترسره کولو، آزموینې او git فعالیتونه. دوی هم د فایلونو، کمپیلر تولید، جوړولو او ازمايښت ریکارډونه، سټیک تحلیل وسایلو، او نور هم لري. دا د AI اګانې ته اجازه ورکوي چې په بشپړه توګه اتومات ډول کارونه ترسره کړي چې د اړتيا وړ معلوماتو په بشپړه کچه پوه شي. برسېره پر دې، AutoDev د Docker کانټینرونو کې د اتومات زموږ تقييم کې، موږ د AutoDev په HumanEval ډاټاټ کې ازموينه وکړه، د کوډ تولید او ازموينه تولید لپاره د Pass@1 91.5٪ او 87.8٪ له خوا لوړه پایلې ترلاسه کړ، د سافټویر انجنیري کارونو په اتومات کې د دې اغیزمنتیا demonstrating په داسې حال کې د خوندي او د کاروونکي کنترول د پراختیا چاپیریال ساتنه. 1 نندارتون لکه څنګه چې ډیزاینونکي په پراختیا کې د فعالیتونو لپاره د AI اسنادو لکه ChatGPT رامینځته کوي، د تولیداتو ګټې ښکاره شوي دي. د AI کوډ کولو اسنادو په پراختیا چاپیریالونو کې (IDEs) لکه GitHub Copilot ته نور پرمختګ شوي دي. ]، کوم چې دوی په چټک انټرنیټونو کې او په مستقیم ډول د فایلونو کې کوډ پیشنهادونه وړاندې کوي. 2 په هرصورت، د دې AI کوډ کولو مسلکیانو، د IDE کې د دوی انډول کولو په لټه کې، محدود فعالیتونه وده ورکړي او د معیارونو په اړه پوهې نلري[ د ]. They often do not leverage all IDE capabilities such as invoking linters, compilers, or executing command-line operations, and consequently, developers still need to manually validate syntax and ensure the correctness of AI-generated code, execute the codebase, and inspect error logs. 3 6 AutoDev د دې غړیتوب سره د اتومات AI ایجنټانو ته وړاندیز کوي چې د فایل ترمیم، re-trieval، جوړولو، ازموينه او CLI فرمانونو په مستقیم ډول په ذخیره کې د کاروونکي ځانګړتیاوې ته ورسیږي، په دې توګه د پیچلي کارونو اتومات وړاندیز کوي. AutoDev د لاندې کلیدي ځانګړتیاوې وړاندې کوي: (i) د کاروونکي او د AI اګانو د اړیکو د څارنې او اداره کولو وړتیا ، (ii) د customized کتابتون د مختلفو کوډونو او SE اړونده اهدافو پوره کولو لپاره، (iii) د مختلف AI ایجنټونو ته د کارولو سره د یو مشترکه هدف په لارښوونې کې کار وکړي. ، او (IV) د کوډ ترسره کولو او ازمايښتونو له لارې چلولو وړتیا . د اړیکو مدیر د وسایلو د کارپوه کارپوه د اندازې چاپیریال فورمه د AutoDev کار فورمه یو لوړ کچه مثال ښودلی. د کاروونکي یو هدف تعریف کوي (د مثال په توګه، د ځانګړي طریقې ازموینې). د AI Agent په نوي فایل کې ازموینې کښته کوي او د ازموینې ترسره کولو امر رامینځته کوي، ټول په خوندي evaluation چاپیریال کې. د ازموینې ترسره کولو پایلې، په شمول د ناکامۍ ریکارډونه، بیا په conver-sation کې شامل دي. د AI Agent د ازموینې تحلیل کوي، د ازموینې ترلاسه کولو امر رامینځته کوي، د ازموینې ترمیم کولو له لارې ترلاسه شوي معلومات رامینځته کوي، او د ازموینې ترسره کولو رامینځته کوي. په پایله کې، د چاپیریال د ازموینې ترسره کولو او د کاروونکي هدف بشپړولو په بریالیتوب کې پیژ 1 ټول پروسه د AutoDev په خپلواکه توګه جوړ شوی دی، کوم چې د ini-tial هدف جوړولو څخه ډیر اړتیا نلري. په مقابل کې، د موجوده AI کوډینګ اسنادو سره د IDE کې انډول شوي، پراختیا کوونکي به manually ازموینې ترسره کړي (د مثال په توګه، pytest ترسره کړي)، د AI چیټ انټرنیټ ته د ناکامۍ لیګونه برابر کړي، ممکن د اضافي کنکټیکي معلومات چې شامل شي، او د تصدیق کولو عملونه تکرار کړي ترڅو د ازموینې بریالیتوب تضمین کړي کله چې د AI اصلاح شوي کوډ تولید کوي. AutoDev د اتوماتیک AI اګانو په سيمه کې د مخکښ کارونو له خوا استازیتوب لري. د مثال په توګه، AutoGen [ ] یو فریم ورک دی چې د ژور ماډل workflows orchestrates او د څو اګانو تر منځ د خبرې کولو تبادله کوي. AutoDev د AutoGen پراختیا له لارې د خبرې مدیریت څخه بهر او د اګانو ته اجازه ورکوي چې په مستقیم ډول د کوډ ذخیره سره اړیکه ونیسئ، امرونه او عملونه اتومات کاروي. همدارنګه، AutoDev د Auto-GPT پر بنسټ کوي [ ]، د کورس او IDE ځانګړي وړتیاوې وړاندې کولو له لارې د کارونو د اتومات کارولو لپاره د اټکل AI ایجنټ د پیچلي سافټویر انجنیري کارونو ترسره کولو لپاره امکان ورکوي. 22 8 زموږ تفتیش کې، موږ د AutoDev us-ing د HumanEval ډاټا سیټ وړتیاوې [ ]، په اصل کې د کوډ تولید لپاره د طبیعي زبان توصیفونو (docstrings) څخه ډیزاین شوی دی. برسېره پر دې، موږ د ارزیابیلو پراختیا کوو چې د ازموینې کچې تولید ورکشاپ شامل وي، د مختلفو سافټویر انجنیري اهدافو په کارولو کې د AutoDev پراختیا ښودلوي. د پایلو له خوا، د AutoDev 91.5% او Pass@1 لپاره د کوډ تولید او د ازموینې تولید لپاره د 87.8% لګښت لري. دا پایلې د سافټویر انجنیري ورکشاپونو په اتومات کولو کې د AutoDev اغیزمنتیا ته وده ورکړي په داسې حال کې چې د خوندي او کاروونکي کنټرول شوي پراختیا چاپیریال ساتل کیږي. 5 2 د موټر ډیزاین د ډیزاین په Fig کې ښيي. د AutoDev آرکټیکټریټ په اړه د معلوماتو وړاندې کوي. کله چې لومړنۍ تنظیمات بشپړ شوي دي، AutoDev خپل وړتیاوې په څلور ګروپونو کې تنظیم کوي: یو Conversation Manager چې د کاروونکي او ایجنټونه د بحثونو څارنه او مدیریت کوي؛ یو Tools کتابتون چې د کوډ او د IDE سره تړاو شوي وسایلو په مختلفو ډول د ایجنټونو لپاره شتون لري، یو Agent Scheduler چې د مختلف ایجنټونو وختونه ورکوي، او یو evaluation چاپیریال چې د عملونو ترسره کولو لپاره امکان لري. لاندې موږ هر وړتیا په تفصيل کې بیان کوو. 2 2.1 د قواعدو، عملونه، او هدف جوړښت د کاروونکي د پروسه له لارې د Yaml فایلونو له لارې د قواعد او عملونو ترتیب کولو له لارې پیل کوي. دا فایلونه د وړاندیز شوي امرونه (د عملونو) چې د AI ایجنټونه کولی شي ترسره کړي. کاروونکي کولی شي د ځانګړي امرونو فعالولو / غیر فعالولو له لارې د default تنظیماتو یا د وړاندیز شوي اجازهونو څخه ګټه واخلئ، د AutoDev د دوی ځانګړي اړتیاوو لپاره ګټه واخلئ. دا ترتیب کولو مرحله د AI ایجنټونو وړتیاوو په دقیق ډول کنترول کوي. په دې مرحله کې کاروونکي کولی شي د AI ایجنټونو شمولیت او چلند د ځانګړي مسئولیتونو، اجازهونو او وړاندیز شوي عملونو تادیه کړي. د مثال په توګه، کاروونکي کولی شي د "Developer" ایجنټ او "Revie د قواعدو او عملونو ترتیب کولو وروسته، کاروونکي د سافټویر انجنیري ورکشاپ یا پروسه مشخصوي چې د AutoDev لخوا ترسره شي. د مثال په توګه، کاروونکي کولی شي د ازموینې کورسونه تولید کړي او ډاډه وکړي چې دوی د سندیکس درست دي، پیسې دي، او چې بیګونه نلري (د دې شامل دي فایلونه د ترمیم، د ازموینې سیټیټ چلولو، د سندیکس چکونو ترسره کولو او د بریښنا د څیړنې وسایل). 2.2 د کنترول مدیر Conversation Manager، چې د مکالمه تاریخ په لومړنۍ توګه کار کوي، د چلند د مکالمه مدیریت په لوړه کچه څارنه کوي. دا د پروسه تعقیب کولو وخت په اړه د حل کولو کار کوي او د کاروونکي، د AI ایجنټانو او د سیسټم په ټولیزه توګه تر منځ د اړیکو بیلابیلو تضمین کوي. دا د مکالمه اجزا شامل دي چې د AI ایجنټانو څخه پیغامونه او د ارزیابیلو چاپیریال څخه عملونو پایلې شامل دي. د پارسر د اګانو له خوا تولید شوي ځوابونو تفسیر کوي، د امرونو او اګانې په مخکښ فارم کې اخراج کوي. دا تضمین کوي چې د امرونو په درست ډول جوړ شوي دي، د اګانې شمیره او دقت تایید کوي (د مثال په توګه، د فایل ترمیم کولو امر د فایل پړاو اګانې ته اړتيا لري). په صورت کې چې د پیسنس ناکام کیږي، د بریالیتوب پیغامونه په اړیکه کې انجکشن شوي دي، په ذخیره کې د نورو عملونو څخه مخنیوی کوي. په بریالیتوب سره پیسنس شوي امرونه نور تحلیل شوي دي، د ځانګړي اګانې اجازهونو اغیز کولو او اضافي سمیټیک چیکونو ترسره کولو له لارې. دا تضمین کوي چې د پیشنهاد شوي عملونه د کاروونکي لخوا مشخص شوي تفصيلات سره 2.2.1 Parser. د صادراتو سازمانونکي ماډل د تحلیل چاپیریال څخه ترلاسه شوي صادراتو پروسس کوي. دا د مهمو معلوماتو، لکه حالت یا غلطاتو انتخاب کوي، د اړونده موادو په اختیاري توګه خلاصوي، او د اړیکو تاریخو ته یو خوب جوړ شوي پیغام اضافه کوي. دا تضمین کوي چې کاروونکي د Au-toDev فعالیتونه او پایلې په واضح او منظم توګه ریکارډ لري. 2.2.2 Output Organizer. د AutoDev فریمورګ په اړه نندارتون: د کاروونکي د پروسه له لارې پیل کوي ترڅو د پایلو لپاره هدف مشخص کړي. د Conversation Manager د خبرې کولو او ترتیباتو پیل کوي. د Agent Scheduler اټکل کوي د AI اټکلونه چې په کار کې همکارۍ وکړي او د Conversation Manager ته خپل کښته ورکوي. د Conversation Manager دا کښته ورکوي او د Tools Library راټولوي، کوم چې په ذخیره کې کارول کیدی شي. د اټکلونو عملونه په خوندي Docker چاپیریال کې ترسره کیږي، او د محصول د Conversation Manager ته ورسیږي، کوم چې دا په اوسني بحث کې شامل کوي. دا iterative پروسه ته دوام ورکوي چې د کار په بریالیتوب سره بشپړ شي. Figure 2. Conversation Manager مشخصوي چې کله چې د اړیکو ختم کړي. دا کیدای شي کله چې یو ایجنټ د کار بشپړولو ته نشانه ورکوي (Stop امر) ، د اړیکو د کاروونکي له خوا د تکرارونو / ټکینونو حد کچه ته ورسیږي ، یا ستونزې په پروسه کې یا د تبادلې چاپیریال کې کشف کیږي. د AutoDev جامع ډیزاین د AI-driven پراختیا لپاره د سیستماتیک او کنټرول شوي لارښوونې تضمین کوي. 2.2.3 Conversation Conclusion. 2.3 د کارپوه کارپوه Agent Scheduler کار کوي چې د کاروونکي ځانګړي افراد او د وړاندیز شوي دستورونو ټولګه سره ترتیب ورکوي. Agent Scheduler کاروي چې د کارموندنې algorithms، لکه Round Robin، Token-Based، یا Priority-Based کاروي ترڅو د کارموندنې ته د کارموندنې په ترتیب او طریقې ټاکل کړي. په ځانګړې توګه، د کارموندنې algorithms شامل دي، مګر نه محدود دي: (i) Round Robin کارموندنې، چې هر agent په ترتیب کې د کارموندنې شمېر ترسره کولو ته اجازه ورکوي، کوم چې هر agent ته اجازه ورکوي؛ (ii) Token-Based کارموندنې، کوم چې د کارموندنې لپاره اجازه ورکوي چې د کارموندنې لپاره څو کارموندنې ترسره کړي، تر هغه چې دا د کارموندنې اګانې، چې د لوی زبان ماډلونه (LLMs) لکه OpenAI GPT-4 او کوچني زبان ماډلونه (SLMs) د کوډ تولید لپاره ګټور شوي دي، د متن طبیعي زبان له لارې اړیکه ونیسئ. دا اګانې د اګانې پلانر څخه هدفونه او خبرې تاریخونه ترلاسه کوي، د تنظیماتو او عملونو له خوا مشخص شوي عملونو سره ځواب کوي. هر اګانې، د خپل ځانګړي ترتیب سره، د کاروونکي هدف ته ورسیږي په ټولیز ډول پرمختګ کې مرسته کوي. 2.3.1 Agents. 2.4 د کتابتون وسایلو د AutoDev کې د ټول کتابتون د امرونو لړ وړاندې کوي چې اګانې ته اجازه ورکوي چې په ذخیره کې ډیری فعالیتونه ترسره کړي. دا امرونه ډیزاین شوي دي ترڅو پیچلي عملونه، وسایلو، او سافټویرونه د ساده او انټیلټ کنټرول جوړښت پیژندل کړي. د مثال په توګه، د جوړولو او ازموینې کارولو سره تړاو لري د ساده امرونو له لارې، لکه جوړولو او ازموینه . • د : دا کټګورۍ د فایلونه، د کوډ، ترتیب، او سندونو په شمول د ترميم لپاره کښته شامل دي. د دې کټګورۍ په برخه کې د ګټوریتونو، لکه رسی، ترميم، داخل او حذف، د granularity مختلف کټګورۍ وړاندې کوي. اګانې کولی شي د کلې فایلونو لیکلو څخه د فایل کې د ځانګړي رنګونو بدلولو پورې فعالیتونه ترسره کړي. د مثال په توګه، د کښته لیکلو ، اجازه ورکوي چې د اګانو سره د نوي موادو سره د لړونو په لړ کې راټول شي. File Editing - Retrieval: په دې کټګورۍ کې، د کټګورۍ سافټوپیټونه د اساسي CLI وسایلو څخه لکه grep، find، and ls څخه تر ټولو پیچلي انډول کولو پر بنسټ تکنالوژۍونو ته وده ورکړي. دا تکنالوژۍ افسرونو ته اجازه ورکوي چې د ورته کوډ نښانې ته چمتو کړي، د کوډ بیس څخه د اړونده معلوماتو ترلاسه کولو وړتیا ته وده ورکړي. د مثال په توګه، د کټګورۍ اجازه ورکوي چې افسر د وړاندې شوي موادو لپاره د ورته نښانونو په انډول پر بنسټ کټګورۍ ترسره کړي. Build & Execution: په دې کټګوریو کې کښته اجازه ورکوي چې اګانې کولی شي د کوډ بیس په آسانه توګه سره ساده او حساس کښته جوړ کړي. د ټیټ کټګوریو build کښته د پیچیدو کښته ورکوي، د Evaluation Environment انټرنېټ کې د پروسس په ساده کولو سره. د دې کټګوریو کې کښته مثالونه شامل دي: Build، run . Testing & Validation: دا امر اجازه ورکوي چې اګانې د کوډ بیس ازموینې ته اجازه ورکوي د یو واحد ازموینې کڅوړه، د ځانګړي ازموینې فایل، یا ټول ازموینې کڅوړه ترسره کولو له لارې. اګانې کولی شي د دې عملونو ترسره کړي پرته له ځانګړي ازموینې فریم ورکونو په ځانګړي ډول د ټیټ کڅوړې پر بنسټ. دا ټولګي هم د ازموینې آلهونو لکه linters او bug-finding سافټویرونو شامل دي. د دې ټولګي کې د ازموینې مثالونه شامل دي: سټاکس چې د سټاکس درستتیا چمتو کوي، او ازموینې چې د ټول ازموینې کڅوړه ترسره کوي. Git: د git عملیاتو لپاره د افقی رخصتۍ کولی شي د کاروونکي لخوا تنظیم شي. دا د عملونو لکه commits، push، او merges شامل دي. د بیلګې په توګه، ایجنټونه کولی شي اجازه ورکړي چې یوازې محلي commits ترسره کړي یا، که اړتیا لري، د سرچینې ذخیره کې بدلونونه بدل کړئ. مواصلات: اګانې کولی شي د امرونو سیټ ته د نورو اګانې او / یا کاروونکي سره د اړیکو آسانه کولو لپاره کار واخلئ. په ځانګړي ډول، د خبرې کولو امر اجازه ورکوي چې د طبیعي ژور پیغامونه (نه د ذخیره کولو عملونو لپاره د امرونو په توګه تفسیر نه کیږي)، د پوښتنې امر کارول کیږي چې د کاروونکو نظرونو ته غوښتل کیږي، او د بند کولو امر د پروسس تعقیب کوي، د هدف ترلاسه کولو یا د اګانې غیرقانوني وړاندیز کوي. د AutoDev Tools کتابتون په دې توګه د AI افسرانو لپاره د سافټویر او آسانه وسایلو سیټ وړاندې کوي ترڅو د کوډ بیس سره اړیکه ونیسئ او په همکارۍ پراختیا چاپیریال کې اغیزمن شي. 2.5 د تفتیش چاپیریال په Docker کانټینر کې چلول کیږي، د تجارتي چاپیریال د فایل ترمیم، ترلاسه کولو، جوړولو، ترسره کولو او ازمايښت امرونو په خوندي توګه ترسره کولو ته اجازه ورکوي. دا د ټیټ کچې امرونو پیچیدو څخه مخنیوی کوي، د ایجنګانو لپاره د ساده انټرنیټ وړاندې کوي. د تجارتي چاپیریال د ازمايښت سازمانونکي ماډل ته د معياري output / error راټولوي. 2.6 د ټولو په ګډه جوړولو د کاروونکي د خبرې کولو له لارې د هدف او د تړلي ترتیباتو مشخصوي. د خبرې کولو مدیر د خبرې کولو اجزا له لارې پیل کوي، د AI اګانو او د تبادلې چاپیریال څخه پیغامونه رامینځته کوي. وروسته، د خبرې کولو مدیر د خبرې کولو ته د اګانو روزونکي ته پیژندل کوي، چې د AI اګانو عملونو تعقیب کولو لپاره مسؤلیت لري. د AI اګانو په توګه د ژور ماډلونه (د لوی یا کوچني LMs) د متن تعقیبونو له لارې امرونه پیشنهاد کوي. د Commands Interface د فعالیتونو مختلف ټولګه شامل دي، په شمول د فایل ترمیم، ترلاسه کولو، جوړولو او ترسره کولو، ازموینې او Git عملونه. دا پیشنهاد شوي فرمانونه وروسته د Conversation Manager لخوا تحلیل شوي دي، کوم چې دوی ته د کوډ بیس کې ترسره کولو لپاره د ارزیابیلو چاپیریال ته لارښوونه ورکوي. د دې امرونو ترسره کول د تبادلې چاپیریال خوندي محدودیتونو کې ترسره کیږي، چې په Docker کانټینر کې مخکښ دي. د تبادلې کولو وروسته، د پایلې عملونه په سمه توګه د گفتگو تاریخ کې شامل دي، چې د راتلونکي تبادلې کې مرسته کوي. دا تبادلې پروسې تاو ته دوام ورکوي چې دا کار د ایجنټانو لخوا بشپړ وي، د کاروونکي مداخله ترسره کیږي، یا د تبادلې حد ته رسیدل کیږي. د AutoDev ډیزاین د AI ایجنټونو د سیستماتیک او خوندي تبادلې تضمین کوي ترڅو پیچلي سافټویر انجنیري ورکشاپونه په اتوماتیک او کاروونکي کنترول سره ترسره کړي. 3 د empirical ډیزاین زموږ د تجربي ارزیابی په هدف کې، موږ ته د سافټویر انجنیري کارونو کې د AutoDev وړتیاوو او اغیزمنتیاونو په ارزانه کړي، څنګه څومره چې آیا دا د AI ماډل د اغیزمنۍ په پرتله ساده اغیزمنې زیات کړي. برسېره پر دې، موږ د AutoDev لګښتونو، اغیزمنې لګښتونو، او ټکینونو په شمول د اغیزمنې لګښتونو په ارزانه کړي. موږ درې تجربي څیړنې پوښتنې تعریف کوو: د څیړنې پوښتنې 1. RQ1: په کوډ د توليد دنده کې د AutoDev کتنه اغیزمن دی؟ 2. RQ2: په ټیسټ جنراتو کار کې د AutoDev کتنه اغیزمن دی؟ 3. 𝑅𝑄3: How efficient is AutoDev in completing tasks? RQ1: د کوډ د توليد لپاره د AutoDev کتنه اغیزمن دی؟ د RQ1 حل کولو لپاره، موږ د کوډ د جوړولو په کار کې د AutoDev فعالیتونو په کارولو سره د HumanEval د ستونزو حل ډاټاټا سیټ کاروي. دا ډاټا سیټ د 164 دستاوي پروګرامونو ستونزې شامل دي، کوم چې دنده سند، docstring، بدن، او د 7.7 واحد ټیسټونو په منځنۍ توګه شامل دي. زموږ په اندازې کې، AutoDev سره دنده سند او docstring شامل دي، چې هدف د پروګرام جوړولو ده. موږ د AutoDev اغیزمنتیا په کارولو سره د Pass@k مټريک په کارولو سره کښته کوو، په کوم کې k د ترسره شوي هڅو په شمول دی. په بریالیتوب سره حل شوي ستونزو د هغه په توګه تعریف کیږي چې Au-toDev د طریقې بدن کوډ تولیدوي، د ټولو انسان د چاپ شوي ټسټونو پوره کولو لپاره. یو هڅه د کلک AutoDev بحث سره مطابقت کوي، کوم چې د ډیرو پایلو تماسونو او ګامونو سره تړاو لري. دا د نورو لارو سره مخالف دی، لکه په مستقیم ډول د GPT-4 په پام کې، کوم چې معمولا د یو واحد پایلو تماس سره تړاو لري. د ډیرو پایلو تماسونو او ګامونو په اړه تفصيلات په RQ3 کې اضافي څیړنه شوي. د دې ارزیابی لپاره، موږ k = 1 تنظیم RQ2: په ټیسټ جنراتو کار کې د AutoDev کتنه اغیزمن دی؟ د دې څیړنې پوښتنې لپاره، موږ د HumanEval ډاټا سیټ بدلون کوو ترڅو د AutoDev په ازموینې توليد کې وړتیاوې تبادله کړي. موږ د انسان لیکل حل په اړه فکر کوو او د انسان لیکل ازموینې وړاندې کوو. AutoDev به د ازموینې د ازموینې په اړه د ازموینې په پایله کې د توليد کولو لارښوونه ورکړي او د ازموینې بریالیتوب، ازموینې د ازموینې د استوګنې او ازموینې پوښونو په اساس تبادله کوو. موږ Pass@1 گزارش کوو، د ازموینې په پایله کې فکر کوو که دوی د ازموینې په پایله کې ترسره شي. برسېره پر دې، موږ د AutoDev ازموینې د ازموینې د ازموینې سره د انسان لیکلو پوښ Q3: د کارونو په بشپړولو کې د AutoDev کتنه اغیزمن دی؟ په دې څیړنې پوښتنې کې، موږ د AutoDev د SE کارونو بشپړولو په اغیزمنۍ کې څیړنه کوو. موږ د ګامونو یا inference calls لخوا اړتیا لرئ، د کارول شوي امرونو توزیع (د مثال په توګه، لیکلو، ازموینې) او په گفتگو کې کارول شوي ټوکنونو ټول شمېر. د AutoDev تنظیمات د دې ارزیابی لپاره، AutoDev د GPT-4 ماډل (gpt-4-1106-preview) پر بنسټ د یو اګانو سره متوازن تنظیمات برقرار کوي. فعال عملونه د فایل ترمیم، ترلاسه کولو او ازمايښت شامل دي. یوازې وړاندیز شوي اړیکو امر د بند امر دی، کوم چې د کار بشپړولو ته اشاره کوي. نور حکمونه، لکه پوښتنه، غیر فعال دي، د AutoDev ته اړتیا لري چې په اتوماتیک ډول کار وکړي د انسان د پیژندنې یا مداخله پرته د لومړنۍ هدف تنظیم څخه بهر. 4 د empirical پایلې Q1: د کوډ جنراتور دنده کې د AutoDev کتنه اغیزمن دی؟ د میز د RQ1 پایلې ښيي، د AutoDev سره د دوو بدیل لارښوونې او د لور ټایټ بیلګې په پرتله. د جدول په اړه معلومات شامل دي چې د هر لارښوونې د بریښنا د موډل، د اضافي روزنې اړتیا، او د Pass@1 متري. 1 We compared AutoDev with Language Agent Tree Search (LATS) and Reflexion, two leading approaches on the Hu-manEval leaderboard as of March 2024 [ ]. د Zero-shot Baseline (GPT-4) پایلې د OpenAI GPT-4 تخنیکي راپور څخه لیږل شوي دي [ په داسې حال کې چې د LATS او Reflexion له HuamnEval لارښوونې [ ننداره 1 11 1 د ژبه Agent Tree Search (LATS) [ د انټرنیټ کارلو په لټه کې، LATS کار کوي LLMs د ایجنګانو، د ارزښتونو دنده، او optimizers، چې د دوی وړتیاوې ته د حل کولو د ښه کولو لپاره ته وده ورکوي. 23 د تفریح [ ] د یو ځانګړي فریم ورکول ته وده ورکوي چې د ژور پیژندنې له لارې د ژور پیژندنې له لارې د وزن تازه کولو پرته وده ورکوي. Agents in Reflexion کلمې د کار پیژندنې سیگنالونو ته وده ورکوي، د دې لپاره چې د حل کولو د ښه کولو لپاره د episodic memory buffer کې د هغوی د تفریح متن کې وده ورکوي. 17 د میز ښيي چې AutoDev د 91.5٪ Pass@1 کچه ترلاسه کوي، په HumanEval لیډل کې د دوهم غوره موقعیت تضمین کوي. په ځانګړي توګه، دا پایلې د اضافي روزنې ډاټا له لارې ترلاسه کیږي، چې د AutoDev څخه LATS، چې د 94.4٪ ته ورسیږي. برسېره پر دې، د AutoDev فریم ورک د GPT-4 کړنو څخه د 67٪ څخه د 91.5٪ ته وده ورکوي، د 30٪ نسبتي پرمختګ رامینځته کوي. 1 دا پایلې د AutoDev وړتیا ته د سافټویر انجنیري ورکشاپ په بشپړولو کې د LLMs د کړنو په عمده توګه وده ورکوي. په هرصورت، دا د یادښت په ارزانه ده چې د AutoDev اغیزمنتیا کولی شي د ډیرو پایلې او ګامونو ته اړتیا لري، لکه څنګه چې موږ په RQ3 کې نور تفصيلات ته وده ورکړي. RQ2: په ټیسټ جنراتو کار کې د AutoDev کتنه اغیزمن دی؟ د میز د RQ2 لپاره د پایلو وړاندې کوي، د AutoDev سره د Zero-shot GPT-4 (د اصل) او د ازموینې د توليد په کار کې د انسان په نامه ازموینې سره مقایسه کوي. ځکه چې OpenAI د ازموینې د توليد په کار کې د GPT-4 نه تبادله کړې، موږ د ازموینې په کارولو سره د AutoDev لپاره کارول شوي ورته GPT-4 ماډل کې د لارښوونې پاملرنه له لارې د 0-shot GPT-4 پایلو ترلاسه کړ. 2 AutoDev د ازموینې د توليد ورکشاپ لپاره د HumanEval ډاټا سیټ کې د 87.8٪ Pass@1 امتیاز ترلاسه کوي، د همان GPT-4 ماډل کارولو په پرتله 17٪ نسبتا ښه راځي. د AutoDev (د Pass@1 کې شامل شوي) له خوا تولید شوي درست ازموینې د 99.4٪ په پرتله روژه 99.3٪ پوښښ ترلاسه کړ. برسېره پر دې، جدول د ټیسټ کیسونو ټولې ډاټاټا کې ټولې پوښښ گزارش کوي، غلط یا ناکام ټیسټونه د پوښونو کمښت په توګه په پام کې ونیسئ. په دې کې، AutoDev د پوښونو 88.8٪ په پرتله په بشپړه ډاټاټا کې د فاکټال روشونو په پرتله ترلاسه کوي. 2 دا پایلې د AutoDev په مختلفو سافټویر انجنیري کارونو کې د حل لپاره د استوګنې تصدیق کوي. Q3: د کارونو په بشپړولو کې د AutoDev کتنه اغیزمن دی؟ فورمه د کوډ توليد او ازموینې توليد لپاره د AutoDev لخوا کارول شوي کښته کچه ښودل کیږي، په RQ1 او RQ2 کې د هر HumanEval ستونزه تبادله کولو لپاره کارول شوي کښته کچه په اوسط ډول. 3 د Code Generation لپاره، AutoDev د اوسط د 5.5 کښته، چې شامل دي 1.8 کښته عملونه، 1.7 ازموینې عملونه، 0.92 بند عملونه (د کار بشپړولو ښودلوي)، 0.25 غلط کښته، په ګډه د کمېسيک کښته (کښته، وګورئ، cat)، د سټاکس چک عملیات، او خبرې اړیکو کښته. د Test Generation په صورت کې، متوسط کښته کچه د Code Generation کار سره مطابقت لري. په هرصورت، د Test Generation شامل دي چې ډیری کښته عملیاتو او د غلطو عملونو زیات اغیزه کوي، د هر چلولو لپاره په کلکه کې 6.5 کښته لري. موږ د امر په توګه غلط راټولوي که دا د غیر متوافقې امر ته اشاره کوي یا د حل کولو ناکام کیږي (د مثال په توګه، غلط شکل کولو یا پارامتر محاسبه). ترټولو پراخه غلط امرونه د AI افسرونو کې شامل دي چې طبيعي ژبه سره کوډ یا حکمونه مخلوط کړي. د دې ستونزو ممکن د ګرځنده حل کولو یا پرمختللي پاملرنې له لارې حل شي، لکه څنګه چې په بحث برخه کې نور بحث شوي. که څه هم د AutoDev په پرتله د لارښوونې په پرتله ډیر اغیزمن تماسونه لري چې په یوه واحد تماس کې د کانټینټ کوډ جوړوي، دا مهمه ده چې د AutoDev هم ازموینې او تصدیق عملیاتو ترسره کوي، کارونه چې معمولا د پروګرامانو لخوا ترسره کیږي چې د تولید شوي کانټینټونو تصدیق کړي. ازموینې او سټاکس عملیاتو چې د AutoDev له خوا د پروګرامانو له خوا ترسره کیږي چې د AI لخوا تولید شوي کوډ ترلاسه کوي، لکه Copilot. نور، د AutoDev اغیزمنه وختونه د کار بشپړولو له لارې خبرې کښته کوي، د حل په اړه د معلوماتو او تفسیر وړتیا وړاندې کوي. یو بل مشهور اړیکو کښته چې د مجموعي کښته کې مرسته کوي د بند کښته ده. دا د نسبتا ارزانه پایلو د تماس وړاندې کوي، یوازې یو ټکین تولید کوي. احتمالي پرمختګونه کولی شي د دې عملونو سره د نورو کښتهونو یا پایلو سره بیلګه وکړي. په RQ1 او RQ2 کې د هر HumanEval ستونزو حل کولو لپاره د AutoDev اړیکو متوسط اوږدوالی 1656 او 1863 ټوکن دی. دا د کاروونکي هدف، د AI ایجنټ څخه پیژندنه، او د تبادلې چاپیریال څخه ځوابونه شامل دي. په پرتله، د 0-shot GPT-4 (Baseline) د کوډ جوړولو لپاره 200 ټوکن (موضوع) کاروي او د ازموینې جوړولو لپاره 373 ټوکن، په متوسطه توګه، د هر کار لپاره. که څه هم AutoDev ډیر ټوکن کاروي، د خپل ځان تولید شوي کوډ ازموینه، تایید او توضیح کولو لپاره ډیر مقدار اخلي. په پایله کې، AutoDev د کارولو لګښتونو سره تړاو لري چې د AI اډیټونو جوړولو، اړیکو مدیریت، او په Docker چاپیریال کې امرونه ترسره کوي. په ځانګړې توګه، د Docker پر بنسټ د ارزیابیلو چاپیریال د کارولو لوی لګښتونو لپاره حساب کوي، په پرتله د کاروونکي چاپیریال کې مستقیم CLI امرونو په پرتله د عادلانه کارولو او تصدیق کولو لګښتونه زیات کوي. په هرصورت، موږ د AutoDev سره د خوندیتوب په توګه ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو ترټولو 5 بحث 5.1 AutoDev په عمل کې د نمونوي (د برخه I) او (Part II) provide a glimpse of Au-toDev in action during a test generation task, with some interactions summarized or omitted for brevity. Initiating from Figure ، موږ د AutoDev لپاره هدف جوړ کوو چې د ځانګړي فارمونو وروسته د پوټيټ ټیسټ کڅوړه تولید کړي. د AutoDev ایجنټ د نوی کڅوړه پیل کوي، د ټیسټ فایبر فایبر د فایبر پټ او محتویاتو وړاندې کوي. AutoDev عمل ترسره کوي، د انټرنېټ په بریالیتوب سره تصدیق کوي. په پایله کې، د AutoDev ایجنټ د ټیسټ عملیات فعالوي، او AutoDev د ټیسټ په خپل خوندي Docker چاپیریال کې ترسره کوي، د ټیسټ اجرا راپور JSON وړاندې کوي (د انځور کې خلاص شوی). 4 5 4 د AutoDev ایجنټ په پوټټینټ پایپ کې یو غلطی راټولوي، له دې امله چې د حل لپاره اړتیا لري چې د ټیسټ سره دنده د انتظار چلند سره راټول شي. په انځور کې ادامه ، د AutoDev ایجنټ د لیکلو کښته اخلي، چې د غلط ادعا راټولولو لپاره د filepath او لړۍ شمیره رینج (5-5) مشخصوي. د دې وروسته، د AutoDev ایجنټ د ازموینې کارولو سره حرکت کوي، کوم چې اوس بریالیتوب کوي. د هدف بشپړولو په لټه کې، د AutoDev ایجنټ د اړیکو ختم کوي. 5 دا مثال د AutoDev وړتیا ته وده ورکوي چې خپل تولید شوي کوډ او په خپل محصول کې د بریښناليکونو حل کړي. برسېره پر دې، دا ډیزاین کوي چې AutoDev کاروونکي د اګانو عملونو په اړه د معلوماتو په اسانۍ سره مرسته کوي، د اګانو ته اجازه ورکوي چې په کار کې اړیکه ونیسئ. 5.2 Multi-Agent همکارۍ AutoDev د ماموریتونو په اړه د ډیری ایجنټونو همکارۍ ملاتړ کوي، چې د Agent Scheduler لخوا orchestrated دي. زموږ تقييم کې، د HumanEval ډاټا سیټ د نسبتا ساده په لټه کې، موږ زموږ نصب ته د ماموریتونو لپاره یو واحد GPT-4 ایجنټ محدود کړ. په هرصورت، لومړنۍ پايلې د ډیرو ایجنټونو د همکارۍ په پیچلي کارونو کې د مثبت اغیزو ښیښه کوي. د AI Developer او AI Reviewer سره تجربې کول، د مختلفو مسئولیتونو او وړاندیز شوي عملونو سره، د پیچلي بڼه حل کولو په ګډه کې د دلچسپ تعاملونه ښیي. د AI Reviewer کولی شي د کوډ د تصدیق کولو عملونو ترسره کولو مخکې د AI Developer غلطاتو مخنیوی ونیسئ او اړونده لارښوونې وړاندې کړي. زموږ په راتلونکي پلانونو کې شامل دي چې د ارزښتونو پراختیا لپاره ډیر پیچلي سټینرونه شامل کړي چې د ډیرو ایجنټونو همکارۍ کولی شي د AutoDev کړنو په عمده توګه وده ورکړي. 5.3 د انسان په لور کې AutoDev allows AI agents to communicate progress on tasks or request human feedback using the talk and ask commands, respectively. Anecdotally, these commands have proven helpful for developers using AutoDev to understand the agent’s intentions and gain insights into the agent’s plan. The addition of the ask command was in direct response to a developer’s request during our pilot study, where they wanted the ability to provide feedback when the agents appeared uncertain about the next actions. زموږ په راتلونکي پلانونو کې شامل دي چې د AutoDev چڼاسکه په منځ کې د انسانونو د عالي تبادلې، د کاروونکي اجازه ورکوي چې د اګانې قطع کړي او په چټکۍ سره پیژندل کړي. 5.4 د AutoDev انډولونه زموږ د پټلینټ مطالعې کې د AutoDev په توګه د CLI امر په کارولو سره پراختیا شامل دي، په VSCode IDE کې د نندارتون لپاره شتون لري. په راتلونکي کې، زموږ هدف دا ده چې د AutoDev په IDEs کې یوځای شي، د چیټبوټ تجربې جوړ کړي، او دا په CI / CD پایپولونو او د پروګرامونو څیړنې پلیټونونو کې یوځای کړي. موږ د پروګرامانو په نظر کې فکر کوو چې کارونه او ستونزو به AutoDev ته ورسیږي، د پروګرامونو سیسټم کې د پایلو څیړنه کوي، او د سافټویر د پراختیا د کارولو په اوږدو کې ډیزاین کوي. 6 اړوند کارونه زموږ کار په پراخه کتابتون کې جوړ شوی دی چې د سافټویر انجنیري مختلفو کارونو لپاره د AI کاروي. په دې برخه کې، موږ د وروستیو پرمختګونو په اړه څیړنه کوو او د AutoDev په دې غټ څیړنې ځای کې contextualize. 6.1 AI په سافټ انجنيرۍ کې د AI، په ځانګړې توګه لوی زبان ماډلونه (LLMs) په سافټ انجنيرۍ کې د انجنيرۍ په پراخه کچه پرمختګ شتون لري. ماډلونه لکه GPT-3 [ ) ، د نندارتون په [ ]، او GPT-4 [ ] د ترانسپورت آرشیفیکټ څخه کار واخلئ [ د درک او نه یوازې طبیعي زبان، خو هم د سرچینې کوډ جوړ کړي. د LLMs لوی پارامتر اندازه، لکه په Gropher [ ] او Megatron-Turing NLG [ ]، او GPT-4 [ ] اجازه ورکړي چې د دې AI ماډلونه په مختلفو کارونو کې حیرانتیا وړتيا ترلاسه کړي. 7 14 13 20 15 18 13 لکه څنګه چې د سافټویر د پراختیا عملیاتو په پراخه توګه پرمختګ کوي، د پرمختللي ټکنالوژۍ د انټرنېټ د پراختیا د تولیداتو د لوړولو لپاره مهم وي. [ ]. په شمول د پام وړ پرمختګونو کې، د جامع پرمختګ چاپیریالونو (IDEs) کې د LLMs کارول د پام وړ توجه ترلاسه کړ [ , ]. LLMs، لکه د OpenAI GPT-3.5 په څیر مشهور ماډلونه [ ] او GPT-4 [ ]، او همدارنګه د پرانیستې سرچینه ماډلونه لکه Code Llama [ ]، د انټرنټ پروګرام سټیشن سټیشنز په توګه د عمل د امکاناتو ښودل کړي. 5 4 10 12 13 16 په دې مقاله کې، موږ د AutoDev، په خوندي پراختیا چاپیریال کې د اتومات سافټویر انجینري کارونو لپاره یو جامع فریم ورکشاپ وړاندې کوو. AutoDev د موجودو کارونو څخه ډیره پراختیا کوي له دې امله چې یو پراخ وسایلو کتابتون وړاندې کوي، چې د AI افسرانو ته اجازه ورکوي چې په اتومات ډول پیچلي کارونه، لکه کوډ ترمیم، ازمايښت او انټرنټ، ترسره کړي. AutoDev هم د LLM-agnostic دی، د انټرنېټ سره چې د AI ماډلونو پراخه کچه، د مختلف پارامتر اندازه او آرشیفیتو سره اجازه ورکوي چې په یو ځانګړي کار کې همکارۍ وکړي. 6.2 په سافټویر انجنیري کې د LLMونو تبادلې د سافټویر انجنيرۍ ورکشاپونو لپاره د LLMونو ارزښت د انفرادي چمتو کوي. د سنګاري زبانونو پر بنسټ د نمونې، لکه BLEU، د مخکښ څیړنو تمرکز شوي دي، د اسټیک ډاټا سیټونه لکه GLUE په اړه ارزښتونه ترسره شوي دي [ ] او BIGBench [ ]. په هرصورت، دا مټريکونه اغیزمنه د پروګرامونو اړخیزو اړخونو لکه سټاکس درستتیا او executation-based مټريکونه لکه د جوړولو او ازمايښت په څیر راټول شوي دي. 21 19 CodeXGLUE [نور] دا د سافټویر انجنيرۍ کې د LLMs لپاره د بشپړ ارزیابی پلیټ فارم برابر کړي. دا د بیلګه ماډلونو لکه CodeBERT او CodeGPT سره یو پراخ بیلګه ډاټاټا وړاندې کوي. 9 د انسانیت ( ] په دې برخه کې د LLMs د فعالیت درستۍ تمرکز کوي، د پیټون کې د لاس لیکلو پروګرامونو ستونزو د معياري ډاټاټا ډاټا ډیزاین کوي. په وروستیو پرمختګونو کې، د Copilot Evaluation Harness 5 [ ] په ادبیات کې د مخکښ کارونو پر بنسټ دی، چې په هدف کې د دوی د انعام زیات کړي. د HumanEval په څیر، د Copilot تبادلې د اغیزې په پام کې شامل دي، مګر د سافټویر انجنیري کارونو (کډ، ازمايښت، او د سند تولید، د کارپوریشن درک او پوښتنې حل) په پراخه کچه پراخه کوي، او همدارنګه د تبادلې لپاره کارول شوي نمونې زیاتوي. دا تبادلې د اغیزې په پراخه کچه هم شامل دي او په واقعي نړۍ کې د کوډ بیسونه. 3 په داسې حال کې چې زموږ اوسني ارزیابی د دوو کوډ کولو کارونو کې د AutoDev اغیزمنتیا ارزونې لپاره HumanEval پر بنسټ ده، زموږ په راتلونکي کار کې هدف دا ارزیابیلو ته د ډاټا سیټونو لپاره ډیر چټک او واقعي نړۍ ته وده ورکړي، لکه د Copilot ارزیابیلو ګرځنده. 6.3 AI په سافټویر انجنیري انټرنېټونو کې په داسې حال کې چې مخکښ کارونه د AI او سافټویر انجنيرۍ د مخکښې څیړنه کړې، ځینې یې د IDE انټرنېټونو په منځ کې د AI لارښود پروګرامونو ته وده ورکړي. AutoDev، لکه څنګه چې په دې مقاله کې معرفی شوي، د کتابتون کې د موجودو کارونو څخه انډول کوي او د دوی د انجنيرۍ د ښه کولو په داسې حال کې. د Auto-GPT مثالونه شامل دي[ د LATS (Language Agent Tree Search) ]، او د تفکر[ ]، په هر کې د AI-driven کارونو لپاره د انفرادي لارښوونې وړاندې کوي. 8 23 17 د موټر ګرځنده [ ] د GPT-3.5 او GPT-4 سره د ساتونکي بوټ سره جلا کولو له لارې کار کوي، دا کاروونکي ته اجازه ورکوي چې د دې ژور ماډلونو ته د ځانګړو هدفونو په اړه لارښوونه ورکړي. د ساتونکي بوټ د GPT-3.5 او GPT-4 سره د مختلفو پروګرامونو سره کاروي ترڅو اړتیاوې ته اړتيا لري چې هدف ته ورسیږي. 8 د نندارتون [ ، ، په بل کې ، یو عمومي چارچوب دی چې د LLMs په پلان کولو، عمل او دلیلونو کې وړتیاوې synergizes. د مونټا کارلو ټری څیړنې له امله، په عمده توګه په نمونې پر بنسټ د وده کولو کې کارول کیږي، LATS د LLMs په توګه د ایجنټانو، ارزښتونو دندهونو او optimizers کاروي، د فیصلہ کولو ښه کولو لپاره. دا د بهرني پیژندنې لپاره یو چاپیریال رامینځته کوي، د مسلکي او adaptive ستونزو حل میکانیزم وړاندې کوي. 23 د تفریح [ ] introduces a novel framework to reinforce language agents through linguistic feedback. Reflexion agents verbally reflect on task feedback signals, maintaining their reflective text in an episodic memory buffer for improved decision-making. This flexible framework incorporates various types and sources of feedback signals and exhibits significant improvements over baseline agents in diverse tasks, including sequential decision-making, coding, and language reasoning. 17 AutoDev د سافټویر انجنيرۍ په سيمه کې د دغو افکارونو لپاره تخصص کوي، د یو انعطاف چارچوب وړاندې کوي چې د AI کارکوونکو ته اجازه ورکوي چې پیچلي SE کارونه په بشپړ اتومات کې بشپړ کړي. زموږ کار ته هدف لري چې د روحيه سافټویر انجنيرۍ عملیاتو او د AI-driven اتوماتونو ترمنځ د توازن پلټنه ورکړي، د پراختیا او د AI کارکوونکو ترمنځ د همکارۍ هڅو ته وده ورکړي. له دې امله، AutoDev د سافټویر د پراختیا لپاره د سافټویرونو پراختیا کې یو خوشحاله پرمختګ وړاندې کوي. 7 پایلې In this paper, we introduced AutoDev, a framework enabling AI Agents to autonomously interact with repositories, perform actions, and tackle complex software engineering tasks. We’ve shifted the responsibility of extracting relevant context for software engineering tasks and validating AI-generated code from users (mainly developers) to the AI agents themselves. Agents are now empowered to retrieve context through Retrieval actions and validate their code generation through Build, Execution, Testing, and Validation actions. د AutoDev فریم ورک په برخه کې د پراختیا د نقشې څخه په لارښود عملونو او د AI سپارښتنې تصدیق کولو څخه د کارونو په اړه د څو ایجنټونو همکارۍ څارنې ته وده ورکوي، سره د پیژندنې وړاندې کولو وړتیا. پراختیا کولی شي د AutoDev په هدفونو کې پرمختګ څارنې له لارې د افسرانو او د ذخیره کولو ترمنځ د اړیکو لپاره کارول شوي بحث په پایله کې وګورئ. Our evaluation on the HumanEval dataset for code and test generation showcased impressive results, achieving a Pass@1 score of 91.5 for code generation—a second-best result on the leaderboard at the time of writing, and the best among approaches requiring no extra training data. AutoDev also excelled in test generation with a Pass@1 score of 87.8%, achieving a 99.3% coverage from passing tests. په راتلونکې کې، زموږ هدف د راتلونکي کار لپاره دی چې د AutoDev په IDEs کې د چیټ بوټ تجربې په توګه یوځای شي او دا په CI / CD پایپولونو او PR جائزې پلیټونونو کې یوځای شي. د نندارتون [1] د انسان په اړه د کوډ تولید - د پرمختللي هنر. 2024. Ac-cessed: 2024-02-27. د HNPS:// paperswithcode.com/sota/code-generation-on-humaneval په اړه، [2] Github Copilot: ستاسو د AIP پروګرامونه. 2024. د انټرنټ په اړه معلومات د Copilot [3] Agarwal، A. Chan، A. Chandel، S. Jang، J. Miller، S. Moghad-dam، R. Z. Mohylevskyy، Y. Sundaresan، N. او Tufano، M. Copi-lot evaluation harness: Evaluating llm-guided software programming، 2024. [4] Chen، B.، Mustakin، N.، Hoang، A.، Fuad، S.، او Wong، D. Vscuda: په Llm پر بنسټ cuda پراختیا د بصری سټیوډیو کوډ. په (New York، NY، USA، 2023)، SC-W ’23, د کمپیوټر ماشینونو د ټولنې، 11-17. د SC '23 د لوړ کړنو کمپیوټر، شبکې، ذخیره او تجزیه په اړه نړیوال کنفرانس ورکشاپونه [5] Chen، M.، Tworek، J.، Jun، H.، Yuan، Q.، de Oliveira Pinto، H. P.، et al. په کوډ کې روزل شوي لوی زبان ماډلونو تبادلې. [6] Ding، Y.، Wang، Z.، Ahmad، W.، Ding، H.، Tan، M.، Jain، N.، Ra-manathan، M. K.، Nallapati، R.، Bhatia، P.، Roth، D.، et al. Cross-codeeval: د cross-file کوډ بشپړولو لپاره یو پراخه او څو ژوره معیار. (2024) په اړه Advances in Neural Information Processing Systems 36 [7] Floridi، L. او Chiriatti، M. Gpt-3: د هغې د طبيعت، پراختیا، محدودیتونه، او اغیزې. (2020)، د 681-694 په اړه. دماغونه او ماشینونه 30 [8] د Gravitas، S. Autogpt. 2024. د GitHub ذخیره. hNps://github.com/د ګرځنده ګرځنده/ د موټرونو، [9] Lu, S., Guo, D., Ren, S., Huang, J., Svyatkovskiy, A., Blanco, A., Clement, C., Drain, D., Jiang, D., Tang, D., Li, G., Zhou, L., Shou, L., Zhou, L., Tufano, M., Gong, M., Zhou, M., Duan, N., Sundaresan, N., Deng, S. K., Fu, S., او Liu, S. Codexglue: د کوډ درک او تولید لپاره د ماشين زده کړې معياري ډاټا سیټ، 2021. [10] Nam، D.، Macvean، A.، Hellendoorn، V.، Vasilescu، B. او Myers، B. In-ide نسل پر بنسټ د معلوماتو د ملاتړ سره د لوی زبان ماډل، 2023. [11] OpenAI, :, Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., Almeida, D., Altenschmidt, J., Altman, S., Anadkat, S., Avila, R., Babuschkin, I., Balaji, S., Balcom, V., Baltescu, P., Bao, H., Bavarian, M., Belgum, J., Bello, I., Berdine, J., Bernadett-Shapiro, G., Berner, C., Bogdonoff, L., Boiko, O., Boyd, M., Brak-man, A.-L., Brockman, G., Brooks, T., Brundage, M., Button, K., Cai, T., Campbell, R., Cann, A., Carey, B., Carlson, C., Carmichael, R., Chan, B., Chang, C., Chantzis, F., Chen, D., Chen, S., Chen, R., Chen, J., Chen, M., Chess, B., Cho, C., Chu, C., Chung, H. W., Cum-mings, D., Currier, J., Dai, Y., Decareaux, C., Degry, T., Deutsch, N., Deville, D., Dhar, A., Dohan, D., Dowling, S., Dunning, S., Ecoffet, A., Eleti, A., Eloundou, T., Farhi, D., Fedus, L., Felix, N., Fishman, S. P., Forte, J., Fulford, I., Gao, L., Georges, E., Gibson, C., Goel, V., Gogineni, T., Goh, G., Gontijo-Lopes, R., Gordon, J., Grafstein، M. ، Gray، S. ، Greene، R. ، Gross، J. ، Gu، S. S. ، Guo، Y. ، Hallacy، C. ، Han، J. ، Harris، J. ، He, Y. ، Heaton، M. ، Heidecke، J. ، Hesse، C. ، Hickey، A. ، Hickey، W. ، Hoeschele، P. ، Houghton، B. ، Hsu، K. ، Hu، S. ، Hu، X. ، Huizinga، J. ، Jain، S. ، Jain، S. ، Jang، J. ، Jiang، A. ، Jiang ، R. ، Jin ، H. ، Jin ، D. ، Jomoto ، S. ، Jonn ، B. ، Jun ، H. ، Kaftan ، T. ، Łukasz Kaiser ، Kamali ، A. ، Kanitscheider ، I. ، Keskar ، N. S. ، Khan ، T. ، Kilpatrick ، L. ، Kim ، J. W. ، Kim ، C. ، Kim ، Y. ، Kirchner ، J. H. ، Kiros ، J. ، Knight ، M. ، Kokotajlo ، D. ، Łukasz Kondraciuk ، Kondrich ، A. ، Konstantinidis ، A. ، Kosic ، K. ، Krueger ، G. ، Kuo ، V. ، Lampe ، M. Lan ، I. ، Lee ، T. Leike ، J. Leung ، J. Levy ، D. Li Lin, S., Litwin, M., Lopez, T., Lowe, R., Lue, P., Makanju, A., Mal-facini, K., Manning, S., Markov, T., Markovski, Y., Martin, B., Mayer, K., Mayne, A., McGrew, B., McKinney, D., Mu, T., Murati, M., Murk, O., Mély, D., Nair, A., Medina, D., Mehta, A., Menick, J., Metz, L., Mishchenko, A., Mishchenko, P., Monaco, V., Morikawa, E., Poking, D., Mu, T., Murati, M., Murk, O., Mély, D., Nair, A., Nakano, R., Mehta, R., Neelak, A., Ngo, R., Noh, H A، Weihang Rae، J، Ramesh، A، Raymond، C، Real، F، Rimbach، K، Ross، C، Rotsted، B، Roussez، H., Ryder، N، Saltarelli، M، Sanders، S., Santurkar، S., Sastry، G., Schmidt، K., Sohl, I., Sokolowsky، B., Song، Y., Schulman، K., Staudacher، N., Such, F. P., Summers, N., Sutieh, J., Shoker, S., J., Temba, Yoo Tezak, N., Sidor, S., Sigler, E., Simens, M., Sitkin, J., Slama, K., Sohl, I., Sokolowsky, B., Song, Y., Selsam, D., Staudacher, N., Such, F. P., [12] OpenAI. Gpt 3.5 models, 2023. [13] OpenAI. Gpt-4 تخنیکي راپور، 2023. [14] Ouyang، L.، Wu، J.، Jiang، X. ، Almeida، D. ، Wainwright، C. ، Mishkin، P. ، Zhang، C. ، Agarwal، S. ، Slama، K. ، Ray، A. ، et al. د lan-guage ماډلونو روزنې ته د انسان د پیژندنې سره د لارښوونې په پیژندل. (2022) ، 27730 – 27744 د عصري معلوماتو پروسس سیسټمونو پرمختګ 35 [15] Rae، J. W.، Borgeaud، S.، Cai، T.، Millican، K.، او نور. د لغوي ماډلونه کچول: د روزنې gopher څخه روشونه، تحلیل او څیړنې، 2022. [16] Roziere، B.، Gehring، J.، Gloeckle، F.، Sootla، S.، Gat، I.، Tan، X. E.، Adi، Y.، Liu، J.، Remez، T.، Rapin، J.، et al. کوډ llama: د کوډ لپاره د پرانیستې بنسټ ماډلونه. (2023) arXiv مخکښ arXiv:2308.12950 [17] Shinn، N.، Cassano، F. ، Berman، E. ، Gopinath، A. ، Narasimhan، K. ، او Yao، S. تفکر: د ژور اغیزو سره د کلمې وده، 2023. [18] Smith, S., Patwary, M., Norick, B., LeGresley, P., Rajbhandari, S., Casper, J., Liu, Z., Prabhumoye, S., Zerveas, G., Korthikanti, V., Zhang, E., Child, R., Aminabadi, R. Y., Bernauer, J., Song, X., Shoeybi, M., He, Y., Houston, M., Tiwary, S., او Catanzaro, B. د ژور سرعت او megatron کارولو لپاره د megatron-turing nlg 530b، د لوی مقناطیسي زبان ماډل، 2022. [19] Srivastava، A.، Rastogi، A.، Rao، A.، Shoeb، A. A. M.، et al. د پیژندنې لوبې په پرتله: د ژور ماډلونو وړتیاوې اندازه کولو او extrapolating، 2023. [20] Vaswani، A.، Shazeer، N.، Parmar، N.، Uszkoreit، J.، Jones، L.، Gomez، A. N.، Kaiser، Ł.، او Polosukhin، I. مراقب دی ټول تاسو ته اړتيا لري. د 2017 کال. د عصري معلوماتو پروسس سیسټمونو پرمختګ 30 [21] Wang, A., Singh, A., Michael, J., Hill, F., Levy, O. او Bowman, S. R. Glue: د طبيعي زبان د درک لپاره د ډیرو کارونو معیار او تحلیل پلیټ فارم، 2019. [22] Wu, Q., Bansal, G., Zhang, J., Wu, Y., Li, B., Zhu, E., Jiang, L., Zhang, X., Zhang, S., Liu, J., Awadallah, A. H., White, R. W., Burger, D., او Wang, C. Autogen: د ډیرو ایجنټونه په تماس کې د next-gen llm غوښتنلیکونو فعالولو، 2023. [23] Zhou، A.، Yan، K.، Shlapentokh-Rothman، M.، Wang، H.، او Wang، Y.-X. د ژور ایجنټ درخت د څیړنې په ژور ماډلونو کې د منطق کولو عمل او پلان، 2023. دا کاغذ د CC by 4.0 Deed (Attribution 4.0 International) لائسنس لاندې archiv کې شتون لري. دا کاغذ د CC by 4.0 Deed (Attribution 4.0 International) لائسنس لاندې archiv کې شتون لري.