AutoDev: Automated AI-Driven Development (AUTODEV) – automatik AI-Driven İnşaat

Tədbirlər : Michele Tufano (Microsoft, Redmond, USA) Anisha Agarwal (Microsoft, Redmond, USA) Jinu Jang (Microsoft, Redmond, USA) Roshanak Zilouchian (Microsoft, Redmond, USA) Neel Sundaresan (Microsoft, Redmond, USA) Tədbirlər : Michele Tufano (Microsoft, Redmond, ABŞ) Anisha Agarwal (Microsoft, Redmond, Amerika Birləşmiş Ştatları) Jinu Jang (Microsoft, Redmond, Amerika Birləşmiş Ştatları) Roshanak Zilouchian (Microsoft, Redmond, ABŞ) Neel Sundaresan (Microsoft, Redmond, ABŞ) Abstraksiya VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Bu boşluğu doldurmaq üçün, AutoDev, tam avtomatik bir AI-düşünən yazılım geliştirmə çerçevəsi, AutoDev istifadəçilərinin AutoDev-in autonomous AI agentləri ilə işləmək üçün ayrılmış kompleks proqram mühitinin hədəflərini tanımlamaq üçün imkan verir. Bu AI agentləri, dosya editing, quraşdırma, inşa prosedurları, işləmə, test və git işləmələri ilə bağlı kod bazasında müxtəlif işləmələr edə bilərlər. Onlar da dosyalar, kompilator çıxışı, inşa və test jurnalları, statik analitik alətləri və daha fazlasını əldə edə bilərlər. Bu, AI agentlərinə ehtiyacı olan kontekst informasiyanı kapsamlı bir anlayışla tam avtomatik şəkildə işləməyə imkan verir. Autonomous Evaluasiyamızda AutoDev-i HumanEval datasetində test etdik və 91.5% və 87.8% Pass@1 kod xətti və test xətti üçün təəccüblü nəticələr əldə etdik. 1 Introduction Artıq iki gündən sonra biz 2013-cü il mövsümü üçün hazırlanmış ilk maşını görəcəyik – yanvarın 28-də axşam Lotus komandası E21-i [...] ], orada chat interfeisin içində və doğrudan dosyaların içində kod önerilərini təqdim edirlər. 2 Bununla yanaşı, bu AI kodlaşdırma köməkçileri, IDE-lərə daxil olmalarına baxmayaraq, kəskin funksiyaları göstərirlər və kontekstual bilinmirlikdən çəkinirlər. və Onlar sıklıqla linters çağırmaq, kompilatorlar çağırmaq və ya komandosunu işləmək kimi bütün IDE xüsusiyyətlərini istifadə etmirlər və bu səbəbdən, geliştiricilər hala sintaxı manually validate etmək və AI-yandırılmış kodun düzgünlüğünü təmin etmək, kod bazasını yerinə yetirmək və error logs inspect etmək lazımdır. 3 6 AutoDev bu qapıları bağımsız AI agentlərinə file editing, re-tryval, build, testing və CLI komandaları kimi əməlləri doğrudan repository içində istifadəçi definisiyası ilə başa vurmaq üçün imkan verir. AutoDev aşağıdaki əsas xüsusiyyətləri təqdim edir: (i) istifadəçi və AI agentləri ilə danışıqları izləmək və idarə etmək (II) Tədbirlər Kitabxanası Bir çox kod və SE-lə bağlı hədəfləri yerinə yetirmək üçün, (iii) müxtəlif AI agentləri bir-birinə işləmək üçün kolaborativ şəkildə bir-birinin hədəfi ilə işləmək. , və (iv) kodun və testlərin sürətləndirilməsi . Konversasiya direktoru Təsadüfi Agentlik planları Evalyasiya çevrimiçi figurası VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 1 Bütün proses AutoDev tərəfindən autonomous olaraq orkestrlaşdırılır, in-tial hədəfini müəyyən etməkdən başqa heç bir geliştiricinin mübahisəsi gerekmir.Özücü olaraq, IDE-lərə daxil olan mevcut AI kodlaşdırma köməkçiləriyle, geliştiricilər testləri manual olaraq (t.b. pytest sürətləndirilməsi), AI chat interfeysinə yeniləmə jurnalları verməlidirlər, mümkün olaraq daxil ediləcək adi kontekst informasiyaları tanımlayacaqlar və AI-nin yeniləmə kodunu yaratdıqdan sonra testin uğurunu təmin etmək üçün validasiya əməllərini yeniləməlidirlər. AutoDev autonomous AI agentləri alanda əvvəlki işdən ilham alır. "AutoDev" bir neçə agent arasındakı danışıqları asanlaşdırır. "AutoDev" bir neçə agent arasındakı danışıqların idarə edilməsi və agentlərin kod repositoriyası ilə doğrudan mübahisə etməyə imkan verərək "AutoDev" da "Auto-GPT"ə dayanır. Open-source AI agentdir ki, kompleks proqram inqilabı işlərinin idarə edilməsi üçün kod və IDE-specifik xüsusiyyətləri təmin edir. 22 8 İncəsənət sektorunda iş təcrübəsi olan insan həqiqətləri analiz edirik. 2013-cü ildə aparılmış arxeoloji tədqiqat işləri burada 120 kv.metrlik ərazidə yaşayış yerinin qalığının olduğunu söyləməyə əsas verir (1).Azərbazlılar bu ərazidə yaşayış yerinin qalığının artmasına səbəb ola bilərlər.Azərbazlılar bu bölgədə yaşayış yerinin qalığının artmasına səbəb ola bilərlər.Azərbazlılar bu bölgədə yaşayış yerinin qalığının artmasına səbəb ola bilərlər.Azərbazlılar bu bölgədə yaşayış yerinin qalığının artmasına səbəb ola bilərlər.Azərbazlılar bu bölgədə yaşayış yerinin qalığının artmasına səbəb ola bilərlər.Azərbazlılar bu bölgədə yaşayış yerinin qalığının artmasına səbəb ola bilərlər.Azərbazlılar bu bölgədə yaşayış yerinin artmasına səbəb ola bilər 5 2 AutoDev dizaynı FIG-də görüntülənən dizayn görüntüsü. AutoDev ilk konfigürasiyaları tamamlandıqdan sonra, AutoDev öz imkanlarını dörd dəstəyə bölüşür: istifadəçi və agentlərin danışıqlarını izləyən və idarə edən Conversation Manager; agentlər üçün bir çox kodu və IDE-lə bağlı alətlər olan Tool Library; çeşitli agentləri vaxtlandırmaq üçün Agent Scheduler; və işləmək işlərinə imkan verən Evaluation Environment. 2 2.1 Rəqiblər, əməllər və objektiv konfigürasiyalar VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 2.2 Konversasiya direktoru Konversasiyanın başlanğıcından sorğu-sual edən Conversation Manager, davam edən danışıqların yüksək düzeyində idarə edilməsini izləməkdə əsas rol oynayır.O, prosesin nə zaman kəsiləcəyini və istifadəçi, AI agentləri və sistemin bütünü arasında qüsursuz kommunikasiya sağlamasını təmin edir.O, AI agentlərinin mesajlarını və Evaluation Environment-dən gələn əməllərin nəticələrini içərisində bir danışıq objektini təmin edir. Agentlər tərəfindən yaradılan cavabları tərcümə edir, komandaları və argumentları əvvəlcədən tanımlanan formatda çıxartır. Bu, əmrlərin düzgün formatlanmasını və argumentlərin sayı və doğruluğunu təsdiq etməsini təmin edir (təkcə, bir dosya editing komandası dosya yol argumentunu ehtiyacı olur). Parsing failləri olmasaydı, hatalar mesajları söhbətə endirilir, bu da repositoryda daha çox işlər görməyi engelləyir. Başarılı parsing edilmiş əmrlər daha da analiz edilir, spesifik agent hökmlərini qüvvətləndirir və daha çox semantik kontrollər aparar. Bu, önerilən əmrlərin istifadəçi tərəfindən müəyyən edilmiş hökmlərə uyduğunu təmin edir. 2.2.1 Parser. Sonrakı xəbərNeftçi.az-a istinadən xəbər verir ki, bu barədə “Qəbələ.az” xəbər verir ki, bu barədə “Qəbələ.az” xəbər verir ki, bu barədə “Qəbələ.az” xəbər verir ki, bu barədə “Qəbələ.az” xəbər verir ki, bu barədə “Qəbələ.az” xəbər verir ki, bu barədə “Qəbələ.az” xəbər verir ki, bu barədə “Qəbələ.az” xəbər verir ki, bu barədə “Qəbələ.az” xəbər verir ki, bu barədə “Qəbələ.az” xəbər verir. 2.2.2 Output Organizer. AutoDev Framework-in təhlili: Kullanıcı bu prosesin başlanğıcıdır. Konversasiya Yöneticisi söhbət və set-upları başlatır. Agent Scheduler AI agentləri işdə işləmək üçün orkestr edir və komandalarını Konversasiya Yöneticinə göndərir. Konversasiya Yöneticisi bu komandaları analiz edir və Vergi Kütüprizini çağırır. Agentlərin əməlləri güvenli bir Docker ortamında həyata keçirilir və çıxış Konversasiya Yöneticinə qaytarılır. Bu iterativ proses işin uğurla tamamlanana qədər davam edir. Figure 2. Bu, bir agentin işin tamamlanmasını (stop komandası) sinyal etdiyində, danışıq istifadəçi definisiya olan maksimum iterasiya/token sayına çatdığında və ya prosesdə və ya qiymətləndirmə ortamında problemlər tespit edildiyi zaman baş verə bilər. 2.2.3 Conversation Conclusion. 2.3 Agentlik planları VVD - Hollandiyada futbolçu bu adla tanımır ki, Hollandiyada, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Agentlər, OpenAI GPT-4 və Small Language Models (SLM) kimi böyük dil modelləri (LLM-lər) içərisində, kod istehsalına optimizasiya olunan agentlər, textual doğal dil vasitəsilə danışırlar.Bu agentlər Agent Planlayıcısından hədəfləri və danışıq öykülərini alır, Rules and Actions konfigürasiyasında müəyyən edilən əməllərlə cavab verirlər. 2.3.1 Agents. 2.4 Biblioqrafiyalar AutoDev-in Tools Library-i, agentlərin repositoryda müxtəlif işləməyə imkan verən bir çox komandalar verir.Bu komandalar basit və intuitiv komandalar strukturunun arxasında kompleks əməllər, alətlər və faydalılar kapsulatlaşdırmaq üçün tasarlanmışdır.Bəli, build və test işləməsi ilə bağlı çətinliklər build və test kimi basit əməllər vasitəsilə abstrakt edilir. • Əməkdarlıq Bu kategoriya kod, konfigürasiya və dokumentasiya daxildir.Bu kategoriya içərisində yazmaq, editing, daxil etmək və silinmək kimi fəlakətlər fərqli ölçüləri təmin edir.Agentlər bütün dosyaları yazmaqdan, bir dosyanın içindəki spesifik dəlilləri dəyişmək üçün bütün əməlləri edə bilərlər. , agentin yeni içərilərlə bir çox satırı yenidən yazmasına imkan verir. File Editing - VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Bu kategoriyanın komandaları agentlərin kod bazasını basit və intuitiv komandalarla çətinliklə kompilə, qurmaq və işləməyə imkan verir.Düşük düzeydə build komandalarının kompleksləri abstraktləşdirilir, Evaluation Environment infrastrukturunda prosesin düzəldilməsini təmin edir.Bu kategoriyada komandaların nümunələri: build, run . VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Agentlər digər agentlər və / və ya istifadəçi ilə iletişimi asanlaşdırmaq üçün bir set komandanı çağırır.Notasiya komandanı, doğal dil mesajlarının göndərilməsinə imkan verir (repozitory əməlləri üçün komandanlar kimi yorumlanmamalıdır), ask komandanı istifadəçilərin geri bildirimlərini istəmək üçün istifadə olunur və stop komandanı prosesdən qurtaracaq və bu, hədəflərin əldə edilməsini və ya agentlərin daha da davam etdirilməməsini göstərə bilər. Beləliklə, AutoDev-in Tools Library-i AI Agentlərin kod bazası ilə mübahisə etməsi və işbirlikçi geliştirmə ortamı içində effektiv kommunikasiya etmək üçün fərqli və qabiliyyətli bir alət setini təmin edir. 2.5 İncəsənət layihəsi VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 2.6 Hər şeyi birləşdirmək VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Komandalar Interface (Commands Interface) File Editing, Retrieval, Build and Execution, Testing və Git işləmələri ilə bağlı müxtəlif funksiyalardan ibarətdir.Bu önerilən komandalar sonra Conversation Manager tərəfindən analiz edilir, bu isə onları kod bazasında işləmək üçün Evaluation Environment-ə yönəldir. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 3 Empirik dizayn AutoDev-in xüsusiyyətlərini və effektivliyini yazılım inşası işlərində qiymətləndirmək, AI-modelin performansını basit həddi aşmaqdan uzaqlaşdırmaq mümkün olduğunu araşdırmaq istəyirik.Bundan başqa, AutoDev-in qiymətini həddi aşmaq, həddi aşmaq və token sayəsində qiymətləndirmək istəyirik. Araşdırma sorğu 1.RQ1: AutoDev kod yaradıcılığında nə qədər effektivdir? 2.RQ2: Test generasiya işində AutoDev nə qədər effektivdir? RQ3: AutoDev nə qədər effektiv işləyir? RQ1: AutoDev nə qədər effektivdir? VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Biz Pass@k metrikini istifadə edərək AutoDev-in effektivliyini ölçürük, orada k etdiyimiz araşdırmaların sayını göstərir. Başarılı bir problem, Au-toDev-in metodun bütün insan yazılı testləri qəbul edən vücudunun kodunu yaradan bir problem kimi tanımlanır. Bir araşdırma bir bütün AutoDev danışıqlarına eşidər, bu da bir çox inference çağrıları və adımları içərisindədir. Bu, təkcə bir inference çağrısı içərisində olan GPT-4 kimi digər metodlarla mübahisə edir. Bir çox inference çağrıları və adımları ilə bağlı ayrıntılar RQ3-də daha da araşdırılır. RQ2: Test generasiya işində AutoDev nə qədər effektivdir? Bu araşdırma sorğusu üçün, HumanEval datasetini test istehsalında AutoDev-in imkanlarını qiymətləndirmək üçün dəyişdiririk. Biz insan yazılmış çözümə baxırıq və verilmiş insan yazılmış testləri atarıq. AutoDev-ə fokal metodu üçün test durumları yaratmaq üçün əmr verilir və testin uğuruna, fokal metodun çağırışına və test əşyasına görə qiymətləndirilir. Biz Pass@1-i bildiririk. RQ3: AutoDev nə qədər effektiv işləyir? Bu araşdırma sorğunda, AutoDev-in SE əməllərini tamamlamasının effektivliyini araşdırırıq.İhtiyacı olan adımların sayını, istifadə edilən komandaların dağılımını (yani yazmaq, test etmək) və mübahisədə istifadə edilən tokenlərin toplam sayını analiz edirik. Avtomobillərin qurulması VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 4 Empirik nəticələr RQ1: AutoDev nə qədər effektivdir? Masanın VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 1 AutoDev ilə Language Agent Tree Search (LATS) və Reflexion-ı, 2024-ci il mart tarixində Hu-manEval liderboardında iki önəmli yaklaşımla əhatə etdik. Xatırladaq ki, bu barədə “OpenAI GPT-4 Technical Report” məlumat yayıb. “Qəbələ” və “Qəbələ” ilə bağlı görüşlər keçirilib Şirkət 1 11 1 Dil agent ağacı axtarışı (LATS) Böyük dil modelləri (LLMs) planlaşdırma, işləmək və fikirləşmək üçün istifadə edir. Monte Carlo ağacı araşdırması tərəfindən ilhamlanan, LATS agentlər, qiymət funksiyaları və optimizatorlar kimi LLMs işləyir, daha yaxşı qərar vermək üçün imkanlarını yeniləmək. 23 Düşüncələr [ VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 17 Masanın "AutoDev"in "HumanEval" liderlik tablosunda ikinci ən yaxşı pozisyonunu təmin edən 91.5% "Pass@1" həcmini əldə etdiyini göstərir.Bu, "AutoDev" və "LATS" arasındakı 94,4% -ni ayırd edən, "AutoDev Framework"in "GPT-4" performansını 67% -dən 91.5% -ə artırdığını göstərir. 1 VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. RQ2: Test generasiya işində AutoDev nə qədər effektivdir? Masanın VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 2 AutoDev test xətti üçün modifikasiya edilən HumanEval datasetində Pass@1 qiymətinin 87,8%-ni qazanıb, bu da aynı GPT-4 modelini istifadə edən bazarda 17%-lik nisbətən yaxşılıq göstərib. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 2 Bu nəticələr AutoDev-in müxtəlif yazılım mühitinin problemlərini həll etməsindəki gücü təsdiqləyib. RQ3: AutoDev nə qədər effektiv işləyir? figurası AutoDev-in Code Generation və Test Generation işi üçün istifadə etdiyi komandaların ümumi sayı, RQ1 və RQ2-də hər bir HumanEval problemi üçün istifadə edilən komandaların ortalama sayını gözləyir. 3 Avtomobillərin ortalama qiyməti bir dəfə artıb 5.5 komandalar, 1.8 yazma proseduru, 1.7 test proseduru, 0.92 stop proseduru içərisində 0.25 yanlış komandalar, minimuma baxış (grep, find, cat), sintax check operasiyaları və danışıq kommunikasiya komandaları ilə. “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” layihəsi “Test Generation” Biz bir komandanın bir komandaya çevrilə bilməyəcəyini və ya analiz etməyəcəyini (yaxud yanlış formatlaşdırma və ya parametr sayması) qəbul etməyəcəyimiz halda yanlış sayırıq.En çox yayılan yanlış komandalar AI agentləri ilə kod və ya komandaları birləşdirir.Bu problemlər daha fleksibil analiz və ya daha yaxşı söhbət yoluyla həll edilə bilər. While AutoDev incurs more inference calls compared to approaches that generate candidate code in a single call, it is essential to note that AutoDev also performs testing and validation operations, tasks typically executed by developers to validate generated candidates. Testing and syntax operations invoked by AutoDev would be undertaken regardless by developers receiving code generated by AI, such as Copilot. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. RQ1 və RQ2-də HumanEval problemini çözmək üçün AutoDev danışıqlarının ortalama uzunluğu 1656 və 1863 tokendir. Bu, istifadəçinin hədəfini, AI agentindən gələn mesajları və Evaluation Environment-dən gələn cavabları içərisindədir. Yanvarda, 0-shot GPT-4 (baseline) kod xətti üçün 200 token və hər bir iş üçün test xətti üçün ortalama 373 token istifadə edir. Son olaraq, AutoDev, AI agentləri orkestrləşdirmək, danışıqları idarə etmək və Docker ortamında komandaları yerinə yetirmək ilə bağlı işləmək maliyyələri yaradır.Notasiya olaraq, Docker-dəki qiymətləndirmə ortamı, istifadəçi ortamında doğrudan CLI komandalarına görə daha böyük işləmək maliyeti ilə bağlıdır. 5 Diskusiya 5.1 Avtomobillərdə işləmək Figurlar A) I və VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. “AutoDev Agent” “AutoDev Agent” “AutoDev Agent” (“AutoDev Agent”) “AutoDev Agent” (“AutoDev Agent”) “AutoDev Agent” (“AutoDev Agent”) “AutoDev Agent” (“AutoDev Agent”) “AutoDev Agent” (“AutoDev Agent”) “AutoDev Agent” (“AutoDev Agent”) “AutoDev Agent” (“AutoDev Agent”) “AutoDev Agent” (“AutoDev Agent”) “AutoDev Agent” (“AutoDev Agent”) “AutoDev Agent” (“AutoDev Agent”) “AutoDev Agent” (“AutoDev Agent”) “AutoDev Agent” (“AutoDev Agent”) “AutoDev Agent” (“AutoDev Agent”) “A 4 5 4 AutoDev agent, funksiyanın gözlənilən davranışı ilə testin düzəltmək üçün bir düzəltmə lazım olduğunu tanıyır. Fikirdə davam AutoDev agentinin yazma komandasını çıxartdıqdan sonra, yanlış ifadənin yenidən yazılması üçün filepath və rütbə sayı aralığını (5-5) müəyyən edib. 5 VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 5.2 Multi-agent işbirliği AutoDev Agent Scheduler tərəfindən orkestrləşdirilmiş işlərdə multi-agent işləməyi dəstəkləyir. HumanEval datasetinin nisbətən asanlığına görə, işlər üçün tək bir GPT-4 agentə quraşdırmağımızı kəskinləşdirdik. Əvvəlki nəticələr isə daha kompleks əməllərdə multi-agent işbirliğinin pozitif nəticələrini göstərirlər.İnterpretering with an AI Developer and AI Reviewer, each with distinct responsibilities and available actions, collaborating on fixing a complex bug revealed interesting interactions. Our future plans involve expanding evaluations to incorporate more complex scenarios where multi-agent collaboration can significantly enhance AutoDev’s performance. 5.3 İnsanın həyat yolları AutoDev AI agentlərinin işlərin davamını bildirməyə və ya danışma və soruşma komandaları ilə insan geri bildirimini istəməyə imkan verir.Anekdot olaraq, bu komandalar AutoDev istifadə edən geliştiricilər üçün agentin niyyətlərini anlamaq və agentin planına baxış əldə etmək üçün faydalıdır. Geləcək planlarımız AutoDev qolu içərisində insanların daha derin birləşdirilməsini, istifadəçilərin agentləri kəsməyi və dərhal geri bildirim verməyə imkan verir. 5.4 AutoDev İntegrasiyaları Pilot çalışmamız AutoDev-i CLI komandası olaraq istifadə edən və VSCode IDE-də gözləmək üçün mübahisə etmək üçün hazır olan geliştiricilərlə əlaqələndirdi. AutoDev-i IDE-lərə endirmək, chatbot deneyimini yaratmaq və onu CI/CD pipe-line və PR review platformalarına endirməkdir. 6 İlgili işlər Artıq iki gündən sonra biz 2013-cü il mövsümü üçün hazırlanmış ilk maşını görəcəyik – yanvarın 28-də axşam Lotus komandası E21-i [...] 6.1 AI in Software Engineering The integration of AI, particularly Large Language Models (LLMs), into software engineering has witnessed substantial progress. Models like GPT-3 [ Əsas səhifə [ ] Qazaxıstanda 4 nəfər həlak olub “Transformator Architecture” (Transformator arkitekturası) Bu barədə “The Guardian” xəbər verir ki, bu barədə “The Guardian” xəbər verir ki, bu barədə “The Guardian” xəbər verir ki, bu barədə “The Guardian” xəbər verir. Əsas səhifə » Əsas səhifə » Əsas səhifə Qazaxıstanda 4 nəfər həlak olub ] allowed these AI models to achieve impressive performance across diverse tasks. 7 14 13 20 15 18 13 VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Qeyd edək ki, ABŞ-ın İŞİD-ə qarşı böyük zərbələr yaradır. və “OpenAI”nin GPT-3.5 kimi məşhur modelləri ilə bağlı LLM-lər [ Qazaxıstanda 4 nəfər həlak olub ], həm də Code Llama kimi sağlam open-source modelləri [ ], intelligent programlaşdırma köməkçileri kimi işləmək potansiyalı göstərirlər. 5 4 10 12 13 16 Bu yazıda, AutoDev-i, bağımsız yazılım inqilabçılıq işləri üçün bütünlüklü bir çərşənbə təqdim edirik. AutoDev var olan işlərin ötesini genişləndirir, fərqli bir alət kütləvi təmin edir, AI agentləri kod editing, test və integrasiya kimi kompleks işləri bağımsız olaraq yerinə yetirməyə imkan verir. AutoDev da LLM-agnostikadır, fərqli parametr boyları və arkitekturaları olan AI modellərinin fərqli bir seti bir işdə işləməyə imkan verən bir infrastruktur ilə. 6.2 Software Engineering üzrə LLM-lərin qiymətləndirilməsi VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Bəlkə də Bəlkə də Bəlkə də Bununla yanaşı, bu metriklər çox zaman sintax düzgünliyi və build və test kimi işləməyə dayanan metriklər kimi əsas programlaşdırma aspektlərini yaxalayır. 21 19 CodeXGLUE [ ] has addressed these limitations by providing a comprehensive evaluation platform for LLMs in software engineering. It offers a diverse benchmark dataset along with baseline models like CodeBERT and CodeGPT. 9 Məşhur insan ( Bu barədə “The New York Times” xəbər verir ki, bu barədə “The New York Times” xəbər verir ki, “The New York Times” xəbər verir ki, bu barədə “The New York Times” xəbər verir. 5 [ HumanEval-a bənzəyir, Copilot Evaluation Harness-in kod işləməsinin düşüncələri içərisindədir, ancaq yazılım mühitinin işlərinin spektrumu (kod, test və dokumentasiya xətti, iş yerinin anlayışı və sorğu çözünürlüğünü) genişləndirir, həm də qiymətləndirmək üçün istifadə edilən metrikləri artırır. 3 "HumanEval"in iki kodlama işində AutoDev-in effektivliyini qiymətləndirmək üçün aktualdırsa, gələcək işimiz bu qiymətləndiriciyi "Copilot Evaluation Harness"in təqdim etdiyi kimi daha çətin və real dünya datasetlərinə genişləndirmək niyyətindədir. 6.3 Software Engineering interaksiyaları While prior works have explored the intersection of AI and software engineering, few have delved into AI-guided programming within IDE interactions. AutoDev, as introduced in this paper, draws inspiration from existing works in the literature while enhancing their contributions. Notable examples include Auto-GPT[ LATS (Language Agent Tree Search) - Dil Agent Ağacı Arama ], and Reflexion[ Ümumiyyətlə, hər bir problemin həllini bir-birinə göstərmək lazımdır. 8 23 17 Avtomobillərin [...] GPT-3.5 və GPT-4-i bir ortaq botla eşidərək işləyir, bu da istifadəçilərin bu dil modellərini spesifik hədəflərə yönəltməyə imkan verir. 8 Lənkəran ( 2013-cü ildə aparılmış arxeoloji tədqiqat işləri burada 120 kv.metrlik ərazidə yaşayış yerinin qalığının olduğunu söyləməyə əsas verir (1).Azərbazın bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən bəzən b 23 Düşüncələr [ VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. 17 “AutoDev” bu fikirləri “Software Engineering” sektoruna özəlləşdirir və AI agentlərinin kompleks SE-lər üçün tam avtonomiya ilə işləməyə imkan verən fleksib bir çerçevə təqdim edir. “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoDev” şirkəti “AutoD 7 Sonrakı Bu yazıda, AutoDev, AI Agentlərin repositorylarla bağımsız olaraq əlaqə saxlamağı, əməllər yerinə yetirmək və kompleks yazılım inqilabı işlərini başa vurmaq üçün imkan verən bir çərşənbə təqdim etdik. Biz yazılım inqilabı işlərinin üçün relevant kontekst ekstraksiyasını və AI-yə yaradılan kodu istifadəçilərdən (bütünü də geliştiricilərdən) AI Agentlərin özlərinə validləşdirmək üçün sorğu-sual etdik.Agentlər Retrieval əməllərinin vasitəsilə kontekst tapmaq və Build, Execution, Testing və Validation əməllərinin vasitəsilə kod yaradılmasını təsdiqləyiblər. "AutoDev Framework"də geliştiricinin rolü manual əməllərdən və AI təkliflərin validasiyasından, işlərdə multi-agent işbirliğini davam etdirən bir supervisorə çevrilir, feedback verə bilər. Our evaluation on the HumanEval dataset for code and test generation showcased impressive results, achieving a Pass@1 score of 91.5 for code generation—a second-best result on the leaderboard at the time of writing, and the best among approaches requiring no extra training data. AutoDev also excelled in test generation with a Pass@1 score of 87.8%, achieving a 99.3% coverage from passing tests. Əvvəllər gözləyirəm ki, gələcəkdəki işimizdə AutoDev-i IDE-lərə chatbot vasitəsi kimi endirmək və onu CI/CD pipeline və PR review platformalarına endirməkdir. Referentlər “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”nin “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in “Qəbələ”in”in “Qəbələ”in”in “Qəbələ”in”in “Qəbələ”in 2024-ci il tarixində qeyd edilmişdir. Növbəti → Xatırladaq ki, bu barədə “Snickers” jurnalında məlumat yayıb. GitHub copilot: Your Ai Pair Programming. 2024. Qazaxıstan - Qazaxıstan Şirkətlər [3] Agarwal, A., Chan, A., Chandel, S., Jang, J., Miller, S., Moghad-dam, R. Z., Mohylevskyy, Y., Sundaresan, N., və Tufano, M. Copi-lot qiymətləndirmə harness: Evaluating llm-guided software programming, 2024. [4] Chen, B., Mustakin, N., Hoang, A., Fuad, S., və Wong, D. Vscuda: Visual studio kodu üçün Llm-based cuda uzantısı. (New York, NY, USA, 2023), SC-W ’23, Computing Machinery Association, s. “High Performance Computing, Network, Storage, and Analysis” International Conference-in 23 seminarının prosedurları [5] Chen, M., Tworek, J., Jun, H., Yuan, Q., de Oliveira Pinto, H. P., et al. Evaluating large language models trained on code. [6] Ding, Y., Wang, Z., Ahmad, W., Ding, H., Tan, M., Jain, N., Ra-manathan, M. K., Nallapati, R., Bhatia, P., Roth, D., et al. Cross-codeeval: Cross-file kod tamamlanması üçün müxtəlif və çox dilli referensiya. 2024 dəfə baxılıb. Neural informasiyanı işləyən sistemlər 36 [7] Floridi, L., və Chiriatti, M. Gpt-3: Onun doğası, sahəsi, limitləri və nəticələri. 2020-ci ildə 681-694 Mütəxəssislər və aparıcılar 30 [8] Tədbirdə iştirak edib. 2024-ci ildə GitHub repositoryunda Qazaxıstan - Qazaxıstan - Qazaxıstan - Qazaxıstan Avtomobillərin [9] Lu, S., Guo, D., Ren, S., Huang, J., Svyatkovskiy, A., Blanco, A., Clement, C., Drain, D., Jiang, D., Tang, D., Li, G., Zhou, L., Shou, L., Zhou, L., Tufano, M., Gong, M., Zhou, M., Duan, N., Sundaresan, N., Deng, S. K., Fu, S., və Liu, S. Codexglue: CodexGlue: Codexgeneration və kod anlayışı üçün makine öyrənmə referensiya dataset, 2021. [10] Nam, D., Macvean, A., Hellendoorn, V., Vasilescu, B., və Myers, B. Böyük dil modeli ilə in-ide üsyan bazası ilə informasiya dəstəyi, 2023. Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Əsas səhifə » Grafstein, M., Gray, S., Greene, R., Gross, J., Gu, S. S., Guo, Y., Hallacy, C., Han, J., Harris, J., He, Y., Heaton, M., Heidecke, J., Hesse, C., Hickey, A., Hickey, W., Hoeschele, P., Houghton, B., Hsu, K., Hu, S., Hu, X., Huizinga, J., Jain, S., Jain, S., Jang, J., Jiang, A., Jiang, R., Jin, H., Jin, D., Jomoto, S., Jonn, B., Jun, H., Kaftan, T., Łukasz Kaiser, Kamali, A., Kanitscheider, I., Keskar, N. S., Khan, T., Kilpatrick, L., Kim, J. W., Kim, C., Kim, Y., Kirchner, J. H., Kiros, J., Knight, M., Kokotajlo, D., Łukasz Kondraciuk, Kondrich, A., Konstantinidis, A., Kosic, K., Krueger, G., Kuo, V., Lampe, M., Lan, I., Lee, T., Leike, J., Leung, J., Levy, D., Li, C. M., Lim, R., Lin, M., S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. S. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R. A., R., R. A., R., R. A., R., R., GPT 3.5 modelləri, 2023 [13] OpenAI. Gpt-4 texniki report, 2023 [14] Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., et al. İnsan geri bildirimləri ilə talimatları izləmək üçün lan-guage modelləri. 2022), 27730 – 27744 nəfəri Neural informasiyanın işlənməsi 35 [15] Rae, J. W., Borgeaud, S., Cai, T., Millican, K., və digərləri. dil modelləri ölçülməsi: metodlar, analizlər və öyrənmək gopher, 2022. [16] Roziere, B., Gehring, J., Gloeckle, F., Sootla, S., Gat, I., Tan, X. E., Adi, Y., Liu, J., Remez, T., Rapin, J., et al. Code llama: Open foundation models for code. 2023 dəfə baxılıb Əsas səhifə ArXiv arXiv:2308.12950 [17] Shinn, N., Cassano, F., Berman, E., Gopinath, A., Narasimhan, K., və Yao, S. Reflexion: Dil agentləri verbal təchizatı öyrənmək, 2023. [18] Smith, S., Patwary, M., Norick, B., LeGresley, P., Rajbhandari, S., Casper, J., Liu, Z., Prabhumoye, S., Zerveas, G., Korthikanti, V., Zhang, E., Child, R., Aminabadi, R. Y., Bernauer, J., Song, X., Shoeybi, M., He, Y., Houston, M., Tiwary, S., və Catanzaro, B. Genişlik və megatronla megatron-turing nlg 530b, böyük ölçü generativ dil modeli, 2022. [19] Srivastava, A., Rastogi, A., Rao, A., Shoeb, A. A. M., et al. İmitasiya oyunundan başqa: Dil modellərinin xüsusiyyətlərini ölçmək və ekstrapolasiya etmək, 2023. [20] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., və Polosukhin, I. İhtiyacınız olan hər şeydir. 2017-ci ildə Neural informasiyanı işləyən sistemlər 30 [21] Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., and Bowman, S. R. Glue: A multi-task benchmark and analysis platform for natural language understanding, 2019. [22] Wu, Q., Bansal, G., Zhang, J., Wu, Y., Li, B., Zhu, E., Jiang, L., Zhang, X., Zhang, S., Liu, J., Awadallah, A. H., White, R. W., Burger, D., və Wang, C. Autogen: Multi-Agent Conversation vasitəsilə Next-gen llm proqramları təmin etmək, 2023. [23] Zhou, A., Yan, K., Shlapentokh-Rothman, M., Wang, H., və Wang, Y.-X. Dil agent ağacı araşdırması dil modellərində fikirləşmə və planlaşdırma birləşdirir, 2023. Bu dokument CC by 4.0 Deed (Attribution 4.0 International) lisenziyası altında arxivdə verilmişdir. Bu dokument CC by 4.0 Deed (Attribution 4.0 International) lisenziyası altında arxivdə verilmişdir.