
 
 
 
 
 
 
 на авторите: (1) Bo Wang, Пекински университет Jiaotong, Пекин, Китай (wangbo_cs@bjtu.edu.cn); (2) Mingda Chen, Пекин Jiaotong университет, Пекин, Китай (23120337@bjtu.edu.cn); (3) Youfang Lin, Пекински университет Jiaotong, Пекин, Китай (yflin@bjtu.edu.cn); (4) Майк Пападакис, Университет на Люксембург, Люксембург (michail.papadakis@uni.lu); (5) Jie M. Zhang, King’s College London, Лондон, Великобритания (jie.zhang@kcl.ac.uk). Authors: (1) Bo Wang, Пекински университет Jiaotong, Пекин, Китай (wangbo_cs@bjtu.edu.cn); (2) Mingda Chen, Пекин Jiaotong университет, Пекин, Китай (23120337@bjtu.edu.cn); (3) Youfang Lin, Пекински университет Jiaotong, Пекин, Китай (yflin@bjtu.edu.cn); (4) Майк Пападакис, Университет на Люксембург, Люксембург (michail.papadakis@uni.lu); (5) Jie M. Zhang, King’s College London, Лондон, Великобритания (jie.zhang@kcl.ac.uk). Левицата на масата абстрактни и 1 Introduction 1 Въведение 2 Background and Related Work 2 Обосновка и свързана работа 3 Study Design 3.1 Преглед и изследователски въпроси 3.2 Съдържание на данни 3.3 Генериране на мутации чрез LLMs 3.4 Методи за оценяване 3.5 Експериментални настройки 4 Evaluation Results RQ1: Изпълнение по отношение на разходите и използваемостта 4.2 RQ2: Поведенческо сходство 4.3 RQ3: Въздействия на различните тенденции 4.4 RQ4: Въздействия на различни LLMs RQ5: Коренни причини и видове грешки на некомпилируемите мутации 5 Discussion 5.1 Чувствителност към избраните настройки на експеримента 5.2 Последици 5.3 Заплахи за валидността 6 Conclusion and References 6 Заключения и препратки абстрактна Въпросът как да се генерират мутации с висока полезност на данни, които да се използват за целите на тестването, представлява ключово предизвикателство в литературата за тестване на мутации. Големите езикови модели (LLM) показват голям потенциал в задачи, свързани с код, но тяхната полезност в тестването на мутации остава неизследвана. За тази цел систематично изследваме ефективността на LLM в генерирането на ефективни мутации в сравнение с съществуващите подходи, LLM генерират по-разнообразни мутации, които по отношение на поведението са по-близо до реалните грешки. По-специално, ние провеждаме мащабно емпирично проучване, включващо 4 LLM, включително и модели с отворен и затворен код, и 440 реални грешки 1 Въведение Тестването на мутации е една от най-ефективните техники за тестване на софтуер [17, 18, 27, 33, 59]. Тя се извършва чрез произвеждане на програмни вариации чрез извършване на прости синтактични промени (т.е. мутации) в изходния код на програмата за произход (т.е. мутанти). Тези вариации формират целите на тестването, в смисъл на изискване на тестове за задействане на различни поведения върху оригиналните и мутантните програми. Мутантът се нарича убит или жив в зависимост от това дали изпълнението на теста води до различен изход на програмата (наблюдавано поведение) от този на оригиналната програма или не. Пропорцията на убитите мутанти в целия набор от мутанти образува метрика за адекват Тъй като мутациите са целите на тестването, ефективността на метода зависи силно от набора от мутанти, които се използват.Традиционните техники използват прости синтактични трансформации (правила), наречени мутационни оператори, които въвеждат синтактични промени във всяко местоположение на кода, което прилагат [33, 59].Ние наричаме тези подходи като подходи, базирани на правила. За съжаление, подходите, основани на правила, произвеждат голям брой излишни мутанти, т.е. мутанти, които не допринасят за процеса на тестване [5, 57] и по този начин изострят изчислителните глави на метода, както и човешките усилия, участващи в изследването на живи мутанти. За да се справят с този проблем, изследователите използват подходи за дълбоко обучение, за да формират мутационни оператори въз основа на историята на проекта [62, 70, 73], с надеждата, че те ще произведат малко, но ефективни мутации. Въпреки това, въпросът кои мутанти трябва да се използват при извършване на тестове за мутации остава отворен поради следните предизвикателства: (1) Формиране на ефективни мутации. За да бъдат ефективни, мутациите трябва да бъдат синтактично правилни, което не е случаят с повечето съществуващи методи, базирани на учене, и да бъдат вероятно да разкрият грешки [10, 80], т.е. да имат добър потенциал да се съчетаят с реални грешки. Докато съществуващите методи са ефективни, все още има значително пространство за подобрение [15]. (2) Формиране на естествени мутации. Мутациите трябва да се приведат в съответствие с естествените модели и практики за кодиране, така че да се приведат в съответствие с очакванията на разработчиците, т.е. да ги накарат За да се справим с тези предизвикателства, ние се стремим да използваме Large-Language Models (LLMs), които са били обучени по голям код и могат да произвеждат човекоподобен код [11]. След съществуващите проучвания [26, 49, 65], ние разработихме по подразбиране покана, която съдържа инструкции за задачи, елемента на кода, който трябва да бъде мутиран, съответния метод код, и няколко снимки на примери, взети от реални грешки. Ние извършихме мащабна оценка, включваща 4 LLMs, 2 затворени търговски и 2 с отворен код, 440 реални грешки от два Java бенчмарка, т.е. Defects4J [37] и ConDefects [82], и сравнение с съществуващите техники и инструменти. Нашата оценка включва както количествен, така и качествен анализ на генерираните от LLM мутации, като ги сравняваме с съществуващите подходи за оценка на тяхната цена и ефективност. Освен това изучаваме как различните стратегии за интелигентно инженерство и LLM (т.е. GPT-3.5-Turbo [4], GPT-4-Turbo, CodeLlama-13bInstruct [64] и StarChat-β-16b [45]) влияят на ефективността на задачата. Нашите резултати разкриват, че най-добрият модел за генериране на мутанти е GPT-4, тъй като той превъзхожда другите LLMs във всички използвани показатели, т.е. произвежда по-малко еквивалентни мутанти, мутанти с по-висок потенциал за откриване на дефекти, както и по-високо съединение и семантично сходство с реални дефекти. GPT-3.5 е вторият най-добър по отношение на потенциала за откриване на дефекти, което води до откриване на 96.7% от грешките в Defects4J и 86.7% в ConDefects. От останалите техники, Major е най-добрият, с потенциал да разкрие 91.6% от грешките в Defects4J и 68.9% в ConDefects Друга интересна констатация от нашия анализ се отнася до разнообразието на мутантите (измерено по отношение на ново въведените типове AST възел). по-специално, нашите резултати показват, че GPT показват най-голямо разнообразие, наскоро въвеждане на 45 различни типове AST възел, за разлика от само 2 използвани от традиционните подходи като Major, и сумиране на всички съществуващи подходи, което показва много по-добра контекстуализация на подхода, базиран на LLM. Анализирахме и генерираните от GPT мутации, които не успяват да компилират, често срещан проблем с мутациите, базирани на ученето, и установихме, че те попадат в 9 типа грешки в компилацията, като използването на неизвестни методи и типовете за разрушаване на структурата на кода са най-разпространените. Ние обгърнахме нашия метод в инструмент за мутация, наречен , инструмент за генериране на мутации на базата на LLM за Java. Въз основа на експерименталните данни, ние също така сме изградили набор от данни, който съдържа висококачествени генерирани от LLM мутанти, които могат да бъдат използвани не само в тестовете за мутации, но и в други приложения за сеитба на грешки, като локализация на грешки и прогнозиране на грешки. Kumo Накратко, нашата статия прави следните основни приноси: • Ние изследваме приложимостта на LLMs в тестовете за мутации. Ние провеждаме обширни и подробни сравнителни експерименти, за да оценяваме LLMs срещу съществуващи инструменти / методи. Нашите констатации показват, че GPT моделите се отличават в генерирането на мутации, които силно имитират реални бъгове. • Ние сравняваме различни обаждания и откриваме, че малкото обучение с подходящ контекст на кода архивира най-доброто представяне. • Ние анализираме видовете грешки на некомпилируемите мутации и откриваме, че призоваването на метода и оценката на членовете е по-вероятно да доведат до генериране на некомпилируеми мутации. • Ние изграждаме висококачествен набор от Java мутации, който включва ръчно анализирани еквивалентни мутанти. 
 
 Тази статия е достъпна под лиценза CC by 4.0 Deed (Attribution 4.0 International). Тази статия е достъпна под лиценза CC by 4.0 Deed (Attribution 4.0 International). Достъпно за архивиране

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Mutation.TECH

Mutation: process of changing in form or nature. We publish the best academic journals & first hand accounts of Mutation

Mutation's Blog

Това аудио е създадено на оригиналния език на историята!

Study Finds AI Code Mutations Help Developers Catch Bugs Faster

About Author

КОМЕНТАРИ

ЗАКАЧВАЙТЕ ЕТИКЕТИ

ТАЗИ СТАТИЯ Е ПРЕДСТАВЕНА В

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps