
 
 
 
 
 
 
 Les auteurs : (1) Bo Wang, Université de Beijing Jiaotong, Pékin, Chine (wangbo_cs@bjtu.edu.cn); (2) Mingda Chen, Université de Beijing Jiaotong, Pékin, Chine (23120337@bjtu.edu.cn); (3) Youfang Lin, Université de Beijing Jiaotong, Pékin, Chine (yflin@bjtu.edu.cn); (4) Mike Papadakis, Université du Luxembourg, Luxembourg (michail.papadakis@uni.lu); (5) Jie M. Zhang, King’s College London, Londres, Royaume-Uni (jie.zhang@kcl.ac.uk). Authors: (1) Bo Wang, Université de Beijing Jiaotong, Pékin, Chine (wangbo_cs@bjtu.edu.cn); (2) Mingda Chen, Université de Beijing Jiaotong, Pékin, Chine (23120337@bjtu.edu.cn); (3) Youfang Lin, Université de Beijing Jiaotong, Pékin, Chine (yflin@bjtu.edu.cn); (4) Mike Papadakis, Université du Luxembourg, Luxembourg (michail.papadakis@uni.lu); (5) Jie M. Zhang, King’s College London, Londres, Royaume-Uni (jie.zhang@kcl.ac.uk). Table de gauche abstraits et 1 Introduction 1 Introduction 2 Background and Related Work 2 Contexte et travaux connexes 3 Study Design 3.1 Surveillance et questions de recherche 3.2 Les données 3.3 Génération de mutation via LLMs 4.3 Métriques d’évaluation 5.3 Réglages expérimentaux 4 Evaluation Results 4.1 RQ1: Performance sur le coût et l'usabilité 4.2 RQ2: Similitudes de comportement 4.3 RQ3: Impacts des différents prompts 4.4 RQ4: Impacts des différents LLMs RQ5 : Causes de racine et types d'erreur des mutations non compilables 5 Discussion 5.1 Sensibilité aux paramètres d'expérimentation choisis 5.2 Les implications 5.3 Menaces à la validité 6 Conclusion and References 6 Conclusions et références abstrait Les grands modèles linguistiques (LLM) ont montré un grand potentiel dans les tâches liées au code, mais leur utilité dans les tests de mutation reste inexplorée. À cette fin, nous enquêtons systématiquement sur la performance des LLM dans la génération de mutations efficaces par rapport à leur usabilité, leur potentiel de détection de défauts et leur relation avec des bugs réels. En particulier, nous réalisons une étude empirique à grande échelle impliquant 4 LLM, y compris les modèles open-source et clos-source, et 440 bugs réels sur deux critères de référence Java. Nous constatons que, par rapport aux approches existantes, les LLM génèrent des mutations plus diverses qui sont plus proches du comportement des bugs réels, ce qui conduit à des 1 Introduction Le test de mutation est l'une des techniques de test de logiciel les plus efficaces [17, 18, 27, 33, 59]. Il est effectué en produisant des variantes de programme en faisant des changements syntaxiques simples (c'est-à-dire des mutations) dans le code source du programme d'origine (c'est-à-dire des mutants). Ces variantes forment les objectifs du test, dans un sens demandant des tests pour déclencher des comportements différents sur les programmes d'origine et des mutants. Un mutant est appelé tué ou vivant selon que l'exécution du test conduit à une sortie de programme différente (comportement observable) de celle du programme d'origine ou non. La proportion des mutants tués sur l'ensemble de mutants forme une métrique d'adéquation de test Les techniques traditionnelles utilisent des transformations syntaxiques simples (règles), appelées opérateurs de mutation, qui introduisent des changements syntaxiques dans chaque emplacement de code qu'elles appliquent [33, 59]. Nous appelons ces approches des approches basées sur des règles. Malheureusement, les approches basées sur des règles produisent un grand nombre de mutants redondants, c'est-à-dire des mutants qui ne contribuent pas au processus de test [5, 57] et exagèrent ainsi les enjeux de calcul de la méthode ainsi que l'effort humain impliqué dans l'examen des mutants vivants. Pour résoudre ce problème, les chercheurs tirent parti des approches d'apprentissage profond pour former des opérateurs de mutation en fonction de l'histoire du projet [62, 70, 73], dans l'espoir que ceux-ci produiront peu de mutations efficaces. Néanmoins, la question de savoir quels mutants devraient être utilisés lors de l'exécution des tests de mutation reste ouverte en raison des défis suivants: (1) Formation de mutations efficaces. Pour être efficaces, les mutations doivent être syntaxiquement correctes, ce qui n'est pas le cas de la plupart des méthodes d'apprentissage existantes, et être susceptibles de révéler des erreurs [10, 80], c'est-à-dire avoir un bon potentiel de couplage avec des défauts réels [7]. Alors que les méthodes existantes sont efficaces, il y a encore beaucoup de place pour l'amélioration [15]. (2) Formation de mutations naturelles. Les mutations doivent s'aligner sur les modèles et pratiques de codage naturels qui s'align Pour faire face à ces défis, nous visons à utiliser des modèles de langue majeure (LLM), qui ont été formés sur le grand code et peuvent produire du code semblable à celui de l'homme [11]. À la suite des études existantes [26, 49, 65], nous avons conçu une requête par défaut contenant des instructions de tâche, l'élément de code à muter, le code de méthode correspondant et quelques exemples d'échantillons provenant de bugs du monde réel. Nous avons effectué une évaluation à grande échelle impliquant 4 LLM, 2 commerciales de source fermée et 2 open source, 440 bugs du monde réel provenant de deux benchmarks Java, c'est-à-dire Defects4J [37] et ConDefects [82], et compar Notre évaluation comprend à la fois une analyse quantitative et qualitative des mutations générées par les LLM, en les comparant avec les approches existantes pour évaluer leur coût et leur efficacité. En outre, nous étudions comment les différentes stratégies d'ingénierie prompt et les LLM (c'est-à-dire, GPT-3.5-Turbo [4], GPT-4-Turbo, CodeLlama-13bInstruct [64], et StarChat-β-16b [45]) affectent l'efficacité de la tâche. Nos résultats révèlent que le meilleur modèle pour la génération de mutants est GPT-4, car il surpasse les autres LLMs dans toutes les métriques utilisées, c'est-à-dire qu'il produit moins de mutants équivalents, de mutants avec un potentiel de détection de défauts plus élevé, ainsi qu'une couplage et une similitude sémantique plus élevées avec des défauts réels. GPT-3.5 est le deuxième meilleur en termes de potentiel de détection de défauts, conduisant à une détection de 96,7% de bugs dans Defects4J et 86,7% dans ConDefects. Du reste des techniques, Major est le meilleur, avec le potentiel de révéler 91,6% de bugs dans Defects4J et 68,9% dans ConDefects Une autre découverte intéressante de notre analyse concerne la diversité des mutants (mesurée en termes de types de nœuds AST nouvellement introduits).En particulier, nos résultats montrent que les GPT présentent la plus grande diversité, introduisant récemment 45 types de nœuds AST différents, contrairement à seulement 2 utilisés par des approches traditionnelles telles que Major, et en résumant toutes les approches existantes, indiquant une meilleure contextualisation de l'approche basée sur LLM. Nous avons également analysé les mutations générées par GPT qui ne parviennent pas à compiler, un problème commun avec les mutations basées sur l'apprentissage, et avons constaté qu'elles tombent dans 9 types d'erreur de compilation avec l'utilisation de méthodes inconnues et les types de destruction structurelle du code étant les plus répandus. Nous avons emballé notre méthode dans un outil de mutation appelé , un outil de génération de mutations basé sur LLM pour Java. Sur la base des données expérimentales, nous avons également construit un ensemble de données contenant des mutants de haute qualité générés par LLM qui peuvent être utilisés non seulement dans les tests de mutation, mais aussi dans d'autres applications de semence de bugs, telles que la localisation des erreurs et la prédiction des erreurs. Kumo En résumé, notre article apporte les principales contributions suivantes : • Nous enquêtons sur l'applicabilité des LLM dans les tests de mutation. Nous effectuons des expériences comparatives étendues et détaillées pour évaluer les LLM contre les outils / méthodes existants. Nos résultats indiquent que les modèles GPT excellent dans la génération de mutations qui imitent de près les bugs réels. • Nous comparons différentes prompts et trouvons que l'apprentissage à quelques coups avec un contexte de code approprié archive les meilleures performances. • Nous analysons les types d'erreur des mutations non compilables et déterminons que l'invocation de la méthode et l'évaluation des membres sont plus susceptibles de conduire les LLM à générer des mutations non compilables. • Nous construisons un ensemble de données de haute qualité de mutations Java qui comprend des mutants équivalents analysés manuellement. 
 
 Ce document est disponible sous la licence CC by 4.0 Deed (Attribution 4.0 International). Ce document est disponible sous la licence CC by 4.0 Deed (Attribution 4.0 International). available on arxiv

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Mutation.TECH

Mutation: process of changing in form or nature. We publish the best academic journals & first hand accounts of Mutation

Mutation's Blog

Cet audio est produit dans la langue originale de l'histoire !

Une étude révèle que les mutations de code AI aident les développeurs à attraper les bugs plus rapidement

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Guide de l'architecte pour créer une architecture de référence pour un datalake IA/ML

Comment améliorer votre flux de travail par 10 : 17 applications essentielles

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Guide de l'architecte pour créer une architecture de référence pour un datalake IA/ML

Comment améliorer votre flux de travail par 10 : 17 applications essentielles

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps