
 
 
 
 
 
 
 Los autores: (1) Bo Wang, Universidad de Beijing Jiaotong, Beijing, China (wangbo_cs@bjtu.edu.cn); (2) Mingda Chen, Universidad de Beijing Jiaotong, Beijing, China (23120337@bjtu.edu.cn); (3) Youfang Lin, Universidad de Beijing Jiaotong, Beijing, China (yflin@bjtu.edu.cn); Mike Papadakis, Universidad de Luxemburgo, Luxemburgo (michail.papadakis@uni.lu); (5) Jie M. Zhang, King’s College London, Londres, Reino Unido (jie.zhang@kcl.ac.uk). Authors: (1) Bo Wang, Universidad de Beijing Jiaotong, Beijing, China (wangbo_cs@bjtu.edu.cn); (2) Mingda Chen, Universidad de Beijing Jiaotong, Beijing, China (23120337@bjtu.edu.cn); (3) Youfang Lin, Universidad de Beijing Jiaotong, Beijing, China (yflin@bjtu.edu.cn); Mike Papadakis, Universidad de Luxemburgo, Luxemburgo (michail.papadakis@uni.lu); (5) Jie M. Zhang, King’s College London, Londres, Reino Unido (jie.zhang@kcl.ac.uk). Mesa de la izquierda Abstracción y 1 Introduction 1 Introducción 2 Background and Related Work 2 Contexto y trabajo relacionado 3 Study Design 3.1 Resumen y preguntas de investigación 3.2 Datos 3.3 Generación de mutaciones a través de LLMs 3.4 Métodos de evaluación 3.5 Configuración de experimentos 4 Evaluation Results 4.1 RQ1: Desempeño en costes y usabilidad 4.2 RQ2: Similitud de comportamiento 4.3 RQ3: Impactos de diferentes prompts 4.4 RQ4: Impacto de los diferentes LLMs RQ5: Causas de raíz y tipos de error de mutaciones no compilables 5 Discussion 5.1 Sensibilidad a las configuraciones de experimento elegidas 5.2 Implicaciones 5.3 Amenazas a la validez 6 Conclusion and References 6 Conclusiones y referencias Abstracción El contexto de cómo generar mutaciones de alta utilidad de datos, que se utilizan para fines de prueba, constituye un reto clave en la literatura de pruebas de mutaciones. Los modelos de lenguaje grande (LLM) han mostrado gran potencial en tareas relacionadas con el código, pero su utilidad en las pruebas de mutaciones sigue siendo inexplorada. Para este fin, investigamos sistemáticamente el rendimiento de los LLM en la generación de mutaciones efectivas en relación con su usabilidad, el potencial de detección de fallos y la relación con los errores reales. En particular, realizamos un estudio empírico a gran escala que involucra a 4 LLM, incluyendo modelos de fuente abierta y cerrada, y 440 errores reales en dos benchmarks de Java. Descubrimos que en comparación con los enfoques existentes, los LLM gener 1 Introducción La prueba de mutación es una de las técnicas de prueba de software más eficaces [17, 18, 27, 33, 59]. Se realiza produciendo variantes del programa haciendo cambios sintácticos simples (es decir, mutaciones) en el código fuente del programa de origen (es decir, mutantes). Estas variantes forman los objetivos de la prueba, en un sentido que solicitan pruebas para desencadenar diferentes comportamientos en los programas originales y mutantes. Un mutante se llama muerto o vivo dependiendo de si la ejecución de la prueba conduce a una salida del programa diferente (comportamiento observable) de la del programa original o no. La proporción de los mutantes muertos en todo el conjunto de mutantes forma una métrica de adecuación de la prueba que se llama puntuación de mutación. Dado que las mutaciones son los objetivos de la prueba, la eficacia del método depende en gran medida del conjunto de mutantes que uno está utilizando. Las técnicas tradicionales utilizan simples transformaciones sintácticas (reglas), llamadas operadores de mutación, que introducen cambios sintácticos en cada ubicación del código que aplican [33, 59]. llamamos a estos enfoques enfoques basados en reglas. Desafortunadamente, los enfoques basados en reglas producen un gran número de mutantes redundantes, es decir, mutantes que no contribuyen al proceso de prueba [5, 57] y, por lo tanto, agravan los problemas computacionales del método, así como el esfuerzo humano involucrado en examinar mutantes vivos. Para abordar este problema, los investigadores aprovechan los enfoques de aprendizaje profundo para formar operadores de mutación basados en la historia del proyecto [62, 70, 73], con la esperanza de que estos producirán pocas pero efectivas mutaciones. Sin embargo, la pregunta de qué mutantes se deben utilizar cuando se realizan pruebas de mutación permanece abierta debido a los siguientes desafíos: (1) Formar mutaciones efectivas. Para ser efectivas, las mutaciones necesitan ser sintácticamente correctas, lo que no es el caso de la mayoría de los métodos de aprendizaje existentes, y es probable que revelen errores [10, 80], es decir, tienen un buen potencial para combinar con errores reales. Mientras que los métodos existentes son eficaces, todavía hay espacio significativo para la mejora [15]. (2) Formar mutaciones naturales. Las mutaciones necesitan alinearse con los patrones y prácticas de codificación naturales que se alinean con las expectativas de los desarrolladores, es decir, hacerles sentir que valen la pena ser abordados [7]. Es un reto asegurarse de que el código mutado no solo sea sintác Para hacer frente a estos desafíos, nuestro objetivo es utilizar los modelos de gran lenguaje (LLM), que han sido entrenados en el código grande y pueden producir código similar al humano [11]. Después de los estudios existentes [26, 49, 65], diseñamos una guía predeterminada que contiene instrucciones de tareas, el elemento de código a ser mutado, el código de método correspondiente y algunos ejemplos tomados de los errores del mundo real. Realizamos una evaluación a gran escala que involucraba a 4 LLM, 2 comerciales de código cerrado y 2 de código abierto, 440 errores del mundo real de dos benchmarks de Java, es decir, Defects4J [37] y ConDefects [82], y comparamos con las técnicas y herramientas existentes. Nuestra evaluación incluye tanto análisis cuantitativo como cualitativo de las mutaciones generadas por los LLM, comparándolas con los enfoques existentes para evaluar su coste y eficacia. Además, estudiamos cómo diferentes estrategias de ingeniería prompt y LLM (es decir, GPT-3.5-Turbo [4], GPT-4-Turbo, CodeLlama-13bInstruct [64], y StarChat-β-16b [45]) afectan a la eficacia de la tarea. Nuestros resultados revelan que el mejor modelo para la generación de mutantes es GPT-4, ya que supera a los otros LLMs en todas las métricas utilizadas, es decir, produce menos mutantes equivalentes, mutantes con mayor potencial de detección de fallos, así como mayor acoplamiento y similitud semántica con fallos reales. GPT-3.5 es el segundo mejor en términos de potencial de detección de fallos, lo que conduce a una detección de 96,7% de fallos en Defects4J y 86,7% en ConDefects. Del resto de las técnicas, Major es el mejor, con el potencial de revelar 91,6% de fallos en Defects4J y 68,9% en ConDefects, indicando una ventaja de aproximadamente 18% para el GPT en ConDefects que es un conjunto de datos nuevo e invisible Otro hallazgo interesante de nuestro análisis se refiere a la diversidad de los mutantes (medidos en términos de tipos de nódulos AST recién introducidos). En particular, nuestros resultados muestran que los GPTs muestran la mayor diversidad, introduciendo recientemente 45 tipos diferentes de nódulos AST, en contraste con sólo 2 utilizados por enfoques tradicionales como Major, y sumando todos los enfoques existentes, indicando una mucho mejor contextualización del enfoque basado en LLM. También analizamos las mutaciones generadas por GPT que no compilan, un problema común con las mutaciones basadas en el aprendizaje, y encontramos que caen en 9 tipos de errores de compilación con el uso de métodos desconocidos y tipos de destrucción estructural de código siendo los más prevalentes. Hemos envuelto nuestro método en una herramienta de mutación llamada , una herramienta de generación de mutaciones basada en LLM para Java. Sobre la base de los datos experimentales, también hemos construido un conjunto de datos que contiene mutantes generados por LLM de alta calidad que pueden ser utilizados no solo en las pruebas de mutaciones, sino también en otras aplicaciones de semilla de errores, como la localización de errores y la predicción de errores. Kumo En resumen, nuestro artículo hace las siguientes contribuciones principales: • Investigamos la aplicabilidad de los LLM en las pruebas de mutación. Realizamos experimentos comparativos extensos y detallados para evaluar los LLM contra las herramientas / métodos existentes. Nuestros hallazgos indican que los modelos GPT sobresalen en la generación de mutaciones que imitan de cerca los errores reales. Comparamos diferentes prompts, y encontramos que el aprendizaje de pocos disparos con el contexto de código adecuado archiva el mejor rendimiento. • Analizamos los tipos de errores de mutaciones no compilables y descubrimos que la invocación del método y la evaluación de los miembros son más propensos a llevar a los LLM a generar mutaciones no compilables. • Construimos un conjunto de datos de alta calidad de mutaciones de Java que incluye mutantes equivalentes analizados manualmente. 
 
 Este artículo está disponible en archivo bajo la licencia CC by 4.0 Deed (Attribution 4.0 International). Este artículo está disponible en archivo bajo la licencia CC by 4.0 Deed (Attribution 4.0 International). Disponible en Archivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Mutation.TECH

Mutation: process of changing in form or nature. We publish the best academic journals & first hand accounts of Mutation

Mutation's Blog

Este audio es producido en el idioma original de la historia!

Mutaciones de código de IA ayudan a los desarrolladores a capturar los errores más rápido

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

El modelo Bitcoin UTXO, impulsando un ecosistema único

Una breve introducción a la teoría del cerebro de Boltzmann

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

El modelo Bitcoin UTXO, impulsando un ecosistema único

Una breve introducción a la teoría del cerebro de Boltzmann

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps