AutoDev: desarrollo automatizado impulsado por la IA

Los autores: Michele Tufano (Microsoft, Redmond, USA) Anisha Agarwal (Microsoft, Redmond, USA) Jinu Jang (Microsoft, Redmond, USA) Roshanak Zilouchian (Microsoft, Redmond, USA) Neel Sundaresan (Microsoft, Redmond, USA) Los autores: Michele Tufano (Microsoft, Redmond, Estados Unidos de América) Anisha Agarwal (Microsoft, Redmond, Estados Unidos) Jinu Jang (Microsoft, Redmond, Estados Unidos de América) Roshanak Zilouchian (Microsoft, Redmond, Estados Unidos) Neel Sundaresan (Microsoft, Redmond, Estados Unidos de América) Abstracción El paisaje del desarrollo de software ha sido testigo de un cambio de paradigma con el advenimiento de los asistentes alimentados por IA, ejemplificado por GitHub Copilot. Sin embargo, las soluciones existentes no están aprovechando todas las capacidades potenciales disponibles en un IDE como la construcción, el ensayo, la ejecución de código, las operaciones git, etc. Por lo tanto, están restringidos por sus capacidades limitadas, centrándose principalmente en sugerir fragmentos de código y manipulación de archivos dentro de una interfaz basada en chat. Para llenar esta brecha, presentamos AutoDev, un marco de desarrollo de software totalmente automatizado basado en la IA, diseñado para Planificación y ejecución de complejas tareas de ingeniería de software. AutoDev permite a los usuarios definir complejos objetivos de ingeniería de software, que se asignan a los Agentes de IA autónomos de AutoDev para realizar. Estos agentes de IA pueden realizar diversas operaciones en una base de código, incluyendo la edición de archivos, la recuperación, los procesos de construcción, la ejecución, las pruebas y las operaciones de git. También tienen acceso a archivos, la salida del compilador, los registros de construcción y pruebas, herramientas de análisis estático y más. Esto permite a los Agentes de IA ejecutar tareas de forma totalmente automatizada con una comprensión completa de la información contextual requerida. Además, AutoDev establece un entorno de desarrollo seguro al confinar todas las operaciones dentro de los contenedores de Docker. Autónomos En nuestra evaluación, probamos AutoDev en el conjunto de datos de HumanEval, obteniendo resultados prometedores con 91.5% y 87.8% de Pass@1 para la generación de código y generación de pruebas, respectivamente, demostrando su eficacia en la automatización de tareas de ingeniería de software al tiempo que mantiene un entorno de desarrollo seguro y controlado por el usuario. 1 Introducción A medida que los desarrolladores adoptan cada vez más asistentes de IA como ChatGPT para sus tareas de desarrollo, los beneficios de la productividad se vuelven evidentes. los asistentes de codificación de IA han avanzado aún más en entornos de desarrollo integrados (IDEs) como GitHub Copilot. ], donde ofrecen sugerencias de código tanto dentro de las interfaces de chat como directamente en los archivos. 2 Sin embargo, estos asistentes de codificación de IA, a pesar de su integración en las IDE, muestran funcionalidades limitadas y carecen de conciencia contextual. , de A menudo no aprovechan todas las capacidades de IDE como invocar linters, compiladores o ejecutar operaciones de línea de comandos, y, por lo tanto, los desarrolladores todavía necesitan validar manualmente la sintaxis y asegurar la corrección del código generado por IA, ejecutar la base de código e inspeccionar los registros de errores. 3 6 AutoDev abarca esta brecha ofreciendo a los agentes de IA autónomos la capacidad de ejecutar acciones como la edición de archivos, el re-trieval, la construcción, la prueba y los comandos CLI directamente dentro del repositorio para lograr objetivos definidos por el usuario, permitiendo así completar tareas complejas de forma autónoma. AutoDev ofrece las siguientes características clave: (i) la capacidad de rastrear y gestionar las conversaciones entre los usuarios y los agentes de IA a través de una (ii) una biblioteca personalizada de para lograr una variedad de objetivos relacionados con el código y SE, (iii) la capacidad de programar a varios agentes de IA para trabajar colaborativamente hacia un objetivo común a través de un , y (iv) la capacidad de ejecutar código y ejecutar pruebas a través de un . Gerente de conversación herramientas Agente de Calendario Evaluación del entorno Figura ilustra un ejemplo de alto nivel del flujo de trabajo de AutoDev. El usuario define un objetivo (por ejemplo, probar un método específico). El Agente de IA escribe pruebas en un nuevo archivo e inicia el comando de ejecución de pruebas, todo dentro de un entorno de evaluación seguro. La salida de la ejecución de pruebas, incluidos los registros de fallos, se incorpora a la conversión. El agente de IA analiza esta salida, desencadena un comando de recuperación, incorpora la información recuperada al editar el archivo y re-invoca la ejecución de pruebas. 1 En contraste, con los asistentes de codificación de IA existentes integrados en las IDE, los desarrolladores tendrían que ejecutar manualmente las pruebas (por ejemplo, ejecutar pytest), proporcionar registros de fallos a la interfaz de chat de IA, identificar información contextual adicional a incorporar y repetir las acciones de validación para asegurar el éxito de las pruebas después de que la IA genere el código revisado. AutoDev se inspira en el trabajo anterior en el área de los agentes de IA autónomos. Por ejemplo, AutoGen [ ] es un marco que orquesta los flujos de trabajo del modelo de lenguaje y facilita las conversaciones entre varios agentes. AutoDev expande AutoGen al ir más allá de la gestión de conversaciones y permitir que los agentes interactúen directamente con el repositorio de código, ejecutando comandos y acciones de forma autónoma. ], un agente de IA de código abierto para la ejecución autónoma de tareas ofreciendo código y capacidades específicas de IDE para permitir la ejecución de tareas complejas de ingeniería de software. 22 8 En nuestra evaluación, evaluamos las capacidades de AutoDev us-ing el conjunto de datos HumanEval[ ], originalmente diseñado para la generación de código a partir de descripciones de lenguaje natural (docstrings). Adicionalmente, ampliamos la evaluación para incluir la tarea de generación de casos de prueba, mostrando la versatilidad de AutoDev en el manejo de diversos objetivos de ingeniería de software. Los resultados demuestran un rendimiento prometedor, con AutoDev logrando notables puntuaciones de 91.5% y 87.8% para Pass@1 para la generación de código y generación de pruebas respectivamente. Estos resultados subrayan la eficacia de AutoDev en la automatización de tareas de ingeniería de software mientras mantiene un entorno de desarrollo seguro y controlado por el usuario. 5 2 Diseño automático La visión general del diseño se muestra en la FIG. Una vez completadas las configuraciones iniciales, AutoDev organiza sus capacidades en cuatro grupos: un Gerente de conversaciones que rastrea y gestiona las conversaciones entre el usuario y el agente; una biblioteca de herramientas donde una variedad de código y herramientas relacionadas con IDE están disponibles para los agentes; un Planificador de agentes que planifica varios agentes; y un entorno de evaluación que permite las operaciones de ejecución. 2 2.1 Reglas, acciones y configuración de objetivos El usuario inicia el proceso configurando reglas y acciones a través de archivos yaml. Estos archivos definen los comandos disponibles (acciones) que los agentes de IA pueden realizar. Los usuarios pueden aprovechar la configuración predeterminada o los permisos finos al habilitar / desactivar comandos específicos, ajustando AutoDev a sus necesidades específicas. Este paso de configuración permite un control preciso sobre las capacidades de los agentes de IA. En esta etapa el usuario puede definir el número y el comportamiento de los agentes de IA, asignando responsabilidades específicas, permisos y acciones disponibles. Por ejemplo, el usuario podría definir un agente "Developer" y un agente "Reviewer", que trabajan de forma colaborativa hacia un objetivo. Siguiendo las reglas y la configuración de acciones, el usuario especifica la tarea o proceso de ingeniería de software a realizar por AutoDev. Por ejemplo, el usuario puede pedir que genere casos de prueba y asegúrese de que sean sintácticamente correctos, pasen y que no contengan errores (esto implica editar archivos, ejecutar suites de pruebas, ejecutar comprobaciones de sintaxis y herramientas de búsqueda de errores). 2.2 Gerente de conversación El Gerente de Conversación, responsable de la inicialización del historial de conversación, desempeña un papel clave en la supervisión de la gestión de alto nivel de la conversación en curso. Se ocupa de la tarea de decidir cuándo interrumpir el proceso y asegura la comunicación sin problemas entre el usuario, los agentes de IA y el sistema en su conjunto. Mantiene un objeto de conversación que incluye los mensajes de los agentes de IA y el resultado de las acciones del entorno de evaluación. El Parser interpreta las respuestas generadas por los agentes, extrayendo comandos y argumentos en un formato predefinido. Asegura que las instrucciones se formaten correctamente, validando el número y la exactitud de los argumentos (por ejemplo, un comando de edición de archivo requiere el argumento de camino del archivo). En caso de fallos de pars, se inyectan mensajes de error en la conversación, impidiendo nuevas acciones en el repositorio. Los comandos parsados con éxito se analizan más adelante, mediante la aplicación de permisos específicos de agentes y la realización de comprobaciones semánticas adicionales. Asegura que las acciones sugeridas cumplen con los permisos de grano fino especificados por el usuario. 2.2.1 Parser. El módulo Organizador de salida procesa la salida recibida del entorno de evaluación. Selecciona información crucial, como estado o errores, resume opcionalmente el contenido relevante y agrega un mensaje bien estructurado al historial de conversación. Esto asegura que el usuario tenga un registro claro y organizado de las acciones y resultados del Au-toDev. 2.2.2 Output Organizer. Visión general del marco de AutoDev: El usuario inicia el proceso definiendo el objetivo a alcanzar. El Gerente de Conversación inicia la conversación y los ajustes. El Agente Planificador orquestará a los agentes de la IA para colaborar en la tarea y transmite sus comandos al Gerente de Conversación. El Gerente de Conversación analiza estos comandos y invoca la Biblioteca de herramientas, que ofrece varias acciones que se pueden realizar en el repositorio. Las acciones de los agentes se ejecutan en un entorno Docker seguro, y la salida se devuelve al Gerente de Conversación, que la incorpora a la conversación en curso. Este proceso iterativo continúa hasta que la tarea se completa con éxito. Figure 2. Esto puede ocurrir cuando un agente señala la finalización de la tarea (comando stop), la conversación alcanza un número máximo de iteraciones/tokens definido por el usuario, o se detectan problemas en el proceso o dentro del entorno de evaluación. 2.2.3 Conversation Conclusion. 2.3 Calendario de agentes Los agentes, configurados con personas específicas y conjuntos de comandos disponibles, operan colaborativamente para realizar diversas tareas. El programador emplea diversos algoritmos de colaboración, como Round Robin, Token-Based, o Priority-Based, para determinar el orden y la forma en que los agentes contribuyen a la conversación. En concreto, los algoritmos de programación incluyen, pero no están limitados a: (i) la colaboración Round Robin, que invoca cada agente secuencialmente, permitiendo a cada uno ejecutar un número predeterminado de operaciones; (ii) la colaboración basada en token, permitiendo a un agente realizar múltiples operaciones hasta que emita un token significativo de cumplimiento de sus tareas asignadas; (iii) la colaboración basada en prioridades, iniciando a los agentes de acuerdo con su orden Los agentes, que comprenden Grandes Modelos de Lenguaje (LLMs) como OpenAI GPT-4 y Small Language Models (SLMs) optimizados para la generación de código, se comunican a través del lenguaje natural del texto. Estos agentes reciben objetivos y historias de conversación del Agente Planificador, respondiendo con acciones especificadas en la configuración de Reglas y Acciones. Cada agente, con su configuración única, contribuye al progreso general hacia la consecución del objetivo del usuario. 2.3.1 Agents. 2.4 Bibliotecas de herramientas La biblioteca de herramientas dentro de AutoDev proporciona una gama de comandos que permiten a los agentes realizar diversas operaciones en el repositorio. Estos comandos están diseñados para encapsular acciones, herramientas y utilidades complejas detrás de una estructura de comandos sencilla e intuitiva. Por ejemplo, las intricacias relacionadas con la ejecución de build y test se abstraen a través de comandos simples como build y test . • El Esta categoría incluye comandos para editar archivos, incluyendo código, configuración y documentación. Las utilidades dentro de esta categoría, como escribir, editar, insertar y eliminar, ofrecen diferentes niveles de granularidad. Los agentes pueden realizar acciones que van desde escribir archivos enteros hasta modificar líneas específicas dentro de un archivo. , permite al agente reescribir una serie de líneas con nuevo contenido. File Editing - Retrieval: En esta categoría, las utilidades de recuperación van desde herramientas CLI básicas como capturar, encontrar y ls hasta técnicas más sofisticadas basadas en la incorporación. Estas técnicas permiten a los agentes buscar fragmentos de código similares, mejorando su capacidad para recuperar información relevante de la base de código. Por ejemplo, el comando recuperar permite al agente realizar la recuperación basada en la incorporación de fragmentos similares al contenido proporcionado. Construir y ejecutar: Los comandos de esta categoría permiten a los agentes compilar, construir y ejecutar la base de código sin esfuerzo con comandos sencillos e intuitivos. Las intricacias de los comandos de construcción de bajo nivel se abstraen, simplificando el proceso dentro de la infraestructura del entorno de evaluación. Prueba y validación: Estos comandos permiten a los agentes probar la base de código ejecutando un solo caso de prueba, un archivo de prueba específico, o el conjunto completo de pruebas. Los agentes pueden realizar estas acciones sin depender de los comandos de bajo nivel específicos para ciertos marcos de pruebas. Esta categoría también incluye herramientas de validación, como linters y utilidades de detección de errores. Ejemplos de comandos en esta categoría incluyen: la sintaxis que verifica la corrección de la sintaxis, y la prueba que ejecuta toda la suite de pruebas. Git: Los permisos de grano fino para las operaciones de git pueden ser configurados por el usuario. Esto incluye operaciones como comits, push y fusiones. Por ejemplo, a los agentes se les puede conceder permiso para realizar solo comits locales o, si es necesario, hacer cambios en el repositorio de origen. Comunicación: Los agentes pueden invocar un conjunto de comandos destinados a facilitar la comunicación con otros agentes y/o el usuario.Notablemente, el comando de conversación permite enviar mensajes de lenguaje natural (no interpretados como comandos para acciones de repositorio), el comando ask se utiliza para solicitar feedback del usuario, y el comando stop interrumpe el proceso, indicando el logro del objetivo o la incapacidad de los agentes para proceder más adelante. La biblioteca de herramientas de AutoDev proporciona un conjunto versátil y accesible de herramientas para que los agentes de IA interactúen con la base de código y se comuniquen de manera efectiva dentro del entorno de desarrollo colaborativo. 2.5 Medios de evaluación Executando dentro de un contenedor Docker, el Entorno de Evaluación permite la ejecución segura de los comandos de edición de archivos, recuperación, construcción, ejecución y prueba. Abstrae la complejidad de los comandos de bajo nivel, proporcionando una interfaz simplificada para los agentes. El Entorno de Evaluación devuelve la salida / error estándar al módulo Organizador de salida. 2.6 Poniendo todo en común El usuario inicia la conversación especificando el objetivo y los ajustes asociados. El gerente de conversación inicia un objeto de conversación, consolidando mensajes tanto de los agentes de IA como del entorno de evaluación. Posteriormente, el gerente de conversación envía la conversación al agente planificador, responsable de coordinar las acciones de los agentes de IA. En su papel como agentes de IA, los modelos de lenguaje (LM grandes o pequeños) sugieren comandos a través de interacciones textuales. La interfaz de comandos abarca un conjunto diverso de funcionalidades, incluyendo la edición de archivos, la recuperación, la construcción y ejecución, las operaciones de prueba y Git. Estos comandos sugeridos son analizados por el Gerente de conversaciones, que luego los dirige al entorno de evaluación para ejecutarlos en la base de código. La ejecución de estos comandos ocurre dentro de los límites seguros del entorno de evaluación, encapsulado dentro de un contenedor Docker. Después de la ejecución, las acciones resultantes se integran sin problemas en el historial de conversación, contribuyendo a las iteraciones posteriores. Este proceso iterativo persiste hasta que la tarea sea considerada completa por los Agentes, se produzca la intervención del usuario o se alcance el límite máximo de iteración. El diseño de AutoDev garantiza una orquestación sistemática y segura de los agentes de IA para lograr tareas complejas de ingeniería de software de una manera autónoma y controlada por el usuario. 3 Diseño empírico En nuestra evaluación empírica, buscamos evaluar las capacidades y la eficacia de AutoDev en tareas de ingeniería de software, examinando si puede mejorar el rendimiento de un modelo de IA más allá de la simple inferencia. Preguntas de investigación RQ1: ¿Cuán eficaz es AutoDev en la tarea de generación de código? RQ2: ¿Cuán eficaz es AutoDev en la tarea de generación de pruebas? RQ3: ¿Cuán eficiente es AutoDev en la finalización de tareas? RQ1: ¿Qué tan eficaz es AutoDev en la tarea de generación de código? Para abordar el RQ1, evaluamos el rendimiento de AutoDev en una tarea de generación de código utilizando el conjunto de datos de resolución de problemas de HumanEval en Python. Este conjunto de datos incluye 164 problemas de programación escritos a mano, cada uno de los cuales contiene una firma de función, docstring, cuerpo y una media de 7.7 pruebas de unidades. Medimos la eficacia de AutoDev utilizando la métrica Pass@k, donde k representa el número de intentos realizados. Un problema resuelto con éxito se define como aquel en el que Au-toDev genera el código del cuerpo del método, satisfaciendo todas las pruebas escritas por humanos. Un intento corresponde a una conversación completa de AutoDev, que involucra múltiples llamadas de inferencia y pasos. Esto contrasta con otros enfoques, como invocar directamente GPT-4, que normalmente involucra una única llamada de inferencia. Los detalles sobre las llamadas y pasos de inferencia múltiples se exploran más adelante en RQ3. Para esta evaluación, fijamos k = 1, por lo tanto computando Pass@1, considerando sólo el éxito logrado en el primer intento. RQ2: ¿Qué tan eficaz es AutoDev en la tarea de generación de pruebas? Para esta pregunta de investigación, modificamos el conjunto de datos de HumanEval para evaluar las capacidades de AutoDev en la generación de pruebas. Consideramos la solución escrita por el hombre y desechamos las pruebas escritas por el hombre proporcionadas. AutoDev está instruido a generar casos de pruebas para el método focal y se evalúa basándose en el éxito de las pruebas, la invocación del método focal y la cobertura de las pruebas. Informamos a Pass@1, considerando que las pruebas son exitosas si pasan y invocan el método focal. RQ3: ¿Qué tan eficiente es AutoDev para completar tareas? En esta pregunta de investigación, investigamos la eficiencia de AutoDev en completar tareas SE. Analizamos el número de pasos o llamadas de inferencia necesarias, la distribución de comandos utilizados (por ejemplo, escribir, probar) y el número total de tokens utilizados en la conversación. AutoDev Settings Para esta evaluación, AutoDev mantiene ajustes consistentes con un agente basado en el modelo GPT-4 (gpt-4-1106-preview). Las acciones habilitadas incluyen la edición de archivos, la recuperación y la prueba. El único comando de comunicación disponible es el comando stop, indicando la finalización de la tarea. Otros comandos, como ask, están deshabilitados, requiriendo que AutoDev funcione de forma autónoma sin retroalimentación o intervención humana más allá de la configuración inicial de objetivos. 4 Resultados empíricos RQ1: ¿Qué tan eficaz es AutoDev en una tarea de generación de código? Mesa muestra los resultados para RQ1, comparando AutoDev contra dos enfoques alternativos y la línea de partida de cero disparos. La tabla incluye información sobre el modelo que alimenta cada enfoque, la necesidad de entrenamiento adicional y la métrica Pass@1. 1 Comparamos AutoDev con Language Agent Tree Search (LATS) y Reflexion, dos enfoques líderes en el ranking Hu-manEval a partir de marzo de 2024 [ ]. Los resultados para la línea de base de tiro cero (GPT-4) se toman del informe técnico OpenAI GPT-4 [ En el caso de los que se encuentran en la parte superior de la cabeza y en la parte superior de la cabeza.   1 11 1 Lenguaje de agente árbol de búsqueda (LATS) [ ] es un marco versátil que utiliza Grandes Modelos de Idiomas (LLM) para la planificación, la acción y el razonamiento. Inspirado en la búsqueda del árbol de Monte Carlo, LATS emplea LLMs como agentes, funciones de valor y optimizadores, reemplazando sus capacidades para una mejor toma de decisiones. 23 Reflexiones [ ] introduce un marco único para reforzar a los agentes del lenguaje a través de la retroalimentación lingüística sin actualizaciones de peso.Los agentes de Reflexión reflexionan verbalmente sobre las señales de retroalimentación de tareas, manteniendo su texto reflexivo en un buffer de memoria episódica para mejorar la toma de decisiones. 17 Mesa Indica que AutoDev alcanza una tasa de Pass@1 del 91.5%, asegurando la segunda mejor posición en la tabla de liderazgo de HumanEval. Notablemente, este resultado se obtiene sin datos de formación adicionales, lo que distingue a AutoDev de LATS, que alcanza el 94,4%. Además, el marco de AutoDev mejora el rendimiento de GPT-4 del 67% al 91.5%, marcando una mejora relativa del 30%. 1 Estos resultados subrayan la capacidad de AutoDev para mejorar significativamente el rendimiento de los LLM en la finalización de tareas de ingeniería de software. sin embargo, vale la pena señalar que la eficacia de AutoDev puede implicar múltiples llamadas y pasos de inferencia, ya que profundizamos en más detalles en el RQ3. RQ2: ¿Qué tan eficaz es AutoDev en la tarea de generación de pruebas? Mesa presenta los resultados para RQ2, comparando AutoDev con el GPT-4 de disparo cero (baseline) y pruebas escritas por el hombre en la tarea de generación de pruebas. Como OpenAI no ha evaluado GPT-4 en la tarea de generación de pruebas, hemos obtenido los resultados de GPT-4 de disparo cero invocando la inferencia con la instrucción en el mismo modelo GPT-4 utilizado para AutoDev. 2 AutoDev consiguió una puntuación de Pass@1 del 87,8% en el conjunto de datos HumanEval modificado para la tarea de generación de pruebas, mostrando una mejora relativa del 17% en comparación con la línea de base que utiliza el mismo modelo GPT-4. En este sentido, AutoDev alcanza una cobertura del 88,8% sobre el conjunto completo de datos de los métodos focales. 2 Estos resultados confirman la destreza de AutoDev en abordar diversas tareas de ingeniería de software. RQ3: ¿Qué tan eficiente es AutoDev para completar tareas? Figura ilustra el número cumulativo de comandos utilizados por AutoDev para las tareas de Generación de Código y Generación de Pruebas, teniendo en cuenta el número medio de comandos utilizados para evaluar cada problema de HumanEval en RQ1 y RQ2. 3 Para Code Generation, AutoDev ejecutó una media de 5.5 comandos, que incluyen 1.8 operaciones de escritura, 1.7 operaciones de prueba, 0.92 operaciones de parada (indicando la finalización de la tarea), 0.25 comandos incorrectos, junto con mínima recuperación (grep, find, cat), operaciones de verificación de sintaxis y comandos de comunicación de habla. En el caso de Test Generation, el número promedio de comandos se alinea con la tarea de Code Generation. Sin embargo, Test Generation implica más operaciones de recuperación y una incidencia aumentada de operaciones incorrectas, resultando en un promedio total de 6,5 comandos por cada ejecución. Clasificamos un comando como incorrecto si se refiere a un comando que no está disponible o no se puede analizar (por ejemplo, la formatación incorrecta o el número de parámetros).Los comandos incorrectos más comunes involucran a los agentes de la IA que mezclan el lenguaje natural con código o comandos. Mientras que AutoDev incurre en más llamadas de inferencia en comparación con los enfoques que generan código candidato en una única llamada, es esencial notar que AutoDev también realiza operaciones de prueba y validación, tareas normalmente ejecutadas por los desarrolladores para validar los candidatos generados. Además, AutoDev a menudo comunica la finalización de tareas a través de comandos de conversación, proporcionando insights e interpretabilidad de la solución. Otro comando de comunicación notable que contribuye al conteo general es el comando de parada. Esto representa una llamada de inferencia relativamente barata, generando solo un token. La duración promedio de las conversaciones de AutoDev para resolver cada problema de HumanEval en RQ1 y RQ2 es de 1656 y 1863 tokens, respectivamente. Esto incluye el objetivo del usuario, los mensajes del agente de IA y las respuestas del entorno de evaluación. En comparación, el GPT-4 (baseline) de tiro cero utiliza 200 tokens (estimado) para la generación de código y 373 tokens para la generación de pruebas, en promedio, para cada tarea. Por último, AutoDev incurre en los costes de ejecución relacionados con la orquestación de los Agentes de IA, la gestión de las conversaciones y la ejecución de comandos dentro de un entorno Docker.En particular, el entorno de evaluación basado en Docker representa el mayor coste de ejecución, mostrando un sobrepeso mayor en comparación con los comandos directos de CLI dentro del entorno del usuario. 5 Discusión 5.1 Autodev en acción Figuras (Part I) and (Parte II) proporcionar una visión de Au-toDev en acción durante una tarea de generación de prueba, con algunas interacciones resumidas o omitidas por brevedad. , hemos establecido el objetivo para que AutoDev genere los casos de prueba más satisfactorios siguiendo un formato específico. El agente de AutoDev inicia el comando escribir-nuevo, proporcionando el filepath y el contenido del archivo de prueba. AutoDev ejecuta la operación, confirmando la escritura de contenido exitosa al agente. Posteriormente, el agente de AutoDev desencadena la operación de prueba, y AutoDev ejecuta la prueba dentro de su entorno Docker seguro, presentando el informe de ejecución de la prueba JSON (resumido en la figura para brevidad). 4 5 4 El agente de AutoDev identifica un error en la salida más pequeña, reconociendo que se necesita una corrección para alinear la prueba con el comportamiento esperado de la función. Continuando en la figura , el agente de AutoDev emite el comando de escritura, especificando el filepath y el rango de números de línea (5-5) para reescribir la declaración de afirmación incorrecta. Después de esto, el agente de AutoDev procede con la ejecución de prueba, que ahora tiene éxito. 5 Este ejemplo destaca la capacidad de AutoDev para autoevaluar su código generado y abordar los errores dentro de su propia salida.Además, demuestra cómo AutoDev facilita la comprensión del usuario de las acciones de agentes, permitiendo a los agentes comunicarse durante la tarea. 5.2 Colaboración multi-agente AutoDev soporta la colaboración multiagente en tareas, orquestada por el Agente Scheduler. En nuestra evaluación, dada la relativa simplicidad del conjunto de datos HumanEval, limitamos nuestra configuración a un único agente GPT-4 para las tareas. Sin embargo, los resultados preliminares indican el impacto positivo de la colaboración multiagente en tareas más complejas. Experimentando con un desarrollador de IA y un revisor de IA, cada uno con responsabilidades distintas y acciones disponibles, colaborando en la corrección de un error complejo reveló interacciones interesantes. Nuestros planes futuros implican ampliar las evaluaciones para incorporar escenarios más complejos donde la colaboración de varios agentes puede mejorar significativamente el rendimiento de AutoDev. 5.3 El hombre en el camino AutoDev permite a los agentes de la IA comunicar el progreso de las tareas o solicitar el feedback humano utilizando los comandos de conversación y pregunta, respectivamente.Anecdotalmente, estos comandos han demostrado ser útiles para los desarrolladores que usan AutoDev para comprender las intenciones del agente y obtener información sobre el plan del agente.La adición del comando de pregunta fue en respuesta directa a la solicitud de un desarrollador durante nuestro estudio piloto, donde querían la capacidad de proporcionar feedback cuando los agentes parecían inseguros acerca de las siguientes acciones. Nuestros planes futuros implican una integración más profunda de los humanos dentro del ciclo de AutoDev, permitiendo a los usuarios interrumpir a los agentes y proporcionar un feedback inmediato. 5.4 Integración automática Nuestro estudio piloto involucró a desarrolladores usando AutoDev como un comando CLI, con la conversación disponible para la observación dentro del IDE de VSCode. Avanzando hacia adelante, nuestro objetivo es integrar AutoDev en las IDEs, crear una experiencia de chatbot e incorporarla a las pipelines CI/CD y a las plataformas de revisión de relaciones públicas.Visamos a los desarrolladores asignando tareas y problemas a AutoDev, revisando los resultados dentro de un sistema de relaciones públicas y simplificando aún más el flujo de trabajo de desarrollo de software. 6 Trabajo relacionado Nuestro trabajo se basa en un extenso cuerpo de literatura que aplica la IA a diversas tareas de Ingeniería de Software.En esta sección, exploramos los desarrollos recientes y contextualizamos AutoDev dentro de este rico paisaje de investigación. 6.1 AI en ingeniería de software La integración de la IA, en particular los Grandes Modelos de Lenguaje (LLMs), en la ingeniería de software ha sido testigo de un progreso sustancial. En el caso de la instrucción [ ], y el GPT-4 [ ] han aprovechado la arquitectura Transformer [ ] para comprender y generar no sólo el lenguaje natural, sino también el código fuente.Los enormes tamaños de parámetros de los LLM, como los de Gropher [ ] y Megatron-Turing NLG [ ], y el GPT-4 [ ] permitió que estos modelos de IA logren un rendimiento impresionante en diversas tareas. 7 14 13 20 15 18 13 A medida que las prácticas de desarrollo de software continúan evolucionando, la integración de tecnologías de vanguardia se vuelve primordial para mejorar la productividad de los desarrolladores. Entre los avances notables, la utilización de LLMs dentro de entornos de desarrollo integrado (IDEs) ha atraído una atención significativa [ , ]. LLM, incluyendo modelos prominentes como el GPT-3.5 de OpenAI [ ] y GPT-4 [ ], así como robustos modelos de código abierto como Code Llama [ ], exhiben el potencial de actuar como asistentes de programación inteligentes. 5 4 10 12 13 16 En este artículo, presentamos AutoDev, un marco integral para tareas de ingeniería de software autónomas dentro de un entorno de desarrollo seguro. AutoDev se extiende más allá de las obras existentes al proporcionar una biblioteca de herramientas versátiles, capacitando a los agentes de IA para realizar tareas complejas de forma autónoma, como la edición de código, la prueba e integración. AutoDev también es LLM-agnostic, con una infraestructura que permite a un conjunto diverso de modelos de IA, con diferentes tamaños de parámetros y arquitecturas, colaborar en una tarea dada. 6.2 Evaluación de LLMs en Ingeniería de Software La evaluación de los LLM para tareas de ingeniería de software plantea retos únicos. las métricas tradicionales basadas en el lenguaje, como BLEU, han sido el foco de la investigación anterior, con evaluaciones realizadas en conjuntos de datos estáticos como GLUE [ ] y BIGBench [ Sin embargo, estas métricas a menudo faltan en la captura de aspectos esenciales de programación como la corrección de la sintaxis y las métricas basadas en la ejecución como la construcción y la prueba. 21 19 Codificación [ ] has addressed these limitations by providing a comprehensive evaluation platform for LLMs in software engineering. It offers a diverse benchmark dataset along with baseline models like CodeBERT and CodeGPT. 9 La humanidad [ ] contribuye al campo al centrarse en la corrección funcional de los LLM, introduciendo un conjunto de datos de referencia de problemas de programación escritos a mano en Python. 5 [ ] builds upon prior works in the literature, aiming to enhance their contributions. Similar to HumanEval, the Copilot Evaluation Harness incorporates considerations of code execution, but extending the spectrum of software engineering tasks (code, test, and documentation generation, workspace understanding and query resolution) as well as increasing the metrics used for evaluation. This evaluation harness also encompasses large and real-world codebases. 3 Mientras que nuestra evaluación actual se basa en HumanEval para evaluar la eficacia de AutoDev en dos tareas de codificación, nuestro trabajo futuro tiene como objetivo extender esta evaluación a conjuntos de datos más desafiantes y del mundo real, como los ofrecidos por la Harness de Evaluación de Copilot. 6.3 AI en Interacciones de Ingeniería de Software Mientras que los trabajos anteriores han explorado la intersección de la IA y la ingeniería de software, pocos han profundizado en la programación guiada por IA dentro de las interacciones de IDE. AutoDev, como se introduce en este artículo, se inspira en los trabajos existentes en la literatura al tiempo que refuerza sus contribuciones. ], LATS (Language Agent Tree Search)[ La reflexión y la reflexión ], cada uno presentando enfoques únicos a las tareas impulsadas por la IA. 8 23 17 Automóviles GPT [ El bot de acompañamiento utiliza GPT-3.5 y GPT-4, junto con varios programas, para ejecutar los pasos necesarios para alcanzar los objetivos. 8 Lanzamiento [ ] , por otro lado, es un marco general que sinergiza las capacidades de los LLM en la planificación, la acción y el razonamiento. Inspirado por la búsqueda del árbol de Monte Carlo, comúnmente utilizado en el aprendizaje de refuerzo basado en modelos, LATS emplea a los LLM como agentes, funciones de valor y optimizadores, mejorando la toma de decisiones. 23 Reflexiones [ ] introduce un nuevo marco para reforzar los agentes del lenguaje a través de la retroalimentación lingüística.Los agentes de reflexión reflejan verbalmente las señales de retroalimentación de tareas, manteniendo su texto reflectante en un buffer de memoria episódica para mejorar la toma de decisiones.Este marco flexible incorpora varios tipos y fuentes de señales de retroalimentación y muestra mejoras significativas sobre los agentes de base en diversas tareas, incluyendo la toma de decisiones secuenciales, la codificación y el razonamiento del lenguaje. 17 AutoDev se especializa en estas ideas para el ámbito de la ingeniería de software, ofreciendo un marco flexible que permite a los agentes de IA completar tareas SE complejas en plena autonomía. Nuestro trabajo tiene como objetivo cerrar la brecha entre las prácticas tradicionales de ingeniería de software y la automatización impulsada por la IA, facilitando los esfuerzos de colaboración entre los desarrolladores y los agentes de IA. Al introducir una biblioteca de herramientas versátiles, AutoDev habilita a los agentes de IA para realizar tareas complejas de forma autónoma, proporcionando un avance prometedor en el paisaje del desarrollo de software asistido por IA. 7 Conclusión In this paper, we introduced AutoDev, a framework enabling AI Agents to autonomously interact with repositories, perform actions, and tackle complex software engineering tasks. We’ve shifted the responsibility of extracting relevant context for software engineering tasks and validating AI-generated code from users (mainly developers) to the AI agents themselves. Agents are now empowered to retrieve context through Retrieval actions and validate their code generation through Build, Execution, Testing, and Validation actions. El papel del desarrollador dentro del marco de AutoDev se transforma de las acciones manuales y la validación de las sugerencias de IA a un supervisor que supervisa la colaboración de múltiples agentes en tareas, con la opción de proporcionar feedback. Our evaluation on the HumanEval dataset for code and test generation showcased impressive results, achieving a Pass@1 score of 91.5 for code generation—a second-best result on the leaderboard at the time of writing, and the best among approaches requiring no extra training data. AutoDev also excelled in test generation with a Pass@1 score of 87.8%, achieving a 99.3% coverage from passing tests. Mirando hacia adelante, nuestro objetivo para el trabajo futuro es integrar AutoDev en las IDEs como una experiencia de chatbot e incorporarlo a las pipelines CI/CD y a las plataformas de revisión de relaciones públicas. Referencias [1] Generación de códigos sobre humaneval - estado-de-arte. Acceso: 2024-02-27. hnps en el paperswithcode.com/sota/code-generation-on-humaneval, GitHub copilot: tu pareja de programadores. 2024. hNps://github.com/funciones/ El copiloto, [3] Agarwal, A., Chan, A., Chandel, S., Jang, J., Miller, S., Moghad-dam, R. Z., Mohylevskyy, Y., Sundaresan, N., y Tufano, M. Harness de evaluación de Copi-lot: Evaluar la programación de software guiada por llm, 2024. [4] Chen, B., Mustakin, N., Hoang, A., Fuad, S., y Wong, D. Vscuda: extensión de cuda basada en Llm para código de estudio visual. (Nueva York, NY, Estados Unidos, 2023), SC-W ’23, Association for Computing Machinery, p. Proceedings of the SC ’23 Workshops of the International Conference on High Performance Computing, Network, Storage, and Analysis (Procedimientos de los talleres de SC ’23 de la Conferencia Internacional sobre Computación de Alto Rendimiento, Red, Almacenamiento y Análisis) [5] Chen, M., Tworek, J., Jun, H., Yuan, Q., de Oliveira Pinto, H. P., et al. Evaluar grandes modelos de lenguaje entrenados en código. [6] Ding, Y., Wang, Z., Ahmad, W., Ding, H., Tan, M., Jain, N., Ra-manathan, M. K., Nallapati, R., Bhatia, P., Roth, D., et al. Cross-codeeval: Un benchmark diverso y multilingüe para la completación de código de archivos cruzados. y 2024). Advances in Neural Information Processing Systems 36 [7] Floridi, L., y Chiriatti, M. Gpt-3: Su naturaleza, alcance, límites y consecuencias. (2020), entre los años 681 y 694. Mentes y máquinas 30 [8] Gravitas y S. Autogpt. 2024 en el repositorio GitHub. hNps://github.com/Significant-Gravitas/ El Autogiro, [9] Lu, S., Guo, D., Ren, S., Huang, J., Svyatkovskiy, A., Blanco, A., Clement, C., Drain, D., Jiang, D., Tang, D., Li, G., Zhou, L., Shou, L., Zhou, L., Tufano, M., Gong, M., Zhou, M., Duan, N., Sundaresan, N., Deng, S. K., Fu, S., y Liu, S. Codexglue: Un conjunto de datos de referencia de aprendizaje automático para la comprensión y generación de código, 2021. [10] Nam, D., Macvean, A., Hellendoorn, V., Vasilescu, B., y Myers, B. Soporte de información basado en la generación in-ide con un modelo de lenguaje grande, 2023. [11] FedAI, :, Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F. L., Almeida, D., Altenschmidt, J., Goonti, S., Anadkat, S., Avila, R., Babuschkin, I., Boyd, M., Cum-man, A.-L., Brockman, G., Baltescu, T., Brundage, M., Belgum, M., Button, K., Cai, T., Berdine, R., Cann, A., Fulyiro, G., Berner, C., Bogdonoff, L., Chan, B., Chang, C., Chang, Chantz, F., Degen, Chen, D., Brockman, Chen, G., Brooks, T., Brundage, M., J., Button, K., Cai, Grafstein, M., Gray, S., Greene, R., Gross, J., Gu, S. S., Guo, Y., Hallacy, C., Han, J., Harris, J., He, Y., Heaton, M., Heidecke, J., Hesse, C., Hickey, A., Hickey, W., Hoeschele, P., Houghton, B., Hsu, K., Hu, S., Hu, X., Huizinga, J., Jain, S., Jain, S., Jang, J., Jiang, A., Jiang, R., Jin, H., Jin, D., Jomoto, S., Jonn, B., Jun, H., Kaftan, T., Łukasz Kaiser, Kamali, A., Kanitscheider, I., Keskar, N. S., Khan, T., Kilpatrick, L., Kim, J. W., Kim, C., Kim, Y., Kirchner, J. H., Kiros, J., Knight, M., Kokotajlo, D., Łukasz Kondraciuk, Kondrich, A., Konstantinidis, A., Kosic, K., Krueger, G., Kuo, V., Lampe, M., Lan, I., Lee, T., Leike, J., Leung, J., Levy, D., Li, C. M., Lim, R., Lin, M., Lin, S., Litwin, M., Lopez, T., Lowe, R., Lue, P., Makanju, A., Mal-facini, K., Manning, S., Markov, T., Markovski, Y., Martin, B., Mayer, K., Mayne, A., McGrew, B., McKinney, S. M., McLeavey, C., McMillan, O., Mély, D., Nair, A., Medina, D., Mehta, A., Menick, J., Metz, L., Mishchenko, A., Mishkin, P., Monaco, V., Morikawa, E., Poking, D., Mu, T., Murati, M., Murk, O., Mély, D., Nair, A., Nakano, R., Mehta, R., Neelak, A., Ngo, R., Noh, A., Weihang, J., Ramesh, A., Raymond, C., Real, F., Rimbach, K., Ross, C., Rotsted, B., Roussez, H., Ryder, N., Saltarelli, M., Sanders, Xu, S., Santurkar, S., Sastry, G., Schmidt, K., Sohl, I., Sokolowsky, B., Song, Y., Schulman, J., Staudacher, N., Such, F. P., Summers, N., Sutieh, I., Shoker, S., J., Temba, Yoo Tezak, N., Sidor, S., Sigler, E., Simens, M., Sitkin, J., Slama, K., Sohl, I., Sokolowsky, B., Song, Y., Selsam, D., Sheppard, N., Such, F. P., [12] OpenAI. modelos Gpt 3.5 en 2023. [13] OpenAI. informe técnico Gpt-4, 2023. [14] Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., et al. Formación de modelos de lan-guage para seguir instrucciones con retroalimentación humana. (2022), 27730 a 27744. Avances en los sistemas de procesamiento de información neuronal 35 [15] Rae, J. W., Borgeaud, S., Cai, T., Millican, K., and Others. Scaling language models: Methods, analysis & insights from training gopher, 2022. [16] Roziere, B., Gehring, J., Gloeckle, F., Sootla, S., Gat, I., Tan, X. E., Adi, Y., Liu, J., Remez, T., Rapin, J., et al. Código llama: modelos de fundación abierta para el código. (2023). arXiv preprint arXiv:2308.12950 [17] Shinn, N., Cassano, F., Berman, E., Gopinath, A., Narasimhan, K., y Yao, S. Reflexión: Agentes de lenguaje con aprendizaje de refuerzo verbal, 2023. [18] Smith, S., Patwary, M., Norick, B., LeGresley, P., Rajbhandari, S., Casper, J., Liu, Z., Prabhumoye, S., Zerveas, G., Korthikanti, V., Zhang, E., Child, R., Aminabadi, R. Y., Bernauer, J., Song, X., Shoeybi, M., He, Y., Houston, M., Tiwary, S., y Catanzaro, B. Usando profundidad y megatron para entrenar megatron-turing nlg 530b, un modelo de lenguaje generativo a gran escala, 2022. [19] Srivastava, A., Rastogi, A., Rao, A., Shoeb, A. A. M., et al. Más allá del juego de imitación: Cuantificar y extrapolar las capacidades de los modelos de lenguaje, 2023. [20] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, Ł., y Polosukhin, I. La atención es todo lo que necesitas. (2017) por Avances en los sistemas neuronales de procesamiento de información 30 [21] Wang, A., Singh, A., Michael, J., Hill, F., Levy, O., y Bowman, S. R. Glue: Una plataforma de referencia y análisis multi-task para la comprensión del lenguaje natural, 2019. [22] Wu, Q., Bansal, G., Zhang, J., Wu, Y., Li, B., Zhu, E., Jiang, L., Zhang, X., Zhang, S., Liu, J., Awadallah, A. H., White, R. W., Burger, D., y Wang, C. Autogen: habilitar aplicaciones llm de próxima generación a través de conversación multiagente, 2023. [23] Zhou, A., Yan, K., Shlapentokh-Rothman, M., Wang, H., y Wang, Y.-X. La búsqueda del árbol del agente del lenguaje unifica el razonamiento y la planificación en los modelos del lenguaje, 2023. Este artículo está disponible en archivo bajo la licencia CC by 4.0 Deed (Attribution 4.0 International). Este artículo está disponible en archivo bajo la licencia CC by 4.0 Deed (Attribution 4.0 International).