La IA comete errores, al igual que las personas, es por eso que desarrollamos toda una industria de QA para verificar de forma independiente nuestro trabajo, y está prosperando. , impulsado en parte por la necesidad crítica de validar las salidas generadas por IA. 115,4 mil millones de dólares para 2032 Mientras tanto, la automatización del navegador ha surgido como un área central del desarrollo de servicios de IA. Por lo tanto, la idea obvia llega a muchas mentes: ¿por qué no utilizar la automatización del navegador como parte de la codificación asistida por IA, proporcionando a los agentes de codificación un feedback en tiempo real? ¿No haría esto que todo el sistema sea más estable? añadió esta funcionalidad a ChatGPT La idea ¿Qué esperar de los servicios de garantía de calidad impulsados por la IA?El enfoque más razonable proviene de las plataformas de prueba en masa, donde los usuarios reales realizan tareas de prueba.Esta metodología formula los casos de prueba de manera más abstracta y proporciona un feedback más rico más allá de los simples resultados de paso / fracaso.Los equipos obtienen valiosos conocimientos sobre usabilidad, problemas de rendimiento y puntos de dolor genuinos de los usuarios que las pruebas tradicionales a menudo pierden. La IA también puede abordar uno de los desafíos de infraestructura más críticos en el QA moderno: el costo prohibido de mantenimiento. los casos de prueba se vuelven obsoletos, los componentes se mueven y los selectores CSS se muestran inescalables. Además, los agentes de QA pueden ser pilotos laterales en los flujos de trabajo de codificación asistidos por IA, integrados directamente en el ciclo de desarrollo de agentes humanos, compartir el feedback, tomar acciones, desempeñando un papel principal en los llamados " “El enfoque. Cambios de izquierda Por lo tanto, una IA integral debe cumplir con los requisitos generales: 
 
 
 
 
 Los desarrolladores deben ser capaces de completar una implementación de características y solicitar inmediatamente pruebas alimentadas por IA. Desarrollo automático de casos de prueba. la IA debe generar de forma autónoma casos de prueba completos para nuevas características. Estos casos de prueba necesitan opciones de almacenamiento flexibles, ya sea localmente junto a la base de código o remotamente en repositorios en la nube, asegurando que permanezcan accesibles y mantenibles. Ejecución y gestión de pruebas inteligentes El sistema debe manejar la ejecución y gestión de pruebas con actualizaciones automáticas. Idealmente, mantiene el acceso a la base de código y la documentación, lo que le permite actualizar los casos de pruebas de forma dinámica a medida que los requisitos evolucionan. Informes de pruebas deben ir más allá de las simples métricas de paso / fracaso para proporcionar insights actuables en múltiples dimensiones: Análisis de lógica empresarial, evaluación de usabilidad, métricas de rendimiento. A continuación veremos que no existen servicios completos que satisfagan todos los requisitos descritos. Sin embargo, algunas de estas tareas se pueden resolver bastante bien. herramientas de QA están siendo desarrolladas por ambos proveedores de LLM - en particular OpenAI - y startups independientes. También hay una serie de soluciones de código abierto. OpenAI: Agente de uso informático La automatización del navegador ha estado afectando a la compañía de Sam Altman durante bastante tiempo.Hace seis meses, en enero de 2025, se lanzó el agente que puede resolver tareas en la web usando el navegador. y está alimentado por un modelo dedicado basado en GPT-4o - Computer-Using Agent (sí, este es el nombre del modelo, CUA para abreviar). controlado a través de la interfaz de chat. Operador Browsing de la granja La compañía continúa invirtiendo más en Operator, haciendo que sea ampliamente disponible para los usuarios de ChatGPT con suscripciones Pro. OpenAI también hizo claro que están trabajando por sí mismos Se puede especular que la automatización avanzada del navegador será una de sus nuevas características de producto, y ChatGPT puede usarse como un campo de juego para esta tecnología. Navegador basado en Chromium El operador no es una herramienta de QA específicamente, por lo que será difícil hacer que funcione de esa manera a través de la interfaz de chat. OpenAI demuestra cómo se puede hacer con una pequeña herramienta de código abierto llamada . Disponible a través de la API Agente de pruebas Essentially Testing Agent es un CUA con acceso a Playwright y algunas interfaces de usuario básicas en la parte superior. es fácil de lanzar, solo necesitarás la clave de API de OpenAI. Funciona de una manera bastante ingenua.Usted da al agente la tarea de lengua natural, apunta a alguna URL que desee probar, configura con algunos datos de prueba muy limitados, lanza y espera.Entonces crea un plan de prueba según su tarea, inicia el navegador Chrome localmente, toma capturas de pantalla, los intercambia con el modelo CUA de OpenAI, ejecuta acciones que genera LLM. Aunque es sólo una demostración, es extremadamente limitante: 
 
 
 
 
 
 Se controla con una interfaz de usuario muy básica, no un servidor MCP, por lo que no se puede conectar a su editor de código de elección. Es muy lento, principalmente porque espera que el modelo reconozca la captura de pantalla No proporciona ninguna salida legible por máquina No soporta pasar las variables env a la prueba No sigue las instrucciones lo suficientemente bien. Está diseñado básicamente para servir a un caso Dudo que la herramienta de OpenAI pueda ser utilizada para QA a menos que se construya algo bastante sofisticado sobre ella. Y no hay tal servicio en este momento. Esto se aplica tanto a la preparación instantánea como al contrato para la interacción del navegador - las capturas de pantalla por sí solas son claramente insuficientes para evitar de manera efectiva los malentendidos y las alucinaciones. El uso del browser La tarea de una interacción más precisa y controlada entre los navegadores y los LLM está siendo resuelta por el Esta startup californiana cosechó una ronda de semillas de 17 millones de dólares y Y. Desenvolven su propio protocolo de comunicación de navegador-llm basado no en capturas de pantalla, sino en un contexto basado en texto que consiste en elementos interactivos indexados, pestañas abiertas, atributos HTML, parámetros de usuario y muchos más. . El uso del browser Tiene mucha atención latinoamericana Dive en sí mismo El enfoque contextual extendido por sí solo resuelve muchos problemas: 
 
 
 
 
 
 
 , it doesn’t even require vision-LLM to operate Browser Use is LLM-agnostic 
 
  than screenshot-based solutions like Operator It’s more stable and performant 
 
  and accurately, as LLM has better understanding of the environment it operates with It can be prompted more specifically 
 
  with   and hooks it’s easy to build on top of it It’s extendable custom functions Una de las aplicaciones principales del uso del navegador es, por supuesto, el rascado web. Imagina escribir tu código de rascado solo una vez sin preocuparte por el cambio de la marcación del sitio web de destino. Espere, esto es exactamente lo que queremos de la nueva generación de herramientas de QA. Y sí, ya hay un par de ellos que están construidos en la parte superior del uso del navegador. 
 
 Ahora estamos abordando herramientas que pueden ser inestables, y me tomó un tiempo ejecutar algunas de ellas localmente.Dado que todas ellas usan MCP como una interfaz, la mejor herramienta de depuración disponible es el inspector de MCP. Ahora nos estamos acercando a herramientas que pueden ser inestables, y me tomó un tiempo ejecutar algunas de ellas localmente.Dado que todas ellas usan MCP como una interfaz, la mejor herramienta de depuración disponible es la . Inspector de MCP Uso de vibraciones La herramienta de uso infantil de Browser es muy Los usuarios controlan un conjunto muy limitado de parámetros: la URL de la página web que se está probando, el número de agentes que se ejecutan simultáneamente, y el cambio entre los modos sin cabeza / sin cabeza. Instrumentos básicos de MCP La herramienta comienza con el nacimiento de un "agente scout" que identifica los principales elementos interactivos de la página y crea tareas para los agentes de pruebas.Los prompts utilizados son extremadamente abstractos - todas las decisiones sobre la tarea de prueba se dejan al LLM. Las instrucciones de aclaración no son compatibles. A continuación, Vibetest Use distribuye las tareas de prueba a través de los agentes, recopila y resume los informes de pruebas, y proporciona feedback al usuario. Y esto es lo que es. 
 
 
 
 
 Sólo está adaptado para los modelos de la familia Gemini, por lo que necesitará una clave de API de Google para ejecutarlo Ofrece un control muy limitado sobre el proceso de prueba No permite extender los escenarios generados automáticamente Se mantiene mal. Para que funcione, primero tuvimos que corregir problemas de incompatibilidad con la nueva versión de Uso del navegador En general, Vibetest Use es poco probable que sea especialmente útil directamente, pero se podrían construir herramientas similares basadas en ella para tareas específicas dentro de varios procesos de negocio. Otra solución basada en el uso del navegador es “agente de navegador que puede vibe-testar aplicaciones web a través de MCP” de la startup llamada . Operativo Agencia web Eval El nombramiento no es la parte más fuerte de las herramientas de IA en general, y No es una excepción.El producto principal de Operative es el software Lovable-like enfocado en generar aplicaciones basadas en las APIs de la organización interna existentes.Pero sorprendentemente, comenzaron con una herramienta de prueba primero y finalmente se convirtió en parte de su caso de uso principal. Agencia web Eval El Web Eval Agent también está disponible a través del MCP y proporciona alguna funcionalidad sobre el uso del navegador. En primer lugar, como el Operador, viene con una UI conveniente para interactuar con el agente de prueba. A continuación, orquesta y distribuye sus tareas de prueba. Sin embargo, no utiliza ninguna paralización, por lo que terminará con solo un agente / navegador por solicitud. La herramienta luego ejecuta la tarea, recopila capturas de pantalla, registros y errores de red y consola, y finalmente resume todo en un informe de texto.La idea es que puede enviar inmediatamente estos errores de vuelta a su agente de generación de código y cerrar el ciclo. A diferencia de Vibetest Use, Web Eval Agent le permite proporcionar un prompt que utiliza para instruir al agente de prueba y sacar conclusiones de los resultados de la prueba. También hay algunas desventajas - la herramienta sólo funciona con los créditos internos de Operative. Cada finalización de chat consume un crédito, e incluso una prueba básica puede tomar fácilmente 20-30 solicitudes. Pero la principal limitación es que es muy básica en la funcionalidad: sólo proporciona una capa delgada en la parte superior del uso del navegador sin ninguna herramienta QA adicional. Al igual que con Vibetest Use, esta herramienta requeriría una adaptación significativa para un uso eficaz: eliminar el bloqueo del proveedor, enriquecer el contexto con la lógica empresarial necesaria, y formalizar y estructurar la salida. Inicio AI-QA Ninguna de las herramientas mencionadas anteriormente realmente funcionan fuera de la caja, en parte porque son una especie de proyectos secundarios de sus creadores, desarrollados como esfuerzos secundarios para mostrar la tecnología o como intentos experimentales. 
 
 
 
 
 
 
 Spur Momento Doceta Prueba El código de Thunder ...y muchos muchos más La mayoría de estas herramientas van mucho más allá de los simples servidores MCP: son plataformas de pruebas completas similares a BrowserStack y SauceLabs. A diferencia de los generadores de pruebas básicos, estas plataformas manejan todo el ciclo de vida de las pruebas: generan, almacenan y ejecutan pruebas automatizadas. 
 
 
 
 
 
 
  from prompts and product requirements documents (PRDs) Auto-generation of tests 
 
 , where all logic is described with natural language AI-powered test steps 
 
  that simulate different user behaviors and scenarios Auto-healing tests that adapt and fix themselves when applications change Testing personas 
 
  that adapt and fix themselves when applications change Auto-healing tests El flujo de trabajo típico comienza con el análisis asistido por IA de los requisitos del producto, seguido de la creación de casos de prueba a través de la interfaz de la plataforma, ya sea generado automáticamente o construido manualmente por el usuario. Las pruebas resultantes se presentan en dos formatos distintos: ya sea como código generado (como en TestSprite) o abstracto a través de pasos de prueba basados en UI (Thunder Code). Para los enfoques basados en código, los usuarios editan los pasos de prueba directamente a través del editor de código integrado de la plataforma. El valor de estas plataformas radica principalmente en adaptar los LLM a las necesidades de QA. Ya pueden reducir definitivamente el tiempo dedicado al desarrollo y mantenimiento de pruebas automatizadas. Sin embargo, sus problemas también son evidentes: bloqueo de proveedores, altos costos y dificultades con la integración en los flujos de trabajo de desarrollo y la codificación de AI-assistant. Conclusiones A pesar de la clara demanda de soluciones de garantía de calidad impulsadas por la IA, ninguna de las herramientas actuales cumple con los cuatro requisitos descritos.El Agente de prueba de OpenAI es demasiado básico e inflexible, mientras que las herramientas de código abierto como Vibetest Use y Web Eval Agent construidas en Browser Use carecen de la estabilidad y el control necesarios para los flujos de trabajo de producción.Incluso las startups dedicadas a la IA-QA, aunque más completas, sufren de retos de bloqueo y integración de los proveedores que limitan su utilidad en entornos de codificación asistidos por IA. El protocolo basado en texto de Browser Use funciona bien, y ya es posible construir soluciones personalizadas sobre estas herramientas para satisfacer requisitos específicos.

Read My Stories

Este audio es producido en el idioma original de la historia!

La pieza perdida de Vibe-Coding es Vibe-Testing

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps