Igual que les persones, per això hem desenvolupat tota una indústria de QA per verificar de forma independent el nostre treball, i està prosperant. , impulsat en part per la necessitat crítica de validar les sortides generades per la IA. 115,4 mil milions de dòlars el 2032 Mentrestant, l'automatització del navegador ha emergit com una àrea central del desenvolupament de serveis d'IA. Per tant, la idea òbvia arriba a moltes ments: per què no utilitzar l'automatització del navegador com a part de la codificació assistida per la IA, proporcionant als agents de codificació feedback en temps real? ¿No faria que tot el sistema fos més estable? afegir aquesta funcionalitat a ChatGPT La idea Què s'espera dels serveis d'assegurament de qualitat alimentats per la IA? L'enfocament més raonable prové de les plataformes de proves a la multitud, on els usuaris reals realitzen tasques de proves. Aquesta metodologia formula casos de proves de manera més abstracta i proporciona un feedback més ric més enllà dels simples resultats de pas / fracàs. Els equips obtenen insights valuosos sobre la usabilitat, els problemes de rendiment i els punts de dolor dels usuaris genuïns que les proves tradicionals sovint ometen. IA també pot abordar un dels desafiaments d'infraestructura més crítics en QA modern: el cost prohibitiu de manteniment. casos de proves es tornen obsolets, components es desplacen, i els selectors de CSS es mostren incalculables. manteniment de QA es converteix en una càrrega separada que els equips sovint deixen de banda. A més, els agents de QA poden ser col·laboradors en fluxos de treball de codificació assistida per IA, integrats directament en el cicle de desenvolupament d'agents humans, compartint el feedback, prenent accions, jugant un paper principal en l'anomenat " “Un enfocament Canvi d'esquerra Per tant, una IA integral ha de complir els requisits generals: 
 
 
 
 
 Els desenvolupadors haurien de poder completar una implementació de característiques i sol·licitar immediatament proves alimentades per IA. Desenvolupament automatitzat de casos de proves. L'IA hauria de generar de manera autònoma casos de proves complets per a noves característiques. Aquests casos de proves necessiten opcions d'emmagatzematge flexibles, ja sigui localment al costat de la base de codi o remotament en els repositoris en el núvol, assegurant que continuïn sent accessibles i mantenibles. Execució i gestió de proves intel·ligents. El sistema hauria de gestionar l'execució i la gestió de proves amb actualitzacions automàtiques. Idealment, manté l'accés tant a la base de codi com a la documentació, permetent actualitzar casos de proves dinàmicament a mesura que els requisits evolucionen. Els informes de proves han d'anar més enllà de les simples mètriques de pas / fracàs per proporcionar una visió accionable a través de múltiples dimensions: Anàlisi de lògica empresarial, avaluació d'usabilitat, mètriques de rendiment. A continuació veurem que els serveis complets que satisfan tots els requisits descrits no existeixen. No obstant això, algunes d'aquestes tasques es poden resoldre bastant bé. eines de QA estan sent desenvolupats per tots dos proveïdors de LLM - particularment OpenAI - i startups independents. OpenAI: Agent d'ús informàtic L'automatització del navegador ha estat relacionada amb l'empresa de Sam Altman durant molt de temps. Fa sis mesos, al gener de 2025, es va llançar l'agent que pot resoldre tasques a la web utilitzant el navegador. i està alimentat per un model dedicat basat en GPT-4o - Agent d'ús informàtic (sí, aquest és el nom del model, CUA per curt). , controlat a través de la interfície de xat. Operador Farmàcia de navegadors La companyia continua invertint més en Operator, fent-lo àmpliament disponible per als usuaris de ChatGPT amb subscripcions Pro. Es pot especular que l'automatització avançada del navegador serà una de les seves noves característiques del producte, i ChatGPT es pot utilitzar com un terreny de joc per a aquesta tecnologia. Navegador basat en Chromium L'operador no és una eina de QA específicament, de manera que serà difícil fer que funcioni d'aquesta manera a través de la interfície de xat. OpenAI demostra com es pot fer amb una petita eina de codi obert . Disponible a través de la API Agència de proves Essentially Testing Agent és un CUA amb accés a Playwright i alguna interfície d'usuari bàsica a la part superior. És fàcil de llançar, només necessitaràs la clau API d'OpenAI. Funciona d'una manera bastant ingenu.Doneu a l'agent la tasca de llenguatge natural, apunteu-la a alguna URL que voleu provar, configureu-la amb algunes dades de prova molt limitades, llanceu-la i espereu.A continuació, crea un pla de proves segons la vostra tasca, inicia el navegador Chrome localment, pren captures de pantalla, intercanvia-les amb el model CUA d'OpenAI, executa accions que genera LLM. Tot i que només és una demostració, és extremadament limitant: 
 
 
 
 
 
 Es controla amb una interfície d'usuari molt bàsica, no un servidor MCP, de manera que no es pot connectar a l'editor de codi de la seva elecció És molt lent, principalment perquè espera que el model reconegui la captura de pantalla No proporciona cap sortida llegible per màquina No és compatible amb el pas de variables env per a la prova No segueix les instruccions prou bé. està dissenyat bàsicament per servir un cas Dubto que l'eina d'OpenAI es pugui utilitzar per a QA a menys que es construeixi alguna cosa bastant sofisticada sobre ella. I no hi ha aquest servei en aquest moment. Això s'aplica tant a la preparació ràpida com al contracte per a la interacció del navegador - les captures de pantalla per si soles són clarament insuficients per evitar efectivament malentesos i al·lucinacions. El navegador utilitza La tasca d'una interacció més precisa i controlada entre els navegadors i els LLM està sent resolta per la Aquesta startup de Califòrnia va recollir una ronda de llavors de 17 milions de dòlars i Desenvolupen el seu propi protocol de comunicació navegador-llm basat no en captures de pantalla, sinó en un context basat en text que consisteix en elements interactius indexats, fitxes obertes, atributs HTML, paràmetres d'usuari i molts més. . El navegador utilitza Molta atenció a la Llatina Submergeix-te en ella mateixa L'enfocament contextal ampliat per si sol resoldre molts problemes: 
 
 
 
 
 
 
 , it doesn’t even require vision-LLM to operate Browser Use is LLM-agnostic 
 
  than screenshot-based solutions like Operator It’s more stable and performant 
 
  and accurately, as LLM has better understanding of the environment it operates with It can be prompted more specifically 
 
  with   and hooks it’s easy to build on top of it It’s extendable custom functions Una de les aplicacions principals de l'ús del navegador és, per descomptat, el raspat web. Imagineu-vos escriure el codi de raspat només una vegada sense preocupar-vos del canvi de marcació del lloc web objectiu. Espereu, això és exactament el que volem de la nova generació d'eines de QA. I sí, ja hi ha un parell d'ells que es construeixen a la part superior de l'ús del navegador. 
 
 Ara estem acostant-nos a eines que poden ser inestables, i em va trigar un temps a executar algunes d'elles localment. Atès que totes utilitzen MCP com a interfície, la millor eina de depuració disponible és l'inspector de MCP. Ara estem acostant-nos a eines que poden ser inestables, i em va trigar un temps a executar algunes d'elles localment. Atès que totes utilitzen MCP com a interfície, la millor eina de depuració disponible és la . Inspecció MCP Utilització de vibracions L’eina infantil del navegador és molt Els usuaris controlen un conjunt molt limitat de paràmetres: l'URL de la pàgina web que s'està provant, el nombre d'agents que s'executen simultàniament i el canvi entre els modes sense cap / sense cap. Instruments bàsics de MCP L'eina comença per engendrar un "agent scout" que identifica els principals elements interactius de la pàgina i crea tasques per als agents de proves. Els consells utilitzats són extremadament abstractes - totes les decisions sobre la tasca de proves es deixen al LLM. A continuació, Vibetest Use distribueix tasques de proves a través d'agents, recull i resumeix informes de proves, i proporciona feedback a l'usuari. 
 
 
 
 
 Només està adaptat per a models de la família Gemini, de manera que necessitaràs una clau d'API de Google per executar-la Ofereix un control molt limitat sobre el procés de proves No permet l'extensió dels escenaris generats automàticament Per fer-ho funcionar, primer vam haver de corregir problemes d'incompatibilitat amb la nova versió de l'ús del navegador En general, Vibetest Use és poc probable que sigui especialment útil directament, però es podrien construir eines similars sobre la base d'ella per a tasques específiques dins de diversos processos de negoci. Una altra solució basada en l'ús del navegador és "l'agent del navegador que pot vibe-testar aplicacions web a través de MCP" de la startup anomenada . Operació Web de l'agent Eval El nomenament no és la part més forta de l'eina d'IA en general, i no és una excepció. El producte principal d'Operative és el programari Lovable-like centrat en la generació d'aplicacions basades en les APIs internes existents de l'organització. Però sorprenentment, van començar amb una eina de proves primer i finalment es va convertir en part del seu cas d'ús principal. Web de l'agent Eval Web Eval Agent també està disponible a través del MCP i proporciona algunes funcionalitats a més de l'ús del navegador. En primer lloc, com l'operador, ve amb una interfície d'usuari convenient per interactuar amb l'agent de proves. A continuació, orquestra i distribueix les tasques de proves. No obstant això, no utilitza cap paral·lelització, de manera que acabarà amb només un agent / navegador per sol·licitud. L'eina llavors executa la tasca, recull captures de pantalla, registres i errors de xarxa i consola, i finalment resumeix tot en un informe de text. La idea és que podeu enviar immediatament aquests errors al vostre agent de generació de codi i tancar el bucle. A diferència de Vibetest Use, Web Eval Agent us permet proporcionar una invitació que utilitza per instruir l'agent de proves i treure conclusions dels resultats del test. També hi ha alguns inconvenients - l'eina només funciona amb els crèdits interns d'Operative. Cada finalització de xat consumeix un crèdit, i fins i tot una prova bàsica pot prendre fàcilment 20-30 sol·licituds. Però la limitació principal és que és molt bàsica en funcionalitat - només proporciona una capa prima a la part superior de l'ús del navegador sense cap eina QA addicional. Igual que amb Vibetest Use, aquesta eina requeriria una adaptació significativa per a un ús eficaç: eliminar el bloqueig del proveïdor, enriquir el context amb la lògica empresarial necessària, i formalitzar i estructurar la sortida. Iniciació a Startups Cap de les eines esmentades anteriorment realment funcionen fora de la caixa, en part perquè són una mena de projectes laterals dels seus creadors, desenvolupats com a esforços secundaris per mostrar la tecnologia o com a intents experimentals. 
 
 
 
 
 
 
 Esportiu momentàni Doceta Proves El codi Thunder ...i molts més La majoria d'aquestes eines van molt més enllà dels simples servidors MCP: són plataformes de proves completament funcionals similars a BrowserStack i SauceLabs. A diferència dels generadors de proves bàsics, aquestes plataformes gestionen tot el cicle de vida de les proves: generen, emmagatzemen i executen proves automatitzades. 
 
 
 
 
 
 
  from prompts and product requirements documents (PRDs) Auto-generation of tests 
 
 , where all logic is described with natural language AI-powered test steps 
 
  that simulate different user behaviors and scenarios Auto-healing tests that adapt and fix themselves when applications change Testing personas 
 
  that adapt and fix themselves when applications change Auto-healing tests El flux de treball típic comença amb l'anàlisi assistida per la IA dels requisits del producte, seguit de la creació de casos de prova a través de la interfície de la plataforma, ja sigui generada automàticament o construïda manualment per l'usuari. Les proves resultants es presenten en dos formats diferents: com a codi generat (com en TestSprite) o abstracte a través de passos de prova basats en la interfície d'usuari (Thunder Code). Per a enfocaments basats en codi, els usuaris editen els passos de prova directament a través de l'editor de codi integrat de la plataforma. El valor d'aquestes plataformes es troba principalment en l'adaptació dels LLM a les necessitats de QA. Ja poden reduir definitivament el temps gastat en el desenvolupament i el manteniment de les proves automatitzades. Conclusions Malgrat la clara demanda de solucions d'assegurament de qualitat alimentades per la IA, cap de les eines actuals compleix amb els quatre requisits esmentats. l'Agent de prova d'OpenAI és massa bàsic i inflexible, mentre que les eines de codi obert com Vibetest Use i Web Eval Agent construïts sobre l'ús del navegador manquen de l'estabilitat i el control necessaris per als fluxos de treball de producció. Fins i tot les startups dedicades a la IA-QA, encara que més completes, pateixen de problemes de bloqueig i integració dels proveïdors que limiten la seva utilitat en entorns de codificació assistits per la IA. El protocol basat en text de Browser Use funciona bé, i ja és possible construir solucions personalitzades sobre aquestes eines per satisfer requisits específics.

Read My Stories

Aquest àudio és produït a l'idioma original de la història!

Massa Llarg; Per llegir

Get Free Unlimited IP Geo Data With IPinfo Lite

La peça que falta de Vibe-Coding és Vibe-Testing

About Author

COMENTARIS

Etiquetes penjant

AQUEST ARTICLE VA SER PRESENTAT A

Related Stories

Startups of The Year: Meet the Business Industry

Startups of The Year: Meet the Web3 Industry

On Taxes

Startups of The Year: Meet the Business Industry

Startups of The Year: Meet the Web3 Industry

On Taxes

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps