AI laver fejl. Ligesom mennesker. Det er derfor, vi har udviklet en hel QA-industri til uafhængigt at verificere vores arbejde – og det er blomstrende. , drevet delvist af det kritiske behov for at validere AI-genererede outputs. 115,4 milliarder dollar i 2032 I mellemtiden er browserautomation dukket op som et kerneområde i udviklingen af AI-tjenester. , deres mest udbredte produkt. Så den indlysende idé kommer til mange sind - hvorfor ikke bruge browserautomation som en del af AI-støttet kodning, der giver kodningsagenter med realtidsfeedback? Ville dette ikke gøre hele systemet mere stabilt? tilføjede denne funktionalitet til ChatGPT Idéen Hvad kan man forvente af AI-drevne kvalitetssikringstjenester? Den mest fornuftige tilgang kommer fra crowd-testing-platforme, hvor rigtige brugere udfører testopgaver. Denne metodologi formulerer testsager mere abstrakt og leverer rigere feedback ud over simple pass/fail-resultater. Teams får værdifuld indsigt i brugbarhed, ydeevneproblemer og ægte bruger smertepunkter, som traditionel test ofte går glip af. AI kan også løse en af de mest kritiske infrastrukturudfordringer i moderne QA: den forbudte vedligeholdelsesomkostning. Testsager bliver forældede, komponenter flyttes, og CSS-selektorer viser sig at være umådelige. Desuden kan QA-agenter være side-kicks i AI-assisterede kodning arbejdsprocesser, integreret direkte i udviklingen menneske-agenter loop, dele feedback, tage handlinger, spille en hovedrolle i såkaldte " » En tilgang. Skift til venstre En omfattende AI skal derfor opfylde generelle krav: 
 
 
 
 
 On-Demand Testing under udvikling. Udviklere bør kunne gennemføre en funktion implementering og straks anmode om AI-drevet test. Disse testkasser har brug for fleksible opbevaringsmuligheder – enten lokalt ved siden af kodebasen eller eksternt i cloud repositories – for at sikre, at de forbliver tilgængelige og vedligeholdelige. Intelligent testudførelse og styring Systemet skal håndtere testudførelse og styring med automatiske opdateringer. Ideelt set opretholder det adgang til både kodebasen og dokumentationen, så det kan opdatere testsager dynamisk som kravene udvikler sig. Testrapporter bør gå ud over simple pass/fail-metrikker for at give handlingsbar indsigt på tværs af flere dimensioner: Business Logic Analysis, Usability Assessment, Performance Metrics. Nedenfor vil vi se, at fuldt udformede tjenester, der opfylder alle de beskrevne krav, ikke eksisterer. Men nogle af disse opgaver kan løses ret godt. QA-værktøjer udvikles af både LLM-udbydere - især OpenAI - og uafhængige startups. OpenAI: Computer bruger agent Browser automation har været relateret til Sam Altmans firma i ganske lang tid. For seks måneder siden, i januar 2025, blev agenten, der kan løse opgaver på nettet ved hjælp af browseren, lanceret. og det er drevet af en dedikeret model baseret på GPT-4o - Computer-Using Agent (ja, dette er modelnavnet, CUA for kort). Det sker via chat-grænsefladen. Operatør Browseren gård Selskabet fortsætter med at investere yderligere i Operator, hvilket gør det bredt tilgængeligt for ChatGPT-brugere med Pro-abonnementer. Man kan spekulere på, at avanceret browserautomation vil være en af deres nye produktfunktioner, og ChatGPT kan bruges som en legeplads for denne teknologi. Chromium-baseret browser Operator er ikke et QA-værktøj specifikt, så det vil være vanskeligt at få det til at fungere på den måde gennem chat-grænsefladen. OpenAI demonstrerer, hvordan det kan gøres med et lille open source-værktøj kaldet . Tilgængelig via API Test af agent Essentially Testing Agent er en CUA med adgang til Playwright og nogle grundlæggende brugergrænseflader på toppen af det. Det fungerer på en temmelig naiv måde. Du giver agenten den natursprogede opgave, peger på en URL, du vil teste, konfigurerer den med nogle meget begrænsede testdata, starter og venter. Det opretter derefter en testplan i henhold til din opgave, starter Chrome-browseren lokalt, tager screenshots, udveksler dem med OpenAI's CUA-model, kører handlinger, som LLM genererer. Selvom det kun er en demo, er det ekstremt begrænsende: 
 
 
 
 
 
 Det styres med meget grundlæggende brugergrænseflade, ikke en MCP-server, så det er ikke tilslutningsbart til din kode-editor efter eget valg Det er meget langsomt, for det meste fordi det venter på modellen til at genkende skærmbilledet Det giver ikke nogen maskinlæsbar output Det understøtter ikke at passere env-variabler til test Det følger ikke instruktionerne godt nok. Det er grundlæggende designet til at betjene et tilfælde Jeg tvivler på, at OpenAI's værktøj kan bruges til QA, medmindre noget ret sofistikeret er bygget på den. Og der er ingen sådan service på nuværende tidspunkt. Dette gælder både prompt forberedelse og kontrakten for browserinteraktion - skærmbilleder alene er klart utilstrækkelige til effektivt at undgå misforståelser og hallucinationer. Brug af browser Opgaven med mere præcis og kontrolleret interaktion mellem browsere og LLM'er løses af Denne californiske startup rejste en $ 17 millioner frø runde og y. De udvikler deres egen protokol for browser-llm-kommunikation baseret ikke på skærmbilleder, men på tekstbaseret kontekst, der består af indekserede interaktive elementer, åbne faner, HTML-attributter, brugerparametre og mange flere. . Brug af browser Har fået rigtig meget opmærksomhed Dyk ind i det selv Den udvidede kontekstilgang i sig selv løser mange problemer: 
 
 
 
 
 
 
 , it doesn’t even require vision-LLM to operate Browser Use is LLM-agnostic 
 
  than screenshot-based solutions like Operator It’s more stable and performant 
 
  and accurately, as LLM has better understanding of the environment it operates with It can be prompted more specifically 
 
  with   and hooks it’s easy to build on top of it It’s extendable custom functions En af de primære browser brug applikationer er selvfølgelig web scraping. Forestil dig at skrive din scraping kode kun en gang uden at bekymre sig om mål hjemmeside markering bliver ændret. Vent, dette er præcis, hvad vi ønsker fra den nye generation af QA værktøjer. og ja, der er allerede et par af dem, der er bygget på toppen af browser brug. 
 
 Vi nærmer os nu værktøjer, der kan være ustable, og det tog mig et stykke tid at køre nogle af dem lokalt.Da alle af dem bruger MCP som en grænseflade, er det bedste debugging værktøj til rådighed MCP-inspektøren. Vi nærmer os nu værktøjer, der kan være ustable, og det tog mig et stykke tid at køre nogle af dem lokalt. Da alle af dem bruger MCP som en grænseflade, er det bedste debugging værktøj til rådighed . MCP Inspektør Vibrerende brug Browsers børneværktøj er et meget Brugere styrer et meget begrænset sæt af parametre: URL-adressen på den webside, der testes, antallet af samtidig kørende agenter og skift mellem hovedløse/ikke-hovedløse tilstande. Grundlæggende MCP-værktøj Værktøjet begynder med at fremkalde en "scout agent", der identificerer de vigtigste interaktive elementer på siden og skaber opgaver for testagenterne. De anvendte opfordringer er ekstremt abstrakte - alle beslutninger vedrørende testopgave overlades til LLM. Afklarende instruktioner understøttes ikke. Dernæst distribuerer Vibetest Use testopgaver på tværs af agenter, indsamler og opsummerer testrapporter og giver feedback til brugeren. 
 
 
 
 
 Den er kun tilpasset Gemini-familien, så du har brug for en Google API-nøgle til at køre den Det giver meget begrænset kontrol over testprocessen Det tillader ikke udvidelse af automatisk genererede scenarier Det er dårligt vedligeholdt. For at få det til at køre, måtte vi først løse inkompatibilitetsproblemer med den nye version af Browser Use Generelt er Vibetest Usage usandsynligt at være særligt nyttigt direkte, men lignende værktøjer kunne bygges på basis af det til specifikke opgaver inden for forskellige forretningsprocesser. En anden løsning baseret på Browser Use er "browser agent, der kan vibe-test webapplikationer via MCP" fra opstarten kaldet . Operativ Hjemmeside Eval Agent Navngivning er ikke den stærkeste del af AI-værktøj generelt, og Operative's hovedprodukt er Lovable-lignende software fokuseret på at generere applikationer baseret på eksisterende interne organisation APIs. Men overraskende begyndte de med et testværktøj først, og det blev til sidst en del af deres primære brugssag. Hjemmeside Eval Agent Web Eval Agent er også tilgængelig via MCP og giver nogle funktionalitet på toppen af Browser Use. For det første, ligesom Operator, det kommer med praktisk brugergrænseflade til at interagere med testagent. Næste, det orchestrerer og distribuerer dine testopgaver. dog bruger det ikke nogen parallelisering, så du ender med kun en agent / browser per anmodning. Værktøjet udfører derefter opgaven, indsamler skærmbilleder, netværks- og konsollogs og fejl og opsummerer til sidst alt i en tekstrapport. Ideen er, at du straks kan sende disse fejl tilbage til din kode-generering agent og lukke sløjfen. I modsætning til Vibetest Brug, giver Web Eval Agent dig mulighed for at give en prompt, som den bruger til at instruere testagenten og drage konklusioner fra testresultaterne. Der er også nogle ulemper - værktøjet fungerer kun med Operative's interne kreditter. Hver chat færdiggørelse bruger et kredit, og selv en grundlæggende test kan nemt tage 20-30 anmodninger. Men den vigtigste begrænsning er, at det er meget grundlæggende i funktionalitet - det giver kun et tyndt lag på toppen af Browser Use uden yderligere QA-værktøj. Som med Vibetest Use ville dette værktøj kræve betydelig tilpasning for effektiv brug: eliminering af leverandørlås, berigelse af konteksten med den nødvendige forretningslogik og formalisering og strukturering af output. LÆS OGSÅ: Startups Ingen af de ovennævnte værktøjer virker virkelig ud af boksen, dels fordi de er en slags sideprojekter af deres skabere, udviklet som sekundære bestræbelser på at demonstrere teknologien eller som eksperimentelle forsøg. 
 
 
 
 
 
 
 Spur øjeblikkeligt Docket afprøve Thunder koden ...og mange mange flere De fleste af disse værktøjer går langt ud over enkle MCP-servere – de er fuldt funktionelle testplatforme svarende til BrowserStack og SauceLabs. I modsætning til grundlæggende testgeneratorer håndterer disse platforme hele testlivscyklussen: de genererer, gemmer og udfører automatiserede tests. 
 
 
 
 
 
 
  from prompts and product requirements documents (PRDs) Auto-generation of tests 
 
 , where all logic is described with natural language AI-powered test steps 
 
  that simulate different user behaviors and scenarios Auto-healing tests that adapt and fix themselves when applications change Testing personas 
 
  that adapt and fix themselves when applications change Auto-healing tests Den typiske arbejdsproces starter med AI-assisteret analyse af produktkrav, efterfulgt af test case creation gennem platformens grænseflade - uanset om genereret automatisk eller bygget manuelt af brugeren. De resulterende tests præsenteres i to forskellige formater: enten som genereret kode (som i TestSprite) eller abstrakt gennem UI-baserede testtrin (Thunder Code). For kodebaserede tilgange redigerer brugerne testtrin direkte gennem platformens indbyggede kode editor. Værdien af disse platforme ligger primært i at tilpasse LLM'er til QA-behov. De kan allerede definitivt reducere tiden brugt på at udvikle og vedligeholde automatiserede tests. Konklusioner På trods af den klare efterspørgsel efter AI-drevne kvalitetssikringsløsninger, opfylder ingen af de nuværende værktøjer alle fire skitserede krav. OpenAI's Testing Agent er for grundlæggende og ufleksibel, mens open source-værktøjer som Vibetest Use og Web Eval Agent bygget på Browser Use mangler den stabilitet og kontrol, der kræves for produktionsarbejdsprocesser. Browser Use's tekstbaserede protokol fungerer godt, og det er allerede muligt at opbygge brugerdefinerede løsninger på toppen af disse værktøjer for at opfylde specifikke krav.

Read My Stories

Denne lyd er produceret på historiens originalsprog!

For langt; At læse

Get Free Unlimited IP Geo Data With IPinfo Lite

Vibe-Codings manglende stykke er Vibe-Testing

About Author

KOMMENTARER

HÆNG TAGS

DENNE ARTIKEL BLEV PRÆsenterET I

Related Stories

Meet Brave: HackerNoon Company of the Week

Meet MinIO: The HackerNoon Company of the Week

Meet Bosch: HackerNoon Company of the Week

Meet Brave: HackerNoon Company of the Week

Meet MinIO: The HackerNoon Company of the Week

Meet Bosch: HackerNoon Company of the Week

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps