AI popełnia błędy, podobnie jak ludzie, dlatego opracowaliśmy całą branżę QA, aby niezależnie weryfikować naszą pracę – i rozwija się. , napędzane częściowo krytyczną potrzebą walidacji wyjść generowanych przez AI. 115,4 mld dolarów do 2032 roku Tymczasem automatyzacja przeglądarki pojawiła się jako główny obszar rozwoju usług AI. Więc oczywisty pomysł przychodzi do wielu umysłów – dlaczego nie użyć automatyzacji przeglądarki jako części kodowania wspomaganego przez sztuczną inteligencję, dostarczając agentom kodującym informacje zwrotne w czasie rzeczywistym? dodano tę funkcję do ChatGPT Pomysł Czego można się spodziewać od usług zapewniania jakości zasilanych przez sztuczną inteligencję? Najbardziej rozsądne podejście pochodzi z platform testowania tłumów, gdzie prawdziwi użytkownicy wykonują zadania testowe. Ta metodologia formułuje przypadki testowe bardziej abstrakcyjnie i dostarcza bogatszych informacji zwrotnych poza prostymi wynikami pasowania / niepowodzenia. Sztuczna inteligencja może również rozwiązać jedno z najbardziej krytycznych wyzwań infrastrukturalnych w nowoczesnym QA: zakazujące koszty konserwacji. przypadki testowe stają się przestarzałe, komponenty są przenoszone, a selektory CSS okazują się nie do skalowania. konserwacja QA staje się odrębnym obciążeniem, które zespoły często odrzucają. Co więcej, agenci QA mogą być biegaczami w procesach kodowania wspomaganych przez sztuczną inteligencję, bezpośrednio zintegrowani w obwód rozwoju człowieka-agentów, dzielą się informacjami zwrotnymi, podejmują działania, odgrywają główną rolę w tak zwanych " „Podejście zmiana lewa Kompleksowa sztuczna inteligencja powinna zatem spełniać ogólne wymagania: 
 
 
 
 
 Testowanie na żądanie podczas rozwoju. deweloperzy powinni być w stanie zakończyć wdrożenie funkcji i natychmiast zażądać testów zasilanych przez sztuczną inteligencję. Automatyczne opracowywanie przypadków testowych. sztuczna inteligencja powinna samodzielnie generować kompleksowe przypadki testowe dla nowych funkcji. Te przypadki testowe wymagają elastycznych opcji przechowywania – zarówno lokalnie obok bazy kodów, jak i zdalnie w repozytorium w chmurze – zapewniając, że pozostają one dostępne i podtrzymywane. Inteligentne wykonywanie testów i zarządzanie. System powinien obsługiwać wykonywanie testów i zarządzanie za pomocą automatycznych aktualizacji. Idealnie, zachowuje dostęp do zarówno bazy kodów, jak i dokumentacji, co pozwala na dynamiczne aktualizowanie przypadków testowych w miarę ewolucji wymagań. Sprawozdania z testów powinny wykraczać poza proste metryki przejścia / niepowodzenia, aby zapewnić wgląd w działanie w wielu wymiarach: analiza logiki biznesowej, ocena użyteczności, metryka wydajności. Poniżej zobaczymy, że nie istnieją pełnoprawne usługi, które spełniają wszystkie opisane wymagania. Jednak niektóre z tych zadań można rozwiązać całkiem dobrze. Narzędzia QA są opracowywane zarówno przez dostawców LLM - w szczególności OpenAI - jak i niezależne start-upy. OpenAI: Agent obsługi komputera Automatyzacja przeglądarki dotyczy firmy Sam Altmana od pewnego czasu.Sześć miesięcy temu, w styczniu 2025 roku, uruchomiono agenta, który może rozwiązywać zadania w sieci za pomocą przeglądarki. i jest zasilany przez dedykowany model oparty na GPT-4o - Computer-Using Agent (tak, to jest nazwa modelu, CUA na krótko). kontrolowane przez interfejs czatu. Operatorzy Browserska farma Firma kontynuuje dalsze inwestycje w Operator, dzięki czemu jest szeroko dostępna dla użytkowników ChatGPT z subskrypcjami Pro. Można spekulować, że zaawansowana automatyzacja przeglądarki będzie jedną z nowych funkcji produktu, a ChatGPT może być używany jako plac zabaw dla tej technologii. Przeglądarka Chromium Operator nie jest konkretnym narzędziem QA, więc będzie trudne, aby działał w ten sposób za pośrednictwem interfejsu użytkownika czatu. OpenAI pokazuje, jak można to zrobić przy użyciu niewielkiego narzędzia open-source o nazwie . Dostępne za pomocą API Testowy agent Essentially Testing Agent to CUA z dostępem do Playwright i niektórych podstawowych interfejsów użytkownika na górze. Dajesz agentowi zadanie w języku naturalnym, wskaż go na jakiś adres URL, który chcesz przetestować, skonfiguruj go z bardzo ograniczonymi danymi testowymi, uruchom i poczekaj. Następnie tworzy plan testowy zgodnie z zadaniem, uruchamia przeglądarkę Chrome lokalnie, robi zrzuty ekranu, wymienia je z modelem CUA OpenAI, uruchamia działania, które generuje LLM. Chociaż jest to tylko demo, jest to bardzo ograniczające: 
 
 
 
 
 
 Jest sterowany za pomocą bardzo podstawowego interfejsu użytkownika, a nie serwera MCP, więc nie można go podłączyć do wybranego edytora kodu. Jest bardzo powolny, głównie dlatego, że czeka na model, aby rozpoznać zrzut ekranu Nie dostarcza żadnego wyjścia do odczytu maszynowego Nie obsługuje przechodzenia zmiennych env do testowania Nie stosuje się do instrukcji wystarczająco dobrze. Zasadniczo jest przeznaczony do obsługi jednego przypadku Wątpię, że narzędzie OpenAI może być wykorzystane do QA, chyba że coś dość wyrafinowanego jest na nim zbudowane.I nie ma takiej usługi w tej chwili.Dotyczy to zarówno szybkiego przygotowania, jak i umowy o interakcję z przeglądarką - tylko zrzuty ekranu są wyraźnie niewystarczające, aby skutecznie uniknąć nieporozumień i halucynacji. Korzystanie z browsera Zadanie bardziej precyzyjnej i kontrolowanej interakcji między przeglądarkami a LLM jest rozwiązywane przez Ten kalifornijski start-up zebrał 17 milionów dolarów rundy nasion i y. Opracowują własny protokół komunikacji przeglądarki-llm oparty nie na zrzutach ekranu, ale na kontekście opartym na tekście, który składa się z indeksowanych elementów interaktywnych, otwartych zakładek, atrybutów HTML, parametrów użytkownika i wielu innych. . Korzystanie z browsera Dużo uwagi przyciągnęła Latynoska Zanurz się w samym sobie Rozszerzone podejście kontekstowe samo w sobie rozwiązuje wiele problemów: 
 
 
 
 
 
 
 , it doesn’t even require vision-LLM to operate Browser Use is LLM-agnostic 
 
  than screenshot-based solutions like Operator It’s more stable and performant 
 
  and accurately, as LLM has better understanding of the environment it operates with It can be prompted more specifically 
 
  with   and hooks it’s easy to build on top of it It’s extendable custom functions Jedną z głównych aplikacji korzystania z przeglądarki jest oczywiście skrobanie stron internetowych. Wyobraź sobie pisanie kodu skrobania tylko raz, nie martwiąc się o zmianę oznaczenia docelowej strony internetowej. Czekaj, to jest dokładnie to, czego chcemy od nowej generacji narzędzi QA. I tak, istnieje już kilka z nich, które są zbudowane na górze korzystania z przeglądarki. 
 
 Teraz zbliżamy się do narzędzi, które mogą być niestabilne, i zajęło mi trochę czasu, aby uruchomić niektóre z nich lokalnie. Teraz zbliżamy się do narzędzi, które mogą być niestabilne, i zajęło mi trochę czasu, aby uruchomić niektóre z nich lokalnie. Wibracja Użyj Narzędzie Browsera Używanie dziecka jest bardzo Użytkownicy kontrolują bardzo ograniczony zestaw parametrów: adres URL testowanej strony internetowej, liczbę jednocześnie uruchamianych agentów oraz przełączanie się między trybami bez głowy/bez głowy. Podstawowe narzędzia MCP Narzędzie zaczyna się od generowania "agent skaut", który identyfikuje główne interaktywne elementy strony i tworzy zadania dla agentów testowych. Używane wskazówki są bardzo abstrakcyjne - wszystkie decyzje dotyczące zadania testowego zostają pozostawione LLM. Instrukcje wyjaśniające nie są obsługiwane. Następnie Vibetest Use rozprowadza zadania testowe między agentami, zbiera i podsumowuje raporty testowe, a także dostarcza użytkownikowi informacji zwrotnych. 
 
 
 
 
 Jest dostosowany tylko do modeli rodziny Gemini, więc potrzebujesz klucza API Google, aby go uruchomić Zapewnia bardzo ograniczoną kontrolę nad procesem testowym Nie pozwala na rozszerzanie automatycznie generowanych scenariuszy Aby go uruchomić, najpierw musieliśmy naprawić problemy z niekompatybilnością z nową wersją przeglądarki Ogólnie rzecz biorąc, Vibetest Use jest mało prawdopodobne, aby być szczególnie przydatne bezpośrednio, ale podobne narzędzia mogą być zbudowane na jego podstawie dla określonych zadań w różnych procesach biznesowych. Innym rozwiązaniem opartym na użyciu przeglądarki jest „agent przeglądarki, który może przetestować aplikacje internetowe za pośrednictwem MCP” z startupu o nazwie . Operacyjny Strona internetowa Eval Agent Nazwanie nie jest najsilniejszą częścią AI-tooling w ogóle, i Głównym produktem Operative jest oprogramowanie Lovable, które koncentruje się na generowaniu aplikacji opartych na istniejących wewnętrznych interfejsach organizacyjnych. Ale zaskakująco, zaczęli od narzędzia do testowania i ostatecznie stało się częścią ich podstawowego przypadku użytkowania. Strona internetowa Eval Agent Web Eval Agent jest również dostępny za pośrednictwem MCP i zapewnia pewne funkcjonalności oprócz korzystania z przeglądarki. Po pierwsze, podobnie jak Operator, jest wyposażony w wygodny interfejs UI do interakcji z agentem testowym. Następnie orkiestruje i rozprowadza zadania testowe. Narzędzie następnie wykonuje zadanie, zbiera zrzuty ekranu, dzienniki i błędy sieciowe i konsolowe, a na koniec podsumowuje wszystko w raporcie tekstowym. Pomysł polega na tym, że możesz natychmiast przekazać te błędy do swojego agenta generującego kod i zamknąć obwód. W przeciwieństwie do korzystania z Vibetest, Web Eval Agent pozwala dostarczyć wskazówkę, którą używa do instruowania agenta testowego i wyciągnięcia wniosków z wyników testów. Istnieją również pewne wady - narzędzie działa tylko z wewnętrznymi kredytami Operative. Każde zakończenie czatu zużywa jeden kredyt, a nawet podstawowy test może łatwo wziąć 20-30 żądań. Ale głównym ograniczeniem jest to, że jest bardzo podstawowy w funkcjonalności - zapewnia tylko cienką warstwę na górze Korzystanie z przeglądarki bez żadnych dodatkowych narzędzi QA. Podobnie jak w przypadku Vibetest Use, narzędzie to wymagałoby znaczącego dostosowania do efektywnego użytkowania: eliminacji blokady dostawcy, wzbogacenia kontekstu o niezbędną logikę biznesową oraz sformalizowania i strukturalizacji wyjścia. Startupy AI-QA Żadne z wyżej wymienionych narzędzi naprawdę nie wychodzi z pudełka, częściowo dlatego, że są one rodzajem projektów bocznych ich twórców, opracowanych jako drugorzędne wysiłki, aby pokazać technologię lub jako próby eksperymentalne. 
 
 
 
 
 
 
 Spór momentów Docket Testowanie Kody Thunder ...i wiele innych Większość z tych narzędzi wykracza daleko poza proste serwery MCP – są to pełnoprawne platformy testowe podobne do BrowserStack i SauceLabs. W przeciwieństwie do podstawowych generatorów testowych, platformy te obsługują cały cykl życia testów: generują, przechowują i wykonują zautomatyzowane testy. 
 
 
 
 
 
 
  from prompts and product requirements documents (PRDs) Auto-generation of tests 
 
 , where all logic is described with natural language AI-powered test steps 
 
  that simulate different user behaviors and scenarios Auto-healing tests that adapt and fix themselves when applications change Testing personas 
 
  that adapt and fix themselves when applications change Auto-healing tests Typowy przepływ pracy rozpoczyna się od analizy wymagań produktów za pomocą sztucznej inteligencji, a następnie tworzenia testowych przypadków za pośrednictwem interfejsu platformy – niezależnie od tego, czy są one generowane automatycznie, czy budowane ręcznie przez użytkownika. Wynikające testy są prezentowane w dwóch odrębnych formatach: albo jako kod generowany (jak w TestSprite) lub abstrakcyjny za pomocą kroków testowych opartych na UI (Thunder Code).W przypadku podejść opartych na kodzie użytkownicy edytują kroki testowe bezpośrednio za pomocą wbudowanego edytora kodu platformy. Wartość tych platform polega przede wszystkim na dostosowaniu LLM do potrzeb QA. Mogą one już zdecydowanie skrócić czas spędzony na opracowywaniu i utrzymywaniu zautomatyzowanych testów. konkluzje Pomimo wyraźnego zapotrzebowania na rozwiązania w zakresie zapewniania jakości zasilane przez sztuczną inteligencję, żadne z obecnych narzędzi nie spełnia wszystkich czterech wymogów. OpenAI’s Testing Agent jest zbyt podstawowy i nieelastyczny, podczas gdy narzędzia typu open-source, takie jak Vibetest Use i Web Eval Agent zbudowane na przeglądarce, nie mają stabilności i kontroli niezbędnej do przepływów pracy produkcji. Protokół oparty na tekście Browser Use działa dobrze, a na tych narzędziach można już zbudować niestandardowe rozwiązania, aby spełnić określone wymagania.

Read My Stories

Ten dźwięk jest produkowany w oryginalnym języku historii!

Brakujące fragmenty Vibe-Coding to test Vibe

About Author

UWAGI

ZAWIEŚĆ TAGI

ARTYKUŁ TEN ZOSTAŁ PREZENTOWANY W

Related Stories

Meet Sora: HackerNoon Company of the Week

MashRadar Reviewed HackerNoon - Everything You Need to Know

Listen to Tech Brief Podcasts on Your Headphones: Stay Connected to HackerNoon Anywhere, Anytime

How HackerNoon Feels About AI Generated Content (Hint: 👎🏽)

Meet Sora: HackerNoon Company of the Week

MashRadar Reviewed HackerNoon - Everything You Need to Know

Listen to Tech Brief Podcasts on Your Headphones: Stay Connected to HackerNoon Anywhere, Anytime

How HackerNoon Feels About AI Generated Content (Hint: 👎🏽)

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps