Липсващата част на Vibe-Coding е Vibe-Testing

AI прави грешки. Точно като хората. Ето защо разработихме цяла индустрия за QA, за да проверим независимо нашата работа – и тя процъфтява. , задвижвани отчасти от критичната необходимост да се валидират генерираните от AI изходи. $115.4 милиарда до 2032 г. Междувременно браузърната автоматизация се появи като основна област на развитието на AI услуги. Така че очевидната идея идва на много умове – защо да не използвате автоматизацията на браузъра като част от AI-асистираното кодиране, като предоставяте кодиране на агенти с обратна връзка в реално време? добави тази функционалност към ChatGPT Идеята Какво да очакваме от услугите за осигуряване на качеството, задвижвани от AI? Най-разумният подход идва от платформите за тестване на тълпата, където реалните потребители изпълняват тестови задачи. Тази методология формулира тестовите случаи по-абстрактно и предоставя по-богата обратна връзка отвъд обикновените резултати от пропускане / провал. Екипите получават ценни прозрения за използваемостта, проблемите с производителността и истинските потребителски точки, които традиционните тестове често пропускат. AI може също така да отговори на едно от най-критичните инфраструктурни предизвикателства в съвременния QA: забранителните разходи за поддръжка.Тестовите случаи стават остарели, компонентите се преместват, а селекторите на CSS се оказват неуместни. Освен това, QA-агентите могат да бъдат странични действия в работните процеси за кодиране, подпомагани от AI, интегрирани директно в цикъла за развитие на човешкия агент, споделяне на обратната връзка, предприемане на действия, играеща основна роля в т.нар. » Подход Смяна на ляво Следователно цялостният ИИ трябва да отговаря на общите изисквания: Тестване по заявка по време на разработване. Разработчиците трябва да могат да завършат изпълнението на функция и незабавно да поискат тестове, задвижвани от AI. Тези тестови случаи се нуждаят от гъвкави опции за съхранение – или локално до кодовата база, или отдалечено в облачните хранилища – за да се гарантира, че те остават достъпни и поддръжливи. Интелигентно изпълнение на тестове и управление. Системата трябва да се справя с изпълнението на тестове и управлението с автоматични актуализации. В идеалния случай тя поддържа достъп както до кодовата база, така и до документацията, което му позволява да актуализира тестовите случаи динамично, тъй като изискванията се променят. Тестовите отчети трябва да надхвърлят прости показатели за пропускане / провал, за да предоставят осъществими прозрения в много измерения: анализ на бизнес логиката, оценка на използваемостта, показатели за производителността. По-долу ще видим, че пълноценни услуги, които отговарят на всички описани изисквания, не съществуват. Въпреки това, някои от тези задачи могат да бъдат решени доста добре. QA инструменти се разработват както от доставчиците на LLM - по-специално OpenAI - и независими стартиращи компании. OpenAI: Агент за компютърно използване Автоматизацията на браузъра засяга компанията на Сам Алтман от доста време.Преди шест месеца, през януари 2025 г., агентът, който може да решава задачи в мрежата с помощта на браузъра, беше пуснат. и се захранва от специален модел, базиран на GPT-4o - Computer-Using Agent (да, това е името на модела, CUA за кратко). Контролира се чрез чат интерфейса. Операторът Браузър ферма Компанията продължава да инвестира допълнително в Operator, като го прави широко достъпен за потребителите на ChatGPT с Pro абонаменти. Може да се предположи, че усъвършенстваната автоматизация на браузъра ще бъде една от новите им продуктови функции, а ChatGPT може да се използва като игрално поле за тази технология. Chromium базиран браузър Операторът не е конкретно QA-инструмент, така че ще бъде трудно да го направите да работи по този начин чрез потребителския интерфейс на чата. OpenAI демонстрира как това може да се направи с малко инструменти с отворен код, наречени . Достъпно чрез API Тестващ агент Essentially Testing Agent е CUA с достъп до Playwright и някои основни потребителски интерфейс върху него. Той работи по доста наивен начин. Вие давате на агента задачата на естествен език, насочвате го към някой URL адрес, който искате да тествате, конфигурирайте го с някои много ограничени тестови данни, стартирайте и изчакайте.Той след това създава план за тестване според вашата задача, стартира браузъра Chrome локално, прави екранни снимки, обменя ги с модела CUA на OpenAI, изпълнява действия, които LLM генерира. Въпреки че е просто демо, това е изключително ограничаващо: Той се контролира с много основен интерфейс, а не с MCP-сървър, така че не може да бъде включен в редактора на кода по ваш избор. Това е много бавно, главно защото чака модела да разпознае екранната снимка. Не осигурява машинно четлив изход Не поддържа преминаването на env-вариалите за тестване Той не следва инструкциите достатъчно добре. Той е проектиран основно да обслужва един случай Съмнявам се, че инструментът на OpenAI може да бъде използван за QA, освен ако върху него не е построено нещо доста усъвършенствано. И в момента няма такава услуга. Използване на браузър Задачата за по-точно и контролирано взаимодействие между браузъри и LLMs се решава от Този калифорнийски стартъп събра 17 млн. долара семенна обиколка и y. Те разработват свой собствен протокол за комуникация браузър-llm, базиран не на екранни снимки, а на текстов контекст, който се състои от индексирани интерактивни елементи, отворени раздели, HTML атрибути, потребителски параметри и много други. . Използване на браузър Много внимание се отделя на латекс Потопете се в себе си Разширеният контекст сам по себе си решава много проблеми: , it doesn’t even require vision-LLM to operate Browser Use is LLM-agnostic than screenshot-based solutions like Operator It’s more stable and performant and accurately, as LLM has better understanding of the environment it operates with It can be prompted more specifically with and hooks it’s easy to build on top of it It’s extendable custom functions Едно от основните приложения за използване на браузъра, разбира се, е уеб сканиране. Представете си, че пишете вашия код за сканиране само веднъж, без да се притеснявате за промяната на маркировката на целевия сайт.Почакайте, това е точно това, което искаме от новото поколение инструменти за QA. И да, вече има няколко от тях, които са изградени върху използването на браузъра. Сега се доближаваме до инструменти, които могат да бъдат нестабилни, и ми отне известно време, за да изпълнявам някои от тях локално.Тъй като всички те използват MCP като интерфейс, най-добрият инструмент за дебютиране е инспекторът MCP. Сега се доближаваме до инструменти, които могат да бъдат нестабилни, и ми отне известно време, за да изпълнявам някои от тях локално.Тъй като всички те използват MCP като интерфейс, най-добрият инструмент за дебютиране е инспекторът MCP. Витаминът се използва Инструментът за използване на браузъра за деца е много Потребителите контролират много ограничен набор от параметри: URL адреса на уеб страницата, която се тества, броя на едновременно изпълняваните агенти и превключването между безглави/неглави режими. Основни инструменти на MCP Инструментът започва с генериране на "скаут агент", който идентифицира основните интерактивни елементи на страницата и създава задачи за тестващите агенти. Помощите, използвани са изключително абстрактни - всички решения относно тестващата задача са оставени на LLM. Поясняващи инструкции не се поддържат. След това Vibetest Use разпределя тестовите задачи между агентите, събира и обобщава тестовите доклади и предоставя обратна връзка на потребителя.И това е. Интелигентното разпределение е единствената силна точка на Vibetest Use, но има много проблеми: Той е адаптиран само за моделите от семейството Gemini, така че ще ви е необходим Google API Key, за да го изпълните Осигурява много ограничен контрол върху процеса на тестване Не позволява разширяване на автоматично генерирани сценарии За да го стартираме, първо трябваше да поправим проблеми с несъвместимостта с новата версия на браузъра Като цяло, използването на Vibetest е малко вероятно да бъде особено полезно директно, но подобни инструменти могат да бъдат изградени въз основа на него за специфични задачи в различни бизнес процеси. Друго решение, базирано на използването на браузъра, е "браузър агент, който може да тества уеб приложения чрез MCP" от стартап, наречен . Оперативна Уебсайт на Eval Agent Назоваването не е най-силната част от AI-tooling като цяло, и Основният продукт на Operative е Lovable-подобен софтуер, фокусиран върху генерирането на приложения въз основа на съществуващи вътрешни организационни API. Но изненадващо, те започнаха с инструмент за тестване първо и в крайна сметка стана част от основния им случай на използване. Уебсайт на Eval Agent Web Eval Agent също е достъпен чрез MCP и осигурява някои функционалности в допълнение към използването на браузъра. Първо, подобно на Operator, той идва с удобен интерфейс за взаимодействие с тестващия агент. След това той оркестрира и разпределя вашите тестови задачи. След това инструментът изпълнява задачата, събира екранни снимки, мрежови и конзолни дневници и грешки и накрая обобщава всичко в текстов отчет. Идеята е, че можете незабавно да изпращате тези грешки обратно към вашия агент за генериране на код и да затваряте цикъла. За разлика от Vibetest Use, Web Eval Agent ви позволява да предоставите известие, което използва, за да инструктира агента за тестване и да извлечете заключения от резултатите от теста. Има и някои недостатъци - инструментът работи само с вътрешните кредити на Operative. Всяко завършване на чата консумира един кредит, а дори и основен тест може лесно да отнеме 20-30 искания. Но основното ограничение е, че тя е много основна по функционалност - тя осигурява само тънък слой на върха на използването на браузъра без никакви допълнителни QA инструменти. Както при Vibetest Use, този инструмент ще изисква значителна адаптация за ефективно използване: премахване на заключването на доставчиците, обогатяване на контекста с необходимата бизнес логика и формализиране и структуриране на изхода. AI-QA стартиращи компании Нито един от посочените по-горе инструменти наистина не работи от кутията, отчасти защото те са вид странични проекти на техните създатели, разработени като вторични усилия за демонстриране на технологията или като експериментални опити. следи Моментът Докът Тестът Кодът Thunder ...и много други Повечето от тези инструменти отиват далеч отвъд прости MCP сървъри – те са напълно функционални тестови платформи, подобни на BrowserStack и SauceLabs. За разлика от основните тестови генератори, тези платформи се справят с целия жизнен цикъл на тестовете: те генерират, съхраняват и изпълняват автоматизирани тестове. from prompts and product requirements documents (PRDs) Auto-generation of tests , where all logic is described with natural language AI-powered test steps that simulate different user behaviors and scenarios Auto-healing tests that adapt and fix themselves when applications change Testing personas that adapt and fix themselves when applications change Auto-healing tests Типичният работен поток започва с АИ-помощен анализ на изискванията на продукта, последван от създаване на тестови случаи чрез интерфейса на платформата – независимо дали се генерира автоматично или се създава ръчно от потребителя. Получените тестове са представени в два различни формата: или като генериран код (както в TestSprite) или абстрахиран чрез стъпки за тестване, базирани на потребителския интерфейс (Thunder Code). За подходи, базирани на код, потребителите редактират тестовите стъпки директно чрез вградения редактор на код на платформата. Стойността на тези платформи се крие главно в адаптирането на LLM към нуждите на QA. Те вече могат окончателно да намалят времето, прекарано в разработването и поддържането на автоматизирани тестове. Заключения Въпреки очевидното търсене на решения за осигуряване на качеството, задвижвани от ИИ, нито един от настоящите инструменти не отговаря на всичките четири описани изисквания.Тестовият агент на OpenAI е твърде основен и негъвкав, докато инструментите с отворен код като Vibetest Use и Web Eval Agent, изградени на браузър Use, нямат стабилността и контрола, необходими за производствените работни потоци.Дори специализираните AI-QA стартиращи компании, макар и по-обширни, страдат от предизвикателства за заключване на доставчиците и интеграция, които ограничават полезността им в среда за кодиране, подпомагана от AI. Протоколът на Browser Use, базиран на текст, работи добре и вече е възможно да се създадат персонализирани решения върху тези инструменти, за да отговарят на конкретни изисквания.