Vibe-Coding- ის დაკარგული ნაწილი არის Vibe-Testing

ეს არის მიზეზი, რომ ჩვენ აშენდა მთელი QA ინდუსტრია, რათა დამოუკიდებლად შეამოწმოთ ჩვენი მუშაობა - და ეს ფხვნილი. ეს ინდუსტრია ყოველწლიურად იზრდება 7% და მოსალოდნელია , ძირითადად ეფუძნება მნიშვნელოვანი საჭიროება გაფართოების AI-გერადი outputs. $ 115.4 მილიარდი 2032 წელს ამავე დროს, ბრაუზერის ავტომატიზაციის გამოჩნდა, როგორც ძირითადი ტერიტორია AI მომსახურების განვითარება. OpenAI ბოლოში ეს არის ყველაზე ფართოდ გამოიყენება პროდუქტი. ასე რომ, ჩვეულებრივ იდეა იღებს ბევრი გონებს - რატომ არ გამოიყენოთ ბრაუზერი ავტომატაცია, როგორც ნაწილი AI- მხარდაჭერა კოდირების, უზრუნველყოფს კოდირების მენეჯერი რეალურ დროში მიმოხილვა? ეს არ გაძლევთ მთელი სისტემა უფრო სტაბილური? ასე რომ, თუ რამდენად სასარგებლოა AI-powered QA ინსტრუმენტები დღეს, ისინი ნამდვილად გაუმჯობესოს ორივე ხარისხის პროგრამული უზრუნველყოფა წარმოება და საერთო განვითარების გამოცდილება? ეს ფუნქციონირება დააყენა ChatGPT- ში იდეა რა უნდა მოითხოვოს AI- ს მხარდაჭერა ხარისხის უზრუნველყოფის მომსახურება? ყველაზე განიცდიან პლატფორმა იწვევს crowd-testing პლატფორმაები, სადაც რეალური მომხმარებლები შესრულებენ ტესტირების საქმიანობას. ეს მეთოდგია შეიმუშავებს ტესტირების შემთხვევაში უფრო პრაქტიკულად და უზრუნველყოფს უფრო მდიდარი მიმოხილვა მარტივი pass/fail შედეგებისგან. გუნდები მიიღებენ ღირებულების მიმოხილვა ხელმისაწვდომობის, ეფექტურობის პრობლემებს და რეალური მომხმარებლის ტკივილი, რომლებიც ტრადიციული ტესტირება ხშირად შეუწყობს. AI- ის ერთად ეს შეიძლება იყოს კიდევ უფრო ფართო, სწრაფი და იაფი. AI ასევე შეუძლია გადაიხადოს ერთ-ერთი ყველაზე მნიშვნელოვანი ინფრასტრუქტურის მოვლენები თანამედროვე QA: საღებავი ღირებულება შენარჩუნება. ტესტი კაზინოები გააგრძელდება, კომპონენტები გადაიხადოს, და CSS Selectors გამოჩნდა უსამრავი. QA შენარჩუნება გახდება განსხვავებული ტანსაცმელი, რომელიც გუნდები ხშირად გადაიხადოს. გარდა ამისა, QA-agents შეიძლება იყოს side-kicks AI-assisted coding workflows, ინტეგრირებული პირდაპირი განვითარება human-agents loop, გაზიარება მიმოხილვა, გააკეთოს საქმიანობა, ითამაშოს ძირითადი ფუნქციონირება so-called " » მიმოხილვა ცვლილებები მას შემდეგ, რაც ინტეგრირებული AI უნდა შეესაბამოს საერთო მოთხოვნებს: პროგრამული უზრუნველყოფა, რომელიც საშუალებას იძლევა პროგრამული უზრუნველყოფის შესრულება, რათა უზრუნველყოს პროგრამული უზრუნველყოფის შესრულება. ავტომატური ტესტი კაზინო განვითარება. AI უნდა ავტომატურად შექმნათ სრული ტესტი კაზინო ახალი ფუნქციებისთვის. ეს ტესტი კაზინო საჭიროებს მოქნილი შენახვის ვარიანტიები – ან ადგილობრივ კოდი ბაზარზე ან remote in cloud repositories – უზრუნველყოფს მათ ხელმისაწვდომობა და შენარჩუნება. Intelligent Test Execution and Management. სისტემა უნდა გააკეთოს ტესტი შესრულების და მართვის ავტომატური განახლებები. იდეალურია, იგი უზრუნველყოფს ხელმისაწვდომობა ორივე კოდი ბაზა და დოკუმენტაცია, რომელიც საშუალებას გაძლევთ განახლება ტესტი შემთხვევაში დინამიურად, როგორც მოთხოვნები განვითარება. შეამოწმეთ, თუ როგორ უნდა შეამოწმოთ, თუ როგორ უნდა შეამოწმოთ, თუ როგორ უნდა შეამოწმოთ, თუ როგორ უნდა შეამოწმოთ, თუ როგორ უნდა შეამოწმოთ, თუ როგორ უნდა შეამოწმოთ, თუ როგორ უნდა შეამოწმოთ, თუ როგორ უნდა შეამოწმოთ, თუ როგორ უნდა შეამოწმოთ, თუ როგორ უნდა შეამოწმოთ, თუ როგორ უნდა შეამოწმოთ. ქვემოთ ჩვენ ვხედავთ, რომ სრული მომსახურება, რომელიც შეესაბამება ყველა აღწერილი მოთხოვნებს არ არსებობს. თუმცა, ზოგიერთი ამ საქმიანებს შეიძლება გადაწყვეტა საკმაოდ კარგად. QA ინსტრუმენტები განკუთვნილია ორივე LLM მომწოდებლები - განსაკუთრებით OpenAI - და დამოუკიდებელი საწყისი. არსებობს ასევე რამდენიმე open-source გადაწყვეტილებები. OpenAI: კომპიუტერული გამოყენების ოპერტი ბრაუზერის ავტომატიზაციის შესახებ Sam Altman- ის კომპანიის გარკვეული დროის განმავლობაში. 6 თვის წინ, იანვარი 2025- ში, ატვირთულია ოპერტი, რომელიც შეუძლია გადაწყვეტა სამუშაოები ინტერნეტში ბრაუზერის გამოყენებით. ისინი აცხადებენ, რომ და იგი ეფუძნება სპეციფიკური მოდელი დაფუძნებული GPT-4o - კომპიუტერული მომხმარებლის მენეჯერი (და, ეს არის მოდელი სახელი, CUA მოკლე). ძირითადად ეს არის vLLM plus კონტროლი chat ინტერფეისი. ოპერატორი ბრაუზერი Farm ოპერატორიში შემდგომი ინვესტიციები გაგრძელდება, რაც ფართოდ ხელმისაწვდომია ChatGPT- ის მომხმარებლებს, რომლებიც Pro-ის შეტყობინებები შეესაბამება. OpenAI ასევე აჩვენა, რომ ისინი თვითმართველობისათვის მუშაობენ. შეიძლება ვფიქრობ, რომ მოწინავე ბრაუზერის ავტომატაცია იქნება ერთ-ერთი მათი ახალი პროდუქტის თვისებები, და ChatGPT შეიძლება გამოყენებულ იქნას როგორც სათამაშო ადგილი ამ ტექნოლოგია. Chromium-based ბრაუზერი ოპერატორი არ არის QA-tool სპეციალურად, ასე რომ ეს იქნება რთული, რათა იგი მუშაობს, რომ გზა მეშვეობით ჩატი UI. მაგრამ ეს შესაძლებელია შექმნას ზედაპირზე CUA, როგორც ეს არის OpenAI აჩვენებს, თუ როგორ შეიძლება ეს გაკეთდეს პატარა open-source ინსტრუმენტით. . ხელმისაწვდომია API ექსპერიმენტი Essentially Testing Agent არის CUA, რომელიც ხელმისაწვდომია Playwright და ზოგიერთი ძირითადი UI ზედაპირზე. ეს არის მარტივი დაწყება, თქვენ უნდა მხოლოდ OpenAI API key. ეს მუშაობს საკმაოდ ნედლეული გზა. თქვენ გაძლევთ მენეჯერი ბუნებრივი ენის საქმიანობა, მიუთითეთ იგი ზოგიერთი URL- ს, რომელიც გსურთ ტესტირება, კონფიგურაცია მას ზოგიერთი ძალიან შეზღუდული ტესტი მონაცემები, დაწყება და დაწყება. მას შემდეგ, რაც შექმნა ტესტი გეგმა მიხედვით თქვენი საქმიანობა, დაწყება Chrome ბრაუზერის ადგილობრივ, იღებს screenshots, შეიცავს მათ OpenAI- ის CUA მოდელი, აწარმოებს ფუნქციებს, რომ LLM იგონებს. მიუხედავად იმისა, რომ ეს მხოლოდ demo, ეს ძალიან შეზღუდული: იგი კონტროლილია ძალიან ძირითადი UI, არ არის MCP სერვერზე, ასე რომ ეს არ არის plugable თქვენი კოდი რედაქტორი არჩევანი ეს არის ძალიან მგრძნობიარე, ძირითადად, რადგან მოდელი იძლევა screenshot აღიარებს ეს არ უზრუნველყოფს ნებისმიერი მანქანა წაიკითხული output არ მხარს უჭერს env-variables გადაცემა ტესტირება ეს არ შეესაბამება ინსტრუქციებს საკმარისი კარგად. ეს ძირითადად განკუთვნილია ერთი შემთხვევაში მე ვფიქრობ, რომ OpenAI- ის ინსტრუმენტი შეიძლება გამოყენებულ იქნას QA- სთვის, სანამ არაფერი საკმაოდ მოწინავე არ არის აშენებული. და ამავე დროს არ არსებობს ასეთი მომსახურება. ეს იმას ნიშნავს, რომ ორივე სწრაფი მომზადება და ბრაუზერის ინტერაქტიის კონტაქტი - ეკრანები მხოლოდ არ არის საკმარისი, რათა ეფექტურად თავიდან ავიცილოთ შეტყობინებები და ჰოლუზიანები. Browser გამოყენება განკუთვნილია, რომ ბრაუზერები და LLMs- ს შორის უფრო ზუსტი და კონტროლირებული ინტერფეისი გადაიხადოს ეს კლიფორნიის სტრუქტურა 17 მილიონი დოლარი სინათლის რუკა და y. ისინი შექმნათ საკუთარი ბრაუზერი-llm კომუნიკაციის პროექტს, რომელიც არ არის დაფუძნებული ეკრანზე, არამედ ტექსტური კონტაქტზე, რომელიც შეიცავს ინდუსტრიული ინტერაქტიული ელემენტებს, ღია tabs, HTML თვისებები, მომხმარებლის პარამეტრები და მრავალი სხვა. . Browser გამოყენება უამრავი ყურადღება Latex გაქირავება მასთან ერთად გაფართოებული კონტექსტალური მიმოხილვა მხოლოდ ბევრი პრობლემები გადაწყვეტებს: , it doesn’t even require vision-LLM to operate Browser Use is LLM-agnostic than screenshot-based solutions like Operator It’s more stable and performant and accurately, as LLM has better understanding of the environment it operates with It can be prompted more specifically with and hooks it’s easy to build on top of it It’s extendable custom functions ერთ-ერთი ძირითადი ბრაუზერის გამოყენების განაცხადები, რა თქმა უნდა, არის ვებ scraping. ვფიქრობთ, რომ თქვენი scraping კოდი მხოლოდ ერთხელ შეტყობინება, არ შეშფოთებული მიზნით საიტზე markup ცვლილება. დაველოდოთ, ეს არის მხოლოდ ის, რაც ჩვენ გსურთ ახალი გენერაციის QA ინსტრუმენტები. და რა თქმა უნდა, უკვე არსებობს რამდენიმე მათგანი, რომლებიც შექმნილია ბრაუზერის გამოყენების ზედაპირზე. ჩვენ ახლა მივიღებთ ინსტრუმენტები, რომლებიც შეიძლება იყოს უდიდესი, და მივიღე ზოგიერთი მათ ადგილობრივ. იმის გამო, რომ მათ ყველა იყენებენ MCP როგორც ინტერფეისი, საუკეთესო დბგერითი ინსტრუმენტი ხელმისაწვდომია MCP ინპექტორი. ჩვენ ახლა მივიღებთ ინსტრუმენტები, რომლებიც შეიძლება იყოს უდიდესი, და მივიღე ზოგიერთი მათ ადგილობრივ. იმის გამო, რომ მათ ყველა იყენებენ MCP როგორც ინტერფეისი, საუკეთესო დბგერითი ინსტრუმენტი ხელმისაწვდომია MCP ინპექტორი. Viber გამოყენება Browser- ის ბავშვთა ინსტრუმენტი არის ძალიან ის უზრუნველყოფს ფუნქციონირება ტესტირება ვებ გვერდები. მომხმარებლები კონტროლი ძალიან შეზღუდული კომპლექტი პარამეტრები: URL- ის ვებ გვერდზე, რომელიც ტესტირება, რაოდენობა ერთდროულად იღებს მენეჯერი, და გადახდის შორის headless / non-headless რეჟიმები. ძირითადი MCP ინსტრუმენტი ეს ინსტრუმენტი დაიწყება "სკუტის მენეჯერი" შექმნა, რომელიც აჩვენებს ძირითადი ინტერაქტიული ელემენტებს გვერდზე და შექმნათ სამუშაოები ტესტირების მენეჯერი. გამოიყენებული შეტყობინებები ძალიან ავტომატურია - ყველა გადაწყვეტილებები ტესტირების საქმიანობის შესახებ გაქვთ LLM- სთვის. გაფართოების ინსტრუქციები არ არის მხარს უჭერს. შემდეგი, Vibetest გამოყენება გაფართოებს ტესტირების სამუშაოები მეშვეობით აგენტები, მოკლეა და შეზღუდვა ტესტი ანგარიშები, და უზრუნველყოფს მიმოხილვა მომხმარებელს. და ეს არის ეს. ინტელექტუალური გაფართოება არის ერთ-ერთი ძალა Vibetest გამოყენება, თუმცა, არსებობს ბევრი პრობლემები: ეს არის განკუთვნილია მხოლოდ Gemini ოჯახის მოდელები, ასე რომ თქვენ უნდა Google API Key გაკეთება. ეს უზრუნველყოფს ძალიან შეზღუდული კონტროლი ტესტირების პროცესში არ საშუალებას იძლევა ავტომატურად გენერირებული სცენარეთა გაფართოებას ეს არ არის რთული. იმისათვის, რომ იგი იყენებს, ჩვენ პირველი უნდა გადაიხადოს შეკუმშვის პრობლემები ახალი ვერსია Browser გამოყენება ზოგადად, Vibetest გამოყენება არ არის შეიძლება იყოს განსაკუთრებით სასარგებლო პირდაპირი, მაგრამ მსგავსი ინსტრუმენტები შეიძლება შექმნილია მასშტაბით კონკრეტული სამუშაოები სხვადასხვა ბიზნეს პროცესებში. კიდევ ერთი გადაწყვეტილება, რომელიც დაფუძნებულია ბრაუზერის გამოყენებით, არის “ბრაუზერის მექანიკური, რომელიც შეუძლია vibe-test web პროგრამები მეშვეობით MCP” საწყისი საწყისი. . ოპერაციული Eval Agent ვებგვერდზე Nameing არ არის ყველაზე ძლიერი ნაწილი AI-tooling ზოგადად, და Operative- ის ძირითადი პროდუქტი არის Lovable-მაგული პროგრამული უზრუნველყოფა, რომელიც განკუთვნილია აპლიკაციების გენერაციის შესახებ, რომელიც დაფუძნებულია არსებობსთან დაკავშირებული ოპერაციული API-ზე. მაგრამ შეუზღუდავი, ისინი პირველი დაიწყო ტესტირების ინსტრუმენტი და საბოლოოდ გახდა მათი ძირითადი გამოყენების შემთხვევაში. Eval Agent ვებგვერდზე Web Eval Agent ასევე ხელმისაწვდომია MCP- ის მეშვეობით და უზრუნველყოფს ზოგიერთი ფუნქციონირება ბრაუზერის გამოყენებით. პირველი, როგორც ოპერატორი, ეს მოიცავს კომფორტული UI- ს, რათა შეუერთდეს ტესტირების ოპერატორთან ერთად. შემდეგ, ეს ოპერატორებს და გაზიარებს თქვენი ტესტირების სამუშაოები. თუმცა, ეს არ იყენებს ნებისმიერი პარამეტრების, ასე რომ თქვენ შევიდა მხოლოდ ერთი ოპერატორი / ბრაუზერის თითოეული მოთხოვნით. მას შემდეგ, რაც ინსტრუმენტი აწარმოებს საქმიანობა, მოკლე screenshots, ქსელის და კონუსის ლოგები და შეცდომები, და საბოლოოდ შეზღუდავს ყველაფერი ტექსტური ანგარიშში. იდეა არის, რომ თქვენ შეგიძლიათ დაუყოვნებლივ გადაცემთ ამ შეცდომებს თქვენი კოდი-გერენაციის ინსტრუმენტს და დახუროთ loop. ვიდრე Vibetest გამოყენება, Web Eval Agent საშუალებას გაძლევთ უზრუნველყოს შეტყობინება, რომელიც იგი გამოიყენებს ტესტი ინსტრუმენტს და ტესტირების შედეგებს. არსებობს ზოგიერთი ნაკლები ასევე - ინსტრუმენტი მუშაობს მხოლოდ ოპერაციული შიდა კრედიტები. თითოეული ჩატი დასრულება იღებს ერთი კრედიტი, და მაშინაც კი ძირითადი ტესტი შეიძლება ადვილად მიიღოს 20-30 მოთხოვნებს. ასე რომ, თქვენ უნდა კიდევ ერთი რეგისტრაცია ინსტრუმენტი მუშაობა. მაგრამ ძირითადი შეზღუდვა არის, რომ ეს არის ძალიან ძირითადი ფუნქციონირება - იგი მხოლოდ უზრუნველყოფს სინათლის ფართობი ბრაუზერის გამოყენების ზედაპირზე გარეშე დამატებითი QA ინსტრუმენტები. როგორც Vibetest გამოყენება, ეს ინსტრუმენტი მოითხოვს მნიშვნელოვანია შეესაბამება ეფექტური გამოყენება: შეამციროს მწარმოებელი lock-in, გაფართოების კონტაქტი საჭირო ბიზნეს ლოგიკა, და ფორმალური და სტრუქტურა output. AI-QA სტატისტიკა რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა, რა თქმა უნდა. Spur ახლა დოკუმენტი ტესტირება Thunder კოდი ... და ბევრი სხვა ყველაზე ეს ინსტრუმენტები განიცდიან მარტივი MCP სერვერები - ისინი სრული ფუნქციონირებული ტესტირების პლატფორმაები, როგორიცაა BrowserStack და SauceLabs. ძირითადი ტესტირების გენერატორების განსხვავებით, ეს პლატფორმაები გააკეთებენ მთელი ტესტირების სიცოცხლის ციკლი: ისინი აწარმოებენ, შენახავს და აწარმოებს ავტომატური ტესტიებს. რა ადაპტირებს მათ წინასწარ Generations არის მათი Deep AI ინტეგრიაცია, რომელიც იღებს ახალი შესაძლებლობები: from prompts and product requirements documents (PRDs) Auto-generation of tests , where all logic is described with natural language AI-powered test steps that simulate different user behaviors and scenarios Auto-healing tests that adapt and fix themselves when applications change Testing personas that adapt and fix themselves when applications change Auto-healing tests ტიპიური სამუშაო ფართობი იწყება პროდუქტის მოთხოვნების AI- მხარდაჭერა ანალიზი, შემდეგ ტესტი კაზინო შექმნა პლატფორმა ინტერფეისი მეშვეობით - ავტომატურად გენერირებული ან მობილური მომხმარებლის მიერ. გამოქვეყნებული ტესტიები გამოქვეყნდა ორი განსხვავებული ფორმატებში: ან როგორც გენერირებული კოდი (მაგ. TestSprite- ში) ან შეტანილი UI-based ტესტი ნაბიჯები (Thunder Code). კოდი დაფუძნებული მიზნებისათვის, მომხმარებლები შედუღებენ ტესტი ნაბიჯები პირდაპირი პლატფორმის ინტეგრირებული კოდი რედაქტორის მეშვეობით. UI-abstracted ფორმატებში, განახლებები ხდება კონტაქტური მეშვეობით AI Assistant Chat ინტერფეისი. ამ პლატფორმაების ღირებულება ძირითადად LLM- ს QA მოთხოვნებს შეესაბამება. მათ უკვე შეუძლიათ შეამციროს ავტომატური ტესტირების განვითარება და შენარჩუნება. თუმცა, მათი პრობლემები ასევე გამოჩნდა - მომწოდებლის მოკლე მოკლე, მაღალი ღირებულება, და პრობლემები ინტეგრირება განვითარებისა სამუშაო წვრთნებში და AI-assistant კოდექსი. კონტაქტი მიუხედავად იმისა, რომ ინტელექტუალური ხარისხის უზრუნველყოფის გადაწყვეტილებები, რომლებიც ეფუძნება ინტელექტუალური ინტელექტუალური ხარისხის უზრუნველყოფის გადაწყვეტილებებს, შეესაბამება არ არსებობს. OpenAI- ის ტესტირების ინსტრუმენტი ძალიან ძირითადია და არ არის ფართო, ხოლო ინტელექტუალური ინსტრუმენტები, როგორიცაა Vibetest Use და Web Eval Agent, რომელიც შექმნილია ბრაუზერის გამოყენებით, არ აქვს სტაბილურობა და კონტროლი, რომელიც საჭიროა წარმოების სამუშაო ოპერაციებს. მიუხედავად იმისა, რომ ინტელექტუალური ინტელექტუალური ინტელექტუალური ინტელექტუალური ინტელექტუალური ინტელექტუალური ინტელექტუალური და ინტელექტუ Browser Use- ის ტექსტური პოსტი მუშაობს კარგად, და ეს უკვე შესაძლებელია შექმნას საბაჟო გადაწყვეტილებები ამ ინსტრუმენტების ზედაპირზე, რათა შეესაბამონ კონკრეტული მოთხოვნებს.