Vibe-Coding-ийн хязгааргүй хэсэг нь Vibe-Testing юм

АИ-ийн алдааг хийж байна. Энэ нь хүмүүс шиг. Энэ нь бидний ажлын байнга баталгаажуулахын тулд бүх QA салбарт боловсруулсан юм. Энэ салбарт жил бүр 7% -ийг нэмэгдэж байна. , AI-ийн үүсгэсэн outputs-ийг баталгаажуулахын тулд чухал хэрэгцээ нь зарим хэсэгт дэмждэг. $ 115.4 тэрбум 2032 хүртэл Тавтай морилноор, браузер автоматжуулалт нь AI үйлчилгээний хөгжүүлэх гол газар гэж үзсэн. OpenAI сүүлийн үеийн , тэдний хамгийн өргөн хэрэглэгддэг бүтээгдэхүүний. Тэгэхээр энэ нь маш их мэдрэмжтэй санаа нь ихэнх мэдрэмжийг харуулсан юм - AI-ийн дэмжлэгтэй кодийг нэг хэсэг болгон браузер автоматжуулалт ашиглаж, кодийн агентдыг жинхэнэ цаг хугацааны санал болгож чадна уу? Энэ нь бүх систем нь илүү тогтвортой байх болно уу? Тиймээс одоогийн AI-ийн дэмжлэгтэй QA хэрэгсэл нь ямар ч ашигтай байдаг вэ, тэд үйлдвэрлэхэд хүргэж буй програм хангамжийн чанарыг болон дэлхий даяар хөгжүүлэгчийн туршлага нь сайжруулах болно? ChatGPT-д энэ функцийг нэмж Эдүүлбэр АИ-ийн чанарын баталгаажуулалтын үйлчилгээг чанарын баталгаажуулалтыг хүсч байна уу? Хамгийн алдартай арга нь жинхэнэ хэрэглэгчид туршилтын үйл ажиллагаа явуулж буй олон нийтийн туршилтын платформтай байна. Энэ арга нь туршилтын тохиолдолд илүү алдартай хэлбэрээр хэлбэрээр хэлбэржүүлэх, хялбар pass/fail үр дүнгээс гадна багатай санал болгож байна. Оюутнууд хэрэгцээг ашиглах боломжийг, гүйцэтгэлийн асуултууд, уламжлалт туршилтын хэзээ ч хязгааргүй хэрэглэгчдийн бооцооны талаар үнэ цэнэтэй мэдрэмжийг олж авах болно. АИ-тэй энэ нь илүү гүнзгий, хурдан, үнэ цэнэтэй байж болно. AI нь орчин үеийн QA-ийн хамгийн чухал инфраструктурын асуултуудын нэг нь шийдвэрлэх боломжтой: хадгалах зардал нь хязгаарлагдмал юм. туршилтын тохиолдолд давхардаг, бүрэлдэхүүн хэсгүүд өөрчлөгдөж, CSS сонгогч нь хязгаарлагдмал гэж үздэг. QA хадгалах багц нь ихэвчлэн хязгаарлагддаг тусгай ачаалал юм. Үүнээс гадна, QA-агент нь AI-ийн дэмжлэгтэй кодийг ажиллуулах үйл явдлын хоорондоо босоо байж болно, боловсролын хүний агент хоолойд шууд нэгтгэсэн, давуу талбарыг хуваалцах, үйл ажиллагаа явуулах, гэж нэрлэдэг гол үүрэг тоглож болно. " «Бүгээмэл Зөвлөгөө Эцэст нь өргөн хүрээтэй AI нь ерөнхий шаардлагад нийцэж байх ёстой: Загвартай туршилтын боловсруулах үед. хөгжүүлэгч нь шинж чанарын имплементацийг дуусгах боломжтой байх ёстой. Автомат шалгалт хавтгай боловсруулах. AI нь шинэ шинж чанарыг бүрэн шалгалт хавтгай үүсгэх ёстой. Эдгээр шалгалт хавтгай нь кодыг суурилсан газар дээр, эсвэл хөнгөн хавтгай дээр хязгаарлагдмал хадгалах боломжийг шаарддаг. Intelligent Test Execution and Management. Систем нь автоматаар шинэчлэгдсэн туршилтын гүйцэтгэлийн болон удирдлагатай байх ёстой. Үнэндээ, энэ нь кодын бааз, документын хоорондын хоорондоо хангахын тулд хэрэгцээг шинэчлэх боломжийг олгодог. Бизнесийн шинжлэх ухааны ашиглан бүрэн туршилтын өгөгдөл. Туршилтын өгөгдөл нь хялбар Pass / Fail метрикээс дээш байх ёстой. Бизнесийн логик анализ, хэрэгцээг сайжруулах, гүйцэтгэлийн метрик: Дараа нь бид бүх тодорхойлолттай шаардлагыг хангах бүрэн үйлчилгээг байдаг гэж үзнэ үү. Гэсэн хэдий ч, эдгээр үйл явц зарим нь маш сайн шийдэж болно. QA хэрэгсэл нь LLM-ийн ханган нийлүүлэгчид - ялангуяа OpenAI - болон тусгай эх үүсвэрүүд нь боловсруулсан байна. Мөн хэд хэдэн нээлттэй эх үүсвэр шийдэл байдаг. OpenAI: Компьютерийн хэрэглээний агент Браузер автоматжуулалт нь Сэм Altman-ийн компанийн хувьд маш их цаг хугацаатай байдаг. Шест сарын өмнө, 2025 оны нэгдүгээр сард, браузер ашиглан вэб дээр үйл явцыг шийдэх болно агент эхэлсэн. Тэд үүнийг хэлсэн болон энэ нь GPT-4o дээр суурилсан тусгай загвартай юм - Компьютерийн хэрэглээний агент (да, энэ нь загварын нэр юм, CUA нь хязгаарлагдмал). , чат интерфэйс дамжуулан хянах. оператор Брюссель фермер Компани Operator-д илүү их хөрөнгө оруулалт хийх, Pro захиалгатай ChatGPT-ийн хэрэглэгчдэд өргөн хэрэглэгддэг. OpenAI мөн тэдний өөрийн дээр ажилладаг гэж хэлсэн. Нэг нь дэвшилтэт браузер автоматжуулалт нь тэдний шинэ бүтээгдэхүүний шинж чанарын нэг байх болно, ChatGPT нь энэ технологийг тоглоомын газар болгон ашиглаж болно. Chromium дээр суурилсан браузер Оператор нь тусгайлан QA хэрэгсэл биш бөгөөд энэ нь чат интерфэйс дамжуулан үйл ажиллагаа явуулж болно. Гэхдээ энэ нь CUA дээр үүсгэх боломжтой. OpenAI гэж нэрлэдэг бага эх үүсвэр хэрэгсэл нь хэрхэн хийх боломжтой гэж үздэг . API дамжуулан Тест Агент Essentially Testing Agent нь Playwright болон зарим үндсэн интерфэйс дээр хандах CUA юм. Энэ нь эхлэхэд хялбар бөгөөд та OpenAI-ийн API ключ хэрэгтэй. Энэ нь маш нарийвчлалтай аргаар ажилладаг. Та агент нь байгалийн хэлний үйл ажиллагаа өгөх, шалгаж хүсэж байгаа зарим URL-ийг харуулсан, маш хязгаарлагдмал туршилтын өгөгдлийг тохируулах, эхлэх, хүлээж байна. Энэ нь дараа нь таны үйл ажиллагаа дагуу туршилтын төлөвлөгөө үүсгэдэг, Chrome браузер нь орон нутгийн дээр эхлэх, дэлгэц зурвас авч, OpenAI-ийн CUA загвартай өөрчилж, LLM-ийн үүсгэдэг үйл ажиллагаа явуулдаг. Гэсэн хэдий ч энэ нь зөвхөн демо юм, энэ нь маш хязгаарлагдмал юм: Энэ нь маш чухал интерфэйс, MCP сервер биш, энэ нь таны сонголттай код редакторд холбогдсон биш юм. Энэ нь маш хялбар юм, ихэвчлэн загварыг дэлгэц зургийг мэдэрч чадна. Энэ нь ямар ч машин унших output санал болгож чадахгүй Энэ нь тест хийх env-variables дамжуулах дэмждэггүй Энэ нь дараах зааврыг маш сайн биш юм. Энэ нь ихэвчлэн нэг тохиолдолд үйлчилгээг зориулагдсан Би OpenAI-ийн хэрэгсэл нь QA-д ашиглаж болохыг харуулсангүй бол энэ дээр нь маш нарийвчлалтай зүйлийг бий болгож байгаа бол. Мөн энэ нь одоо ч гэсэн үйлчилгээ биш юм. Энэ нь тавтай морилно уу бэлтгэлийн болон браузер арилжааны контракт хооронд хэрэглэнэ - дэлгэц зурвас нь үр дүнтэй хэзээ ч хэзээ ч хэзээ ч хэзээ ч хэзээ ч хэзээ ч хэзээ ч хэзээ ч хэзээ ч хэзээ ч хэзээ ч хэзээ ч хэзээ ч. Браузер ашиглах Браузер болон LLM-ийн хооронд илүү нарийвчлалтай, хяналттай интеракцийг шийддэг Эдгээр Калифорний эх үүсвэр 17 сая доллар цуглуулгыг олж авсан бөгөөд y. Тэд өөрийн браузер-llm харилцаа холбооны протокол бий болгодог дэлгэц дээр суурилсан биш, текстийн суурилсан контекст дээр суурилсан бөгөөд энэ нь индексирован интерактив элементүүд, нээгдсэн таб, HTML атрибуты, хэрэглэгчийн параметрүүд болон бусад олон. . Браузер ашиглах Тоглоомын маш их анхааралтай лател Тавтай морилно уу Өнгөрсөн контекст үзүүлэлт нь олон асуудал шийддэг: , it doesn’t even require vision-LLM to operate Browser Use is LLM-agnostic than screenshot-based solutions like Operator It’s more stable and performant and accurately, as LLM has better understanding of the environment it operates with It can be prompted more specifically with and hooks it’s easy to build on top of it It’s extendable custom functions Browser Use-ийн үндсэн хэрэглээний нэг нь байгалийн вэб scraping юм. Хэвийн вэбсайтын markup нь өөрчлөгдөж байгаа бол зүгээр л нэг удаа таны scraping код бичнэ үү. Одоогоор, энэ нь бид QA хэрэгсэл нь шинэ бүлэгээс хүсэж байгаа зүйл юм. Тэгээд да, ихэвчлэн ихэнх нь Browser Use дээр суурилсан байна. Бид одоо хязгааргүй байж болох хэрэгслүүд нь ойролцоогоор байна, тэдний зарим нь орон нутгийн ажиллаж чадахгүй байна. Тэдний бүх нь интерфэйс болгон MCP-ийг ашиглаж байгаа тул хамгийн сайн бодит хэрэгсэл нь MCP Inspector юм. Бид одоо хязгааргүй байж болох хэрэгслүүд нь ойролцоогоор байна, тэдний зарим нь орон нутгийн ажиллаж чадахгүй байна. Тэдний бүх нь интерфэйс болгон MCP-ийг ашиглаж байгаа тул хамгийн сайн бодит хэрэгсэл нь MCP Inspector юм. Өнгөрсөн хэрэглээ Browser Use-ийн Хүүхдийн хэрэгсэл нь маш их хэрэглэгчид маш хязгаарлагдмал параметрүүдтэй хянаж байна: туршилтын вэбсайтын URL-ийг, нэг удаа ажиллуулах агентлын тоо, headless/non-headless режимууд хооронд өөрчлөх. үндсэн MCP хэрэгсэл Ажлын хэрэгсэл нь "Scout агент" -ийг үүсгэхийн тулд хуудсанд үндсэн интерактив элементүүдийг идентич, туршилтын агенттыг үүсгэхийн тулд үйл ажиллагаа явуулдаг. хэрэглэгдсэн туршилт нь маш алдартай байдаг - туршилтын үйл ажиллагаатай талаар бүх шийдэл LLM-ийг байлгах болно. Тохируулсан зааврыг дэмждэггүй. Дараа нь Vibetest-ийн хэрэглээ нь агентлаас туршилтын үйл явцыг хуваалцах, туршилтын өгөгдлийг цуглуулж, хуваалцах, хэрэглэгчдэд санал болгож байна. Энэ нь энэ юм. Интеллектуал хуваалцах нь Vibetest-ийн хэрэглээний нэг хүчтэй зүйл юм. Гэсэн хэдий ч, олон асуудал байдаг: Энэ нь зөвхөн Gemini гэр бүлийн загваруудад тохиромжтой бөгөөд энэ нь Google API Key-ийг ажиллуулах хэрэгтэй. Энэ нь туршилтын үйл явцад маш бага хяналтыг санал болгож байна Энэ нь автоматаар үүсгэсэн сценарийг нэмэгдүүлэх боломжийг олгодог Энэ нь хязгаарлагдмал хадгалах. Энэ нь ажиллуулахын тулд бид эхлээд Browser Use-ийн шинэ хувилбартай ямар ч ач холбогдолгүй байдлын асуудал сэргийлэх хэрэгтэй. Бүтээгдэхүүний хувьд Vibetest-ийн хэрэглээ нь ялангуяа хэрэглэгддэггүй боловч янз бүрийн бизнесийн үйл явц дахь тодорхой үйл ажиллагаа явуулахын тулд харьцуулахад харьцуулагдсан арга хэрэгслүүд бий болно. Browser Use-д суурилсан бусад шийдэл нь "Vibe-Test Web Applications via MCP" гэж нэрлэдэг эхлэн юм. . Ажлын Eval агент вэб сайт Намийг AI-tooling-ийн хамгийн хүчтэй хэсэг биш бөгөөд Operative-ийн гол бүтээгдэхүүний Lovable шиг програм хангамж, одоогийн интернетийн API дээр суурилсан програмуудыг үүсгэхийн тулд төвлөрсөн юм. Гэхдээ гайхамшигтай нь, Тэд анх удаа тест хэрэгсэлтэй эхлүүлсэн бөгөөд энэ нь ихэвчлэн ихэвчлэн хэрэглээний тохиолдолд хэсэгт болсон. Eval агент вэб сайт Web Eval Agent нь MCP-ийн дамжуулан боломжтой бөгөөд Browser-ийн ашиглах дээр зарим функцийг санал болгож байна. Эхлээд, Operator гэх мэт, энэ нь тест агенттай интеракцийг зориулсан тохиромжтой интерфэйстай байдаг. Дараа нь энэ нь таны тест үйл явцыг оркестрч, хуваалцах болно. Гэсэн хэдий ч, энэ нь ямар нэгэн параллелизацийг ашигладаггүй, Тиймээс таны хүсэлтийг нэг агент / браузертай болно. Энэ хэрэгсэл дараа нь үйл ажиллагаа явуулж, дэлгэц зурвас, сүлжээний болон консолын дөрвөлжин болон алдааг цуглуулж, эцэст нь текст долоо хоногт бүх зүйлийг хуваалцдаг. Үзүүлбэр нь энэ алдааг таны код үүсгэх агенторууд руу тавтай морилно уу. Vibetest ашиглах нь, Web Eval Agent нь туршилтын агентыг зааварлах, туршилтын үр дүнд эвдэх боломжийг олгодог. Энэ хэрэгсэл нь зөвхөн Operative-ийн дотоодын кредиттэй ажилладаг. Чат дуусгах нь нэг кредит ашигладаг, бас үндсэн тест нь хялбар 20-30 хүсэлтийг авч болно. Тиймээс хэрэгсэл ажиллуулахын тулд танд өөр бүртгэл хэрэгтэй. Гэсэн хэдий ч, үндсэн хязгаарлалт нь функцэд маш чухал юм - энэ нь ямар ч нэмэлт QA хэрэгсэлгүйгээр Браузер ашиглах дээрх хязгаарлагдмал давхаргыг санал болгож байна. Vibetest Use-ийн хувьд, энэ хэрэгсэл нь үр дүнтэй хэрэглэхэд чухал адаптацийг шаарддаг: ханган нийлүүлэгчийн лок-ийг элсүүлэх, контекст нь шаардлагатай бизнесийн логиктай багасгахад, output-ийг формализуулах, структуризуулах. AI-QA эх үүсвэр Эдгээр хэрэгслүүдээс ямар ч нь богино ажиллуулахыг хүсч байгаа боловч энэ нь ихэвчлэн технологийг танилцуулахын тулд доорх үйл явц, эсвэл туршилтын туршилт болгон боловсруулсан богино төсөл юм. Үүнээс гадна, маш их олон эх үүсвэрүүд нь зөвхөн энэ асуудлыг шийддэг - AI-ийн тусламжтай туршилт. Энд тэдний зарим нь байдаг: Баримтлал Өнгөрсөн Дотоо Баримтлал Нөхцөл код ... болон олон олон илүү Эдгээр хэрэгслүүдийн ихэнх нь хялбар MCP серверүүдээс дээш байна – тэд BrowserStack болон SauceLabs-тэй харьцуулахад бүрэн функцтэй туршилтын платформ юм. Баримтлалтай туршилтын генераторуудтай харьцуулахад эдгээр платформ нь туршилтын бүх амьдралын цикл хийх болно: тэд автомат туршилт үүсгэх, хадгалах, гүйцэтгэхийн тулд. Өмнөх ертөнцээс тэднийг өөрчлөн болгодог нь тэдний гүнзгий AI-ийн интеграци, шинэ чадварыг нээж байна: from prompts and product requirements documents (PRDs) Auto-generation of tests , where all logic is described with natural language AI-powered test steps that simulate different user behaviors and scenarios Auto-healing tests that adapt and fix themselves when applications change Testing personas that adapt and fix themselves when applications change Auto-healing tests Хэвийн ажлын үйл явц нь бүтээгдэхүүний шаардлагад AI-ийн дэмжлэгтэй анализ, платформ интерфэйс дамжуулан туршилтын тохиолдолд үүсгэдэг - автоматаар үүсгэсэн эсвэл хэрэглэгчийн гарын авлагатай. Бүтээгдэхүүний туршилт нь хоёр янз бүрийн хэлбэрээр санал болгож байна: эсвэл үүсгэсэн код (TestSprite гэх мэт) эсвэл UI-д суурилсан туршилтын шатанд (Thunder Code) дамжуулан алдартай. Code-д суурилсан аргаар хэрэглэгчдийн туршилтын шатанд платформ дээр суурилсан код редактор дамжуулан шууд редакторууд болно. UI-д алдартай хэлбэрээр, өөрчлөлтийг AI асистент чат интерфэйс дамжуулан хуваалцах болно. Эдгээр платформ нь ихэвчлэн LLM-ийг QA-ийн хэрэгцээг тохируулна. Тэд automated testing-ийн боловсруулах, хадгалах цаг хугацааг тогтмол багасгаж болно. Гэсэн хэдий ч, тэдний асуудал нь байгалийн байдаг - ханган нийлүүлэгчийн зам, өндөр зардал, хөгжилтийн ажлын үйл явдлын болон AI-ассистент кодийг нэгтгэх тусламж. Баримтлал AI-д дэмжлэгтэй чанарын баталгаажуулалтын шийдлүүдийн явжтай хэрэгцээ нь одоогийн хэрэгслүүд нь дөрвөн тодорхойлолттай шаардлагыг хангахгүй. OpenAI-ийн Тестинг Агент нь маш чухал, хялбар юм. Vibetest Use болон Web Eval Agent-ийн Browser-ийн дээр суурилсан хэрэгслүүд нь үйлдвэрлэлийн ажлын үйл явцыг зориулсан тогтвортой байдал, хяналтыг багасгах болно. Үүнээс гадна дэлгэрэнгүй AI-QA-ийн шинэчлүүлэгчид нь AI-ийн дэмжлэгтэй кодийг сайжруулсан орчинд хэрэгцээг хязгаарлах хандлагатай нийлүүлэгчийн лок-ин болон интеграцийн асуултуудтай байдаг. Browser Use-ийн текст суурилсан протокол нь сайн ажилладаг бөгөөд энэ хэрэгсэлээс гадна тодорхой шаардлагад хангахын тулд өөрчилсөн шийдлүүд бий болгох боломжтой.