Подумайте про це: якщо ваш тестовий пакет розбивається кожного разу, коли рухається кнопка, див змінюється, або - боги забороняють - A / B-тест працює, це дійсно тестує щось? Якщо вам довелося перервати, ймовірність полягає в тому, що ваша команда, як і більшість інженерних команд, витрачає занадто багато часу на виправлення і підтримку скриптових тестів, які руйнуються з кожною зміною інтерфейсу користувача. На щастя, з AI в робочому процесі, цикли випуску закінчуються, інтерфейс користувача не зламається, і все гаразд, чи не так? У цій статті ми розглянемо, що таке тестування AI і як агенти QA працюють під капотом, щоб ви могли вирішити, чи дійсно це допоможе вашій команді. Що робить традиційна автоматизація тестів Тестові інструменти автоматизації, такі як Playwright або Selenium, слідують набору кроків за кроком. Це відбувається так: перейдіть до цього URL-адреси, знайдіть елемент за допомогою конкретного селектора CSS, натисніть на нього, стверджуйте, що цей текст з'являється ... Все працює чудово, до тих пір, поки ваш продукт ніколи не змінюється. Але є щось, що називається В основному, сценарії руйнуються не тільки тому, що змінюється інтерфейс користувача, а й тому, що інструкції застарівають.Команди повідомляють, що витрачають 30%-40% свого часу на розробку на підтримку існуючих тестів, а не на пошук і виправлення реальних помилок або створення нових функцій. Це тільки збільшило тертя для підтримки хороших випробувань. selector treadmill AI code generation Такі інструменти, як Cursor, Claude Code і Copilot, допомагають компаніям відправляти код швидше, ніж будь-коли раніше, але більший вихід також означає більше змін в інтерфейсі користувача за спринт, більше кодових рефакторів, більше компонентів, які переписуються ... Кожен з них приносить ризик того, що ваш робочий процес тестування порушується. Згідно з а На платформах автоматизації високопродуктивні команди без відповідного рішення QA стикалися з приблизно 20 помилками на спринт, що досягають виробництва протягом двох тижнів. Дослідження Forrester TEI Сумна реальність полягає в тому, що традиційна автоматизація тестів дає відмінну прибуток від інвестицій (ROI), коли речі стабільні (таке ж дослідження Forrester повідомляє про 209% ROI протягом трьох років для однієї з цих платформ). Але це передбачає рівень стабільності розвитку до AI, який більше не існує. замість того, щоб допомагати, скриптовані тести швидко стають зобов'язаннями. Вхід в агентуру тестування. Що таке агентське тестування? Простіше кажучи, агентське тестування зосереджується на досягненні даної мети. для тестування (натисніть на це, стверджуйте, потім це), ви скажете це Для перевірки how what Ось приклад заяви: "Переконайтеся, що користувач може успішно додати гаманець розміру M до кошика і завершити оплату за допомогою GooglePay". Агент ІА має завдання здійснити цю мету. За допомогою агентського тестування агент QA отримує мету від користувача, а потім з'ясовує, як її завершити всередині системи. Він переміщується через веб, настільні або мобільні додатки і взаємодіє з елементами. Реакційна модель Більшість агентських систем, включаючи ту, яку ми побудували на Дотримуйтеся шаблону реакції: Технологія observe —> decide —> act —> evaluate Примітка: Агент QA спочатку дивиться на поточний стан сторінки, як на DOM, так і на візуальний макет. Вирішуйте або подумайте: це причини щодо мети. «Мені потрібно знайти кнопку «Додати до кошика». Акт: Він діє так, як би робив користувач. Оцінювати: Він перевіряє, чи спрацювала дія і вирішує, що робити далі (повторить). Тут ми говоримо про автономну систему, яка розуміє структурну і візуальну ієрархію веб-додатків і відтворює шлях, який б прийняв користувач. Меморіальний шар Наші агенти прокручують ваш веб-сайт або додаток, щоб охарактеризувати всі сторінки, потоки, інтерактивні елементи та відносини між елементами в графіку знань. Технологія Подумайте про різницю між туристом, що блукає по місту, і місцевим, який знає кожну вулицю по серцю.Обидва можуть йти від А до Б, але через їх знайомство з містом, місцеві знають, як брати штрихи і де мертві кінці. Як агентські тести працюють на практиці Перед тим, як написати єдиний тест, агент сканує ваше додаток. QA.tech називає це , що в основному агенти автономно досліджують вашу програму, щоб охарактеризувати та зрозуміти потоки користувачів та елементи інтерфейсу користувача. epistemic foraging Спроби Ви пишете простий і природний заклик, щоб сказати агенту, яка кінцева мета, наприклад, "Перевірте, що користувач може успішно шукати, переглядати, переглядати та бронювати нерухомість". Відкриття Агент потім завантажує додаток, використовуючи структуру, яку він вже навчився під час сканування.Тепер, коли він має карту сторінок і елементів, він може почати шукати домашню сторінку, властивості браузера, кнопки бронювання та будь-який інший необхідний варіант, як це робить людський користувач. Виконання потоку Агент приступає до завершення тестування крок за кроком (ви можете спостерігати за повним процесом через сесію запису).Якщо щось трапиться несподівано, наприклад, небажана пропозиція, агент бачить це, усвідомлює, що це перешкода для мети, і закриває його. атестація Після завершення потоку агент оцінює пропуск або провал на основі того, чи досягнута мета. Тепер порівняйте цей результат з еквівалентним сценарієм Playwright. , знайти вхід пошуку властивості, використовуючи певний селектор або , введіть місцезнаходження, запустіть пошук, почекайте, поки сторінка результатів буде завантажена, натисніть на список майна, а потім знайдіть і натисніть кнопку бронювання. /home page data-testid Як тільки CAPTCHA буде додано, тест-ID буде перейменовано, або процес бронювання буде розділений на додаткові сторінки, ви будете знову в режимі обслуговування. Чим агентична автоматизація тестування відрізняється від тестування за допомогою AI Чесно кажучи, низка інструментів, що продаються як автоматизація тестування AI, насправді просто обкладинки, які генерують сценарії для застарілих технологій, таких як Playwright. Ми вважаємо, що використання агентичної автоматизації таким чином є просто використанням AI на неправильній парадигмі – результат використання AI-оболонок гірший у порівнянні з агентами AI, які діють самостійно. Цільово орієнтовані: тести зосереджені на результатах, а не на процесі імплементації та на тому, як до них дістатися. Перцептивний: Агент бачить вашу програму так само, як і реальний користувач (візуально + через HTML). Він не покладається на селектори, створені індивідуумом, щоб посилатися на елемент. Якщо ви перемістите позицію або кнопку "Подати", або додаєте додатковий крок як тест A / B, агент зможе знайти свій шлях до завершення мети, навіть якщо оригінальні елементи перемістилися, або шлях змінився. Самооцінка: У агентичному тестуванні агент визначає проходження або провал залежно від того, чи була досягнута заявлена мета. Постійне навчання: чим більше агент взаємодіє з вашим додатком, тим краще він розпізнає сценарії щасливого шляху і те, що вважається «нормальним» виконанням завдань для конкретних компонентів інтерфейсу користувача. Коли тестування агентів є (і не є) правильним Я думаю, що ви не повинні викидати кожен сценарій, написаний для Playwright, який ви володієте завтра. Є деякі сфери, де цей підхід є дійсно : strong fit Потік користувачів від кінця до кінця (E2E): Все, що включає в себе введення в експлуатацію, оплату, управління обліковими записами та виконання всіх CRUD-діяльностей; Сути регресії: постійно змінюється інтерфейс користувача, який випускається швидше, ніж ви можете перевірити вручну; Швидко рухомий інтерфейс: валідація нових випусків вчасно. Складні продукти: продукти, де найкращим способом підтвердити досвід було ручне тестування, але з очевидних причин це відбувається недостатньо швидко. Однак на даний момент це менш ніж ідеальне рішення для: Високо інтерактивні додатки, такі як Notion.Webgl ігри або webgl-базова інтерфейс також важко перевірити агентів. Він дуже динамічний від сеансу до сеансу. Реальність полягає в тому, що більшість команд, про які ми говоримо, використовують гібридний підхід.Вони покладаються на скрипти для дрібних деталей і дозволяють агентам AI справлятися з широкими і складними потоками користувачів. Тобто, ми бачили, що компанії, які приймають агентський QA, отримують до 529% ROI з 3-місячним відшкодуванням. Завантажити Агентичне тестування представляє собою зовсім інший підхід, ніж традиційна рамка тестування, з одностороннім зв'язком між вашими бажаними цілями та вашими реальними результатами. Якщо ваша команда витрачає більше часу на підтримку інфраструктури тестування, ніж на виявлення реальних помилок, агентська автоматизація тестування може допомогти заповнити цю прогалину. Хочете дізнатися більше?Ось деякі корисні матеріали: Від ручного до автономного QA: Крок за кроком перехідний посібник Чи варта автоматизація QA? реальний ROI інтелектуального тестування з QA.tech і дізнайтеся, як наші агенти можуть перевірити ваші критичні потоки для вашого наступного випуску. Завантажити Demo
