La cea Arhitectul de performanță Sudhakar Reddy Narra a demonstrat modul în care instrumentele convenționale de testare a performanței pierd toate modalitățile în care agenții AI se rupe de fapt sub sarcină. Conferința de testare din Istanbul Conferința de testare din Istanbul Atunci când inginerii de performanță testează aplicațiile web tradiționale, metrica este simplă: timpul de răspuns, debitul și ratele de eroare. Atingeți sistemul cu mii de solicitări simultane, urmăriți graficele și identificați blocajele. Dar sistemele AI nu se rupe în același mod. La conferința TestIstanbul din luna trecută, arhitectul de performanță Sudhakar Reddy Narra a atras una dintre cele mai mari mulțimi ale evenimentului, 204 de participanți din totalul de 347 de participanți, pentru a explica de ce abordările tradiționale de testare a încărcăturii sunt fundamental orbe la modul în care agenții AI eșuează în producție. „Un agent AI poate returna răspunsuri HTTP 200 perfecte în mai puțin de 500 de milisecunde, oferind în același timp răspunsuri complet inutile”, a spus Narra audienței. „Panourile de monitorizare sunt verzi, dar utilizatorii sunt frustrați. Gap-ul de inteligență Problema de bază, potrivit lui Narra, este că sistemele AI sunt nedeterministe. Furnizează aceeași intrare de două ori și puteți obține ieșiri diferite, ambele corect din punct de vedere tehnic, dar variază în calitate. Un serviciu pentru clienți AI ar putea rezolva briliant o interogare într-un moment, apoi să dea un răspuns generic, nefolositor următorul, chiar dacă ambele tranzacții arată identic cu monitorizarea performanței standard. Această variabilitate creează provocări de testare pe care instrumentele convenționale nu au fost concepute pentru a le gestiona.Metricile timpului de răspuns nu dezvăluie dacă AI a înțeles cu adevărat intenția utilizatorului.Numerele de trecere nu arată că sistemul arde prin "fereastra de context", modelele de memorie de lucru folosite de AI pentru a menține coerența conversației și încep să piardă urmărirea a ceea ce solicită utilizatorii. "Măsurăm viteza atunci când ar trebui să măsurăm inteligența sub sarcină", a argumentat Narra. Metode noi pentru o problemă nouă Prezentarea lui Narra a prezentat mai multe metrici de performanță specifice AI pe care cadrele de testare le ignoră în prezent: Timpul de rezoluție intenționată: Cât durează AI pentru a identifica ceea ce dorește de fapt un utilizator, separat de latența răspunsului brut. Scorul de confuzie: o măsură a incertitudinii sistemului atunci când generează răspunsuri. confuzia ridicată în timpul sarcinii precede adesea degradarea calității pe care utilizatorii o observă, dar instrumentele de monitorizare nu o fac. Token throughput: În loc să măsurați solicitările pe secundă, urmăriți câte tokenuri unitățile fundamentale de procesare a textului pe care le gestionează sistemul. Utilizarea ferestrei de context: Cât de aproape este sistemul de a-și epuiza memoria de lucru Un agent care funcționează la 90% capacitate de context este o conversație se întoarce de la eșec, dar monitorizarea tradițională nu vede semne de avertizare. Pragul de degradare: nivelul de sarcină la care calitatea răspunsului începe să scadă, chiar dacă timpul de răspuns rămâne acceptabil. Spre deosebire de aplicațiile tradiționale, unde fiecare cerere costă aproximativ același lucru de procesat, interacțiunile AI pot varia de la bani la dolari în funcție de cât de multă "gândire" computațională are loc. Testarea imprevizibilului O provocare practică a subliniat Narra: generarea de date de testare realiste pentru sistemele AI este considerabil mai dificilă decât pentru aplicațiile convenționale. Un test de conectare necesită un nume de utilizator și o parolă. Testarea unui agent de servicii pentru clienți AI necesită mii de întrebări diverse, imprevizibile care imită modul în care oamenii reali solicită fraze, complet cu ambiguitate, tipuri și variații lingvistice. Abordarea sa implică extragerea modelelor de intenție din jurnalele de producție, apoi generarea programatică a variațiilor: sinonime, refraze, cazuri de margine. Scopul este de a crea seturi de date sintetice care să simuleze imprevizibilitatea umană la scară fără a reproduce pur și simplu aceleași interogări în mod repetat. „Nu poți încărca un test AI cu 1.000 de copii ale aceleiași întrebări”, a explicat el. „Sistemul se ocupă de repetare în mod diferit decât varietatea reală. Problema modelului Drift O altă complexitate a subliniat Narra: sistemele AI nu rămân statice. Pe măsură ce modelele sunt retrainate sau actualizate, caracteristicile lor de performanță se schimbă chiar și atunci când codul din jur rămâne neschimbat. Un agent care a gestionat confortabil 1.000 de utilizatori simultani luna trecută s-ar putea lupta cu 500 după o actualizare a modelului, nu din cauza bug-urilor, ci pentru că noul model are modele diferite de consum de resurse. „Aceasta înseamnă că testarea performanței nu poate fi o validare o singură dată”, a spus Narra. „Aveți nevoie de teste continue pe măsură ce AI evoluează.” El a descris extinderea instrumentelor tradiționale de testare a sarcinii, cum ar fi Apache JMeter, cu capacități de conștientizare a inteligenței artificiale: plugin-uri personalizate care măsoară ratele de procesare a jetoanelor, urmăresc utilizarea contextului și monitorizează precizia semantică în timpul sarcinii, nu doar viteza. Rezistență la margine Prezentarea a acoperit, de asemenea, testarea rezilienței pentru sistemele AI, care depind de API-uri externe, motoare de inferență și hardware specializat, fiecare un punct de eșec potențial. Sistemele tradiționale fie funcționează, fie aruncă greșeli. sistemele AI de multe ori eșuează treptat, degradându-se de la util la generic la confuz fără a "rupe" din punct de vedere tehnic. "Cele mai dificile probleme sunt cele în care totul arată bine în jurnal, dar experiența utilizatorului este teribilă", a remarcat el. Întrebări privind adoptarea în industrie Dacă aceste abordări vor deveni standardul industriei rămâne neclară. piața de testare AI este în curs de dezvoltare, iar cele mai multe organizații încă dau seama despre implementarea de bază a AI, să nu mai vorbim de ingineria de performanță sofisticată. Unii practicieni susțin că instrumentele existente de observare pot fi pur și simplu extinse cu noi metrici, mai degrabă decât să necesite paradigme de testare complet noi. furnizorii majori de monitorizare, cum ar fi DataDog și New Relic, au adăugat caracteristici specifice AI, sugerând că piața se mișcă progresiv, mai degrabă decât revoluționar. Narra a recunoscut că terenul este timpuriu: "Cele mai multe echipe nu își dau seama că au nevoie de acest lucru până când nu au livrat deja ceva care întrerupe producția. Privind înainte Prezența ridicată la sesiunea TestIstanbul a lui Narra, care a atras aproape 60% din participanții la conferință, sugerează că comunitatea de testare recunoaște că există un decalaj între modul în care funcționează sistemele AI și modul în care sunt validate în prezent. În prezent, întrebarea cu care se confruntă echipele de inginerie care implementează AI la scară este simplă: Cum puteți testa ceva care este conceput pentru a fi imprevizibil? Potrivit lui Narra, răspunsul începe cu recunoașterea faptului că metrica tradițională nu captează ceea ce contează cu adevărat și construiește altele noi.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Acest audio este produs în limba originală a poveștii!

De ce testarea încărcăturii tradiționale eșuează pentru sistemele moderne AI

About Author

COMENTARII

Etichete suspendate

ACEST ARTICOL A FOST PREZENTAT IN

Related Stories

The TechBeat: Digital Transformation Success Stories in Mezzanine Lending (3/1/2024)

Intel Stuns Employees By Cutting Free Office Fruit (And Staff)

The Data Behind Colorado's First-ever Rural Venture Capital Pitch Event

Round the year with the stars by Garrett Putman Serviss - Table of Links

The TechBeat: Digital Transformation Success Stories in Mezzanine Lending (3/1/2024)

Intel Stuns Employees By Cutting Free Office Fruit (And Staff)

The Data Behind Colorado's First-ever Rural Venture Capital Pitch Event

Round the year with the stars by Garrett Putman Serviss - Table of Links

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps