A la L'arquitecte de rendiment Sudhakar Reddy Narra va demostrar com les eines de prova de rendiment convencionals desaprofiten totes les maneres en què els agents d'IA realment es trenquen sota càrrega. Conferència d'Istanbul Conferència d'Istanbul Quan els enginyers de rendiment testen aplicacions web tradicionals, les mètriques són senzilles: temps de resposta, rendiment i taxes d'error. Colpeja el sistema amb milers de sol·licituds simultànies, mira els gràfics i identifica les barreres. Però els sistemes d'IA no es trenquen de la mateixa manera. En la Conferència TestIstanbul del mes passat, l'arquitecte de rendiment Sudhakar Reddy Narra va atreure una de les multituds més grans de l'esdeveniment, 204 participants de 347 participants en total, per explicar per què els enfocaments tradicionals de proves de càrrega són fonamentalment cecs a com els agents d'IA fracassen en la producció. "Un agent d'IA pot retornar respostes perfectes HTTP 200 en menys de 500 mil·lisegons i donar respostes completament inútils", va dir Narra a l'audiència. La bretxa d'intel·ligència El problema bàsic, segons Narra, és que els sistemes d'IA no són deterministes. alimenta la mateixa entrada dues vegades, i es podrien obtenir diferents sortides, tant tècnicament correctes, però variants en qualitat. Una IA de servei al client podria resoldre brillantment una consulta en un moment, i després donar una resposta genèrica, inútil la següent, encara que ambdues transaccions semblin idèntiques al monitoratge de rendiment estàndard. Aquesta variabilitat crea reptes de proves que les eines convencionals no estaven dissenyades per fer front. Les mètriques de temps de resposta no revelen si l'IA realment va entendre la intenció de l'usuari. Els números de transmissions no mostren que el sistema està cremant a través de la seva "finestra de context", els models de memòria de treball de la IA utilitzen per mantenir la coherència de la conversa, i comencen a perdre el rastre del que els usuaris estan demanant. "Estem mesurant la velocitat quan hauríem de mesurar la intel·ligència sota càrrega", va argumentar Narra. Noves mètriques per a un nou problema La presentació de Narra va esbossar diverses mètriques de rendiment específiques de la IA que els marcs de prova ignoren actualment: Temps de resolució intencionada: Quant de temps triga la IA a identificar el que realment vol un usuari, separat de la latència de resposta crua. Una mesura de la incertesa del sistema en generar respostes.La confusió alta sota càrrega sovint precedeix la degradació de la qualitat que els usuaris noten, però les eines de monitoratge no ho fan. Token throughput: En comptes de mesurar les sol·licituds per segon, rastreu quants tokens les unitats fonamentals de processament de text que el sistema gestiona. Utilització de finestres de context: Com de a prop està el sistema d'esgotar la seva memòria de treball. Un agent que opera amb una capacitat de context del 90% és una conversa que s'allunya del fracàs, però el monitoratge tradicional no veu cap senyal d'advertència. Llindar de degradació: El nivell de càrrega en què la qualitat de la resposta comença a disminuir, fins i tot si els temps de resposta segueixen sent acceptables. A diferència de les aplicacions tradicionals, on cada sol·licitud costa aproximadament el mateix per processar, les interaccions d'IA poden variar de cèntims a dòlars depenent de la quantitat de "pensament" computacional que es produeix. Provar l’imprevisible Narra va destacar un repte pràctic: generar dades de prova realistes per a sistemes d'IA és considerablement més difícil que per a aplicacions convencionals. Una prova de login necessita un nom d'usuari i una contrasenya. El seu enfocament consisteix a extreure patrons d'intencions dels registres de producció, i després a generar de forma programàtica variacions: sinònims, refraseig, casos d'avantguarda. L'objectiu és crear conjunts de dades sintètics que simulin la imprevisibilitat humana a escala sense simplement reproduir les mateixes consultes repetidament. "No es pot carregar la prova d'una IA amb 1.000 còpies de la mateixa pregunta", va explicar. "El sistema tracta la repetició de manera diferent de la varietat genuïna. El problema del model de conducció Una altra complexitat Narra va destacar: els sistemes d'IA no es mantenen estàtics. A mesura que els models es reentrenen o s'actualitzen, les seves característiques de rendiment canvien fins i tot quan el codi circumdant es manté inalterat. Un agent que va manejar 1.000 usuaris simultani còmodament el mes passat podria lluitar amb 500 després d'una actualització del model, no a causa de bugs, sinó perquè el nou model té diferents patrons de consum de recursos. "Això vol dir que les proves de rendiment no poden ser una validació única", va dir Narra. "Necessites proves contínues a mesura que evoluciona la IA". Va descriure l'extensió d'eines de proves de càrrega tradicionals com Apache JMeter amb capacitats conscients de la IA: plugins personalitzats que mesuren les taxes de processament de token, rastreguen l'ús del context i monitoritzen l'exactitud semàntica durant la càrrega, no només la velocitat. Resiliència a l'Edge La presentació també va cobrir proves de resiliència per a sistemes d'IA, que depenen d'API externes, motors de inferència i maquinari especialitzat, cadascun d'ells un punt de fracàs potencial. Els sistemes tradicionals funcionen o llancen errors. els sistemes d'intel·ligència artificial sovint fracassen gradualment, degradant-se de útil a genèric a confús sense mai "trencament" tècnic. "Els problemes més difícils de capturar són aquells en què tot es veu bé en els registres, però l'experiència de l'usuari és terrible", va assenyalar. Qüestions d'adopció de la indústria El mercat de proves d'IA està naixent, i la majoria de les organitzacions encara estan descobrint el desplegament bàsic d'IA, per no parlar de l'enginyeria de rendiment sofisticada. Alguns practicants argumenten que les eines d'observació existents es poden simplement ampliar amb noves mètriques en comptes de requerir paradigmes de proves completament nous. principals proveïdors de monitoratge com DataDog i New Relic han afegit característiques específiques per a la IA, suggerint que el mercat s'està movent d'una manera incremental en comptes de revolucionària. Narra va reconèixer que el camp és primerenc: "La majoria dels equips no s'adonen que ho necessiten fins que ja han enviat alguna cosa que trenca la producció. Mirant cap endavant L'alta presència a la sessió de TestIstanbul de Narra, que va atreure gairebé el 60% dels participants a la conferència, suggereix que la comunitat de proves reconeix que hi ha una bretxa entre com funcionen els sistemes d'IA i com es validen actualment. De moment, la pregunta que s’enfronten els equips d’enginyeria que desplegaran la IA a escala és senzilla: com es pot provar una cosa que està dissenyada per ser imprevisible? Segons Narra, la resposta comença admetent que les mètriques tradicionals no capten el que realment importa i construeixen noves que ho fan.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

Aquest àudio és produït a l'idioma original de la història!

Per què les proves de càrrega tradicionals fracassen en els sistemes d'IA moderns

About Author

COMENTARIS

Etiquetes penjant

AQUEST ARTICLE VA SER PRESENTAT A

Related Stories

The Jewel Robbery at the Grand Metropolitan

Meet Filestack: HackerNoon Company of the Week

Startups of The Year: Meet the AI Industry

Generar líders de qualitat ASAP: HackerNoon's Content-Relevant Niche Ads FTW

The Jewel Robbery at the Grand Metropolitan

Meet Filestack: HackerNoon Company of the Week

Startups of The Year: Meet the AI Industry

Generar líders de qualitat ASAP: HackerNoon's Content-Relevant Niche Ads FTW

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps