על The אדריכל הביצועים סודהאקר רדי נארה הראה כיצד כלי בדיקות ביצועים קונבנציונאליים מפספסים את כל הדרכים שבהן סוכני AI למעשה מתפרקים תחת עומס. תערוכת הבדיקות באיסטנבול תערוכת הבדיקות באיסטנבול כאשר מהנדסים ביצועים בודקים יישומים אינטרנט מסורתיים, המדיטציות הן פשוטות: זמן תגובה, עוצמה ושיעורי שגיאה. אבל מערכות AI לא שבורות באותו אופן. בכנס TestIstanbul של החודש שעבר, אדריכל הביצועים סודהאקר רדי נארה מושך את אחד ההמונים הגדולים של האירוע, 204 משתתפים מבין 347 משתתפים בסך הכל, כדי להסביר מדוע גישות בדיקת עומס מסורתיות הן עיוורות באופן בסיסי לאופן שבו סוכני AI נכשלים בייצור. "סוכן AI יכול להחזיר 200 תשובות HTTP מושלמות תוך פחות מ-500 מילישניות תוך מתן תשובות חסרות תועלת לחלוטין", אמר נארה לקהל. מחסום האינטליגנציה הבעיה העיקרית, על פי נארה, היא כי מערכות AI אינן דטרמיניסטיות. להזין את אותה כניסה פעמיים, ואתה יכול לקבל תוצאת שונה, שניהם טכניים נכונים, אבל משתנים באיכות. שירות לקוחות AI יכול לפתור מבריק שאלה ברגע אחד, ולאחר מכן לתת תשובה כללית, חסרת תועלת הבאה, גם אם שתי העסקאות נראות זהות למעקב ביצועים סטנדרטי. משתנה זה יוצר אתגרים בדיקות כי כלים קונבנציונליים לא נועדו להתמודד עם. מדדים זמן תגובה לא לחשוף אם AI באמת הבין את כוונתו של המשתמש. מספרים Throughput לא מראים כי המערכת שורפת דרך "חלון הקשר שלה," מודלים זיכרון עבודה AI להשתמש כדי לשמור על עקביות שיחה, ולהתחיל לאבד מעקב על מה המשתמשים שואלים על. "אנחנו מדדים מהירות כאשר אנחנו צריכים למדוד אינטליגנציה תחת עומס," נרה טען. מטרים חדשים לבעיה חדשה ההצגה של נארה מציינת מספר מדדים של ביצועים ספציפיים לאיי-איי שמערכת הבדיקה מתעלמת כרגע: זמן החלטה מכוונת: כמה זמן לוקח ל- AI לזהות מה המשתמש באמת רוצה, בנפרד מהעיכוב התגובה האקראית. ציון בלבול: מדידה של חוסר הוודאות של המערכת בעת יצירת תשובות.בלבול גבוה תחת עומס לעתים קרובות עובר התדרדרות באיכות שהמשתמשים רואים, אבל כלי מעקב לא. עוצמת טוקן: במקום למדוד בקשות לשנייה, לעקוב אחר מספר הטוקנים של יחידות העיבוד הבסיסיות של הטקסט שהמערכת מתייחסת. שימוש בחלון הקשר: עד כמה המערכת נמצאת קרובה לשימוש בזיכרון העבודה שלה.סוכן הפועל ב- 90% של יכולת הקשר הוא שיחה אחת שהופנתה מכישלון, אך מעקב מסורתי אינו רואה סימנים אזהרה. סף התדרדרות: רמת עומס שבה איכות התגובה מתחילה לרדת, גם אם זמני התגובה נשארים מקובלים. לעומת יישומים מסורתיים, שבהם כל בקשה עולה בערך אותו דבר לעיבוד, אינטראקציות AI יכולות להשתנות מפינים לדולרים בהתאם לכמות "חשיבה" חישובית מתרחשת. לנסות את הבלתי צפוי אתגר מעשי אחד נררה הדגיש: יצירת נתוני בדיקה מציאותיים עבור מערכות AI היא הרבה יותר קשה מאשר עבור יישומים קונבנציונליים. מבחן הכניסה צריך שם משתמש וסיסמה. הגישה שלו כרוכה בחילוץ דפוסים של כוונות מן יומני הייצור, ולאחר מכן ביצירת שינויים בתכנות: סינונים, תרגום מחדש, מקרים קצה.המטרה היא ליצור קבוצות נתונים סינתטיות שמייצגות חוסר צפייה אנושית בקנה מידה מבלי פשוט לשחק שוב ושוב את אותם שאילתות. "אתה לא יכול להעלות את הבדיקה של AI עם 1,000 עותקים של אותה שאלה," הוא הסביר. "המערכת מתמודדת עם חזרות באופן שונה מאשר מגוון אמיתי. בעיה של דגם Drift עוד מורכבות נררה הדגיש: מערכות AI לא להישאר סטטיים.כמו מודלים להתאמן מחדש או לעדכן, מאפיינים הביצועים שלהם להשתנות גם כאשר הקוד הסובב נשאר ללא שינוי. סוכן שעבד 1,000 משתמשים מקבילים בנוחות בחודש שעבר עשוי להתמודד עם 500 לאחר עדכון מודל, לא בגלל שגיאות, אלא בגלל המודל החדש יש דפוסי צריכת משאבים שונים. "זה אומר בדיקות ביצועים לא יכול להיות אימות חד פעמי," אמר נארה. "אתה צריך בדיקות מתמשכות כמו AI מתפתח." הוא תיאר את הרחבת כלי בדיקות עומס מסורתיים כגון Apache JMeter עם יכולות מודעות ל-AI: תוספים מותאמים אישית המדידים את שיעורי העיבוד של טוקינים, מעקבים את השימוש בהקשר, ומעקב אחר דיוק סמנטי תחת עומס, לא רק מהירות. Resilience ב The Edge ההצגה מכסה גם בדיקות התנגדות למערכות AI, אשר תלויות במערכות API חיצוניות, מנועי פירוט וחומרה מיוחדת, כל אחת מהן נקודת כישלון פוטנציאלית. מערכות AI לעתים קרובות נכשלות בהדרגה, מתדרדרת מהשימושית לגנרית לבלתי מבולבלת מבלי לעולם "להתפרק" מבחינה טכנית. "הבעיות הקשות ביותר לתפוס הן אלה שבהם הכל נראה בסדר בלוגים אבל חוויית המשתמש היא נוראית", הוא ציין. שאלות לגבי אימוץ תעשייה השוק של בדיקות AI נולד, ורוב הארגונים עדיין מגלים פיתוח בסיסי של AI, שלא לדבר על הנדסת ביצועים מתוחכמת. מתרגלים מסוימים טוענים כי כלים תצפית קיימים יכולים פשוט להיות מורחבים עם מדדים חדשים במקום לדרוש פרדיגמות בדיקה חדשות לחלוטין.יצרנים עיקריים של מעקב כמו DataDog ו- New Relic הוסיפו תכונות ספציפיות ל- AI, המעידים על כך שהשוק מתהפך בהדרגה ולא מהפכה. נרה הודה כי השדה הוא מוקדם: "רוב הצוותים לא מבינים שהם זקוקים לזה עד שהם כבר שלחו משהו שמפריע בייצור. מבט קדימה ההשתתפות הגבוהה בפגישה TestIstanbul של נארה, אשר מושכת כמעט 60% מהמשתתפים בכנס, מעידה על כך שהקהילת הבדיקה מזהה שיש פער בין האופן שבו מערכות AI פועלות לבין האופן שבו הן מאושרות כעת. בשלב זה, השאלה שעומדת בפני צוותי ההנדסה המשתמשים ב- AI בקנה מידה היא פשוטה: איך אתה מנסה משהו שנועד להיות בלתי צפוי? על פי נארה, התשובה מתחילה בהכרה בכך שמדדים מסורתיים אינם מציירים את מה שחשוב באמת ויוצרים חדשים שעושים זאת.

This story contains new, firsthand information uncovered by the writer.

Read My Stories

האודיו הזה מופק בשפת המקור של הסיפור!

מדוע בדיקות עומס מסורתיות נכשלות עבור מערכות AI מודרניות

About Author

הערות

תלו תגים

מאמר זה הוצג ב

Related Stories

97 Stories To Learn About Quicknode

The TechBeat: Nintendo Breaks Its Silence On Palworld (3/6/2024)

The TechBeat: Python's Testing Playbook: Building Bulletproof Code (1/16/2024)

The TechBeat: To Focus or Not Focus: How to Find the Right Product-Market Fit (3/14/2024)

97 Stories To Learn About Quicknode

The TechBeat: Nintendo Breaks Its Silence On Palworld (3/6/2024)

The TechBeat: Python's Testing Playbook: Building Bulletproof Code (1/16/2024)

The TechBeat: To Focus or Not Focus: How to Find the Right Product-Market Fit (3/14/2024)

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps