Rethinking latency-sensitive DynamoDB apps for multicloud, multiregion deployment התהליך כולו של מסירת מודעה מתרחש בתוך 200 עד 300 מילישניות.חיפושי מסד הנתונים שלנו חייבים להתבצע במילישניות אחת.עם מיליארדי עסקאות ביום, מסד הנתונים חייב להיות מהיר, מגוון ואמין. טוד קולמן, מייסד טכני ואדריכל ראשי ב-Yieldmo התהליך כולו של מסירת מודעה מתרחש בתוך 200 עד 300 מילישניות.חיפושי מסד הנתונים שלנו חייבים להתבצע במילישניות אחת.עם מיליארדי עסקאות ביום, מסד הנתונים חייב להיות מהיר, מגוון ואמין. טוד קולמן, מייסד טכני ואדריכל ראשי ב-Yieldmo עסקי הפרסום המקוונים של Yieldmo תלויים בעיבוד מאות מיליארדי בקשות פרסום יומיות עם תשובות לעיכוב של שניות.השירותים של החברה התבססו בתחילה על DynamoDB, שהצוות מעריך עבור הפשטות והיציבות. בשיחה האחרונה ב טוד קולמן, המייסד הטכני והארכיטקט הראשי של Yieldmo, סיפר על האתגרים הטכניים שהחברה עומדת בפניו ומדוע הצוות התקדם בסופו של דבר עם API תואם DynamoDB של ScyllaDB. פסטיבל Monster Scale אתה יכול לצפות בשיחה המלאה שלו למטה או להמשיך לקרוא עבור סקירה. https://youtu.be/sk0mIiaOwM8?embedable=true Lost Business - עסק אבוד Yieldmo היא פלטפורמת פרסום מקוונת שמחברת מפרסמים ומפרסמים בזמן אמת כעלויות דפים.כמעט כל בקשה לפרסום מעוררת שאלת מסד נתונים שמחפשת תובנות למידה מכונה ומידע זהות המכשיר. רכישת מכירות יעילות עזרו לשותפים להחליט אם להציע מעקב אחר המודעות שכבר הוצגו למכשיר, כך המפרסמים יכולים לנהל את קצוות התדירות ולתקן את אספקת המודעות כל צינור הפרסום מסתיים ב-200 עד 300 מילישניות בלבד, רוב הזמן הזה נצרך על ידי שותפים להעריך ולשים הצעות. כאשר משתמש מבקר באתר אינטרנט, בקשה לפרסום נשלחת ל-Yieldmo. פלטפורמת Yieldmo בוחנת את הבקשה. היא מבקשת פרסומות פוטנציאליות מהשותפים שלה. היא מבצעת מכירה כדי לקבוע את ההצעה המנצחת. החיפוש חייב להתרחש לפני כל שיחות לשותפים, והחיפושים האלה חייבים להשלים עם עיכובים של מילישניות יחידים.קולמן הסביר, "עם מיליארדי עסקאות ביום, המסד הנתונים חייב להיות מהיר, גמיש ואמין. DynamoDB צמיחה כאבים התשתית הייצור של Yieldmo פועלת על AWS, כך DynamoDB הייתה בחירה הגיונית כאשר הצוות בנה את האפליקציה שלהם. ראשית, DynamoDB הפך יותר ויותר יקר ככל שהעסק גדל, ושנית, החברה רצתה את האפשרות להפעיל שרתים למודעות על ספקי ענן מעבר ל-AWS. קולמן סיפר: "באזורים מסוימים, למשל, במרכזי הנתונים של מזרח ארה"ב, AWS ו-GCP [Google Cloud Platform] קרובים מספיק כדי שהעיכוב הוא מינימלי. שם, אין בעיה להכות את מסד הנתונים של DynamoDB שלנו ממשרת מודעות המופעל ב-GCP. עם זאת, כאשר ניסינו להפעיל קבוצת שירות מודעות מבוססת GCP באמסטרדם תוך גישה ל-DynamoDB בדבלין, העיכוב היה גבוה מדי. DynamoDB חלופות צוות Yieldmo התחיל לחקור חלופות DynamoDB שיכולות להתאים את עומסי העבודה של מסדי הנתונים הקשים ביותר לקריאה. זרם מתמשך של נתונים בזמן אמת מהשותפים שלהם, חיוני כדי להתאים את הנתונים של Yieldmo עם שלהם עדכוני המשלוח המבוססים על תובנות למידה מכונה שנוצרו מהנתונים ההיסטוריים שלהם בהתחשב באיזון זה של קריאות בתדירות גבוהה וכתובות מובנות, הם חיפשו מסד נתונים שיכול להתמודד עם גישה בקנה מידה גדול, באיחור נמוך תוך ניהול יעיל של עדכונים מקבילים ללא התדרדרות ביצועים. הקבוצה החליטה תחילה להישאר עם DynamoDB ולהוסיף שכבת קח, עם זאת, הם מצאו כי קח לא יכול לפתור את הבעיה של עיכוב גיאוגרפי והפסדים קח יהיו איטיים עוד יותר עם אפשרות זו. הם גם חקרו את Aerospike, אשר הציע תמיכה במהירות ובתמיכה בין עננים. עם זאת, הם למדו כי אינדקס בזיכרון של Aerospike היה דורש קבוצה גדולה ויקרות להפליא כדי להתמודד עם מספר גדול של אובייקטים נתונים קטנים של Yieldmo. לאחר מכן הם גילו את ScyllaDB, אשר גם סיפק תמיכה במהירות ובתמיכה בין עננים, אבל עם API תואם DynamoDB (Alternator) ועלויות נמוכות יותר. קולמן סיפר: "ScyllaDB תומך בהפצה בין עננים, דורש מספר שרתים ניתן לניהול והציע עלויות תחרותיות, והכי טוב, ה-API שלו היה תואם ל-DynamoDB, מה שאומר שניתן היה לעבור עם שינויים מינימליים בקוד. ScyllaDB הערכה, הגירה והתוצאות כדי להתחיל להעריך כיצד ScyllaDB עובד בסביבה שלהם, הצוות העביר תת קבוצה של שרתים מודעות באזור אחד.זה כולל העברת טראבייטים מרובים תוך שמירה על עדכונים בזמן אמת. השלב הבא היה להעביר את כל הנתונים לחמישה אזורים של AWS. שלב זה נמשך כשבועיים.אחרי הערכת הביצועים, Yieldmo קידמה את ScyllaDB למצב ראשוני ובסופו של דבר הפסיקה לכתוב ל-DynamoDB ברוב האזורים. בהסתכלות על ההעברה כמעט שנה לאחר מכן, קולמן סיכם: "היתרונות הגדולים ביותר הם גמישות רב-ענן, אבל גם ללא זה, ההעברה הייתה שווה את זה. עלויות מסד הנתונים נקטו בערך במחצית בהשוואה ל-DynamoDB, גם עם מחירים של כוח מוגבל, ואנחנו ראו שיפורים צנועים באיטיות. ScyllaDB הוכיח אמין: הצוות שלהם מפקח על הקולסטרים שלנו, מזהיר אותנו על בעיות ומייעץ לנו על גודל. כיצד ScyllaDB משווה ל- DynamoDB
