האימייל הגיע בשעה 3:47 בערב ביום שישי. "הדפדפן האנליטי שלנו לוקח 4 דקות להורדה.המשתמשים מתלוננים.האם נוכל לתקן את זה?" היינו מוציאים 8,000 דולר בחודש על מסד נתונים שעושה בעיקר מתמטיקה על גיליונות. הבוס שלי שאל את השאלה שכל מהנדס חושש: "מה אם היינו פשוט ... משתמשים במסד נתונים אחר?" קל מאוד, איזה אחד בסוף השבוע הבא יצרתי רשימה: 
 
 
 
 
 
 
 
 
 ClickHouse (כולם אומרים שזה מהיר) DuckDB (החום החדש) PostgreSQL (מה אנחנו משתמשים עכשיו) סנפלינג (מה המתחרים שלנו משתמשים) TimescaleDB (מישהו על Reddit ממליץ על זה) MongoDB (למה לא) Elasticsearch (יש לנו כבר את זה) MySQL (רק כדי לראות כמה רע זה יכול להיות) ואז עשיתי מה שכל אדם הגיוני היה עושה: החלטתי לבדוק את כולם עם אותם נתונים ולראות מה קרה. זה הסיפור הזה. אותה שאלה, שמונה תשובות שונות תחשבו על זה כך: דמיינו שאתם צריכים לספור כל מכונית אדומה שעברה את הבית שלכם בחודש שעבר. אתה יכול: 
 
 
 
 כתוב את זה במחברת כפי שהם עוברים (כמו מסד נתונים מסורתי) קח תמונות של כל מכונית ומסדר אותן מאוחר יותר (כמו מסד נתונים של מסמכים) פשוט לספור את האדומים ולהתעלם מכל דבר אחר (כמו מסד נתונים של חנות עמודים) כל שיטה עובדת.אבל מי מהיר יותר?איזה עולה פחות?איזה שבור כאשר השכן שלך מתחיל להחנות 50 מכוניות אדומות ברחוב שלך? הייתי צריך לדעת. לקחתי 6 חודשים של נתוני מסחר אלקטרוני אמיתיים מהחנות שלנו: The Dataset: 
 
 
 
 
 847 מיליון אירועי רכישה אישית 120 מיליון לקוחות ייחודיים 450 אלף מוצרים 180 GB של נתונים גולמיים חמישה שאלות פשוטות שכל לוח ניתוח שואל: The Test: 
 
 
 
 
 
 כמה כסף אנחנו מרוויחים כל יום? מה היו 10 המוצרים המובילים שלנו בחודש זה? אילו לקוחות הוציאו הכי הרבה? מהו ערך ההזמנה הממוצע שלנו לפי מדינה? הצג את היסטוריית הרכישות המלאה של לקוח סוג של שאלות נשמעות פשוטות עד שיש לך 847 מיליון שורות להסתכל. יום שני בבוקר: הורדת הנתונים הפתעה ראשונה: לא כולם אוכלים נתונים באותו אופן. לקח 4 שעות לטעון הכל, כמו לראות את הצבע יבש, אבל הצבע הוא מספר. PostgreSQL זה דחוס את הנתונים כל כך הרבה כי 180 GB הפך 23 GB. ClickHouse הוא פשוט ... קרא את זה ישירות מהקבצים. "למה להעביר את זה?" זה נראה לשאול. DuckDB 11 שעות, התחלתי את הטעינה לפני השינה, והיא עדיין הולכת לארוחת בוקר. MongoDB העלתי את הקבצים, וזה אמר, "תודה, אני אשוב אליך." ואז זה עשה קצת עיבוד ברקע שלא יכולתי לראות. Snowflake עלות עד כה: $ 47 בזמן חישוב רק כדי להעביר נתונים. יום שלישי: The First Query כמה כסף אנחנו מרוויחים כל יום?" זהו השאלה הפשוטה ביותר האפשרית.הוספת את כל הרכישות; קבוצה אותם לפי תאריך. Results: 
 
 
 
 
 
 
 
 
 ClickHouse: 0.3 שניות DuckDB: 0.4 שניות PostgreSQL: 43 שניות TimescaleDB: 12 שניות MongoDB: 2 דקות, 17 שניות (לאחר מכן התרסק) שלג: 1.8 שניות Elasticsearch: 8 שניות MySQL: הפסקתי את זה אחרי 5 דקות תן לי לשים את זה בנקודת מבט. PostgreSQL – הבסיס הנתונים שאנחנו משתמשים בו כרגע – לקח כל כך הרבה זמן כדי לייצר burrito במיקרוגל. MongoDB היה צריך לחשוב על זה יותר מאשר הפסקה הקפה שלי, ואז לוותר לחלוטין. אבל הנה היכן זה הופך להיות מעניין. העלויות הנסתרות מהירות היא לא הכל לפעמים המכונית המהירה ביותר יש את הקילומטר הגרוע ביותר של גז. פעלתי כל שאלה 100 פעמים ומדדתי כמה זה באמת עולה: PostgreSQL: 
 
 
 
 זמן חיפוש: 43 שניות מחירי הדו"ח: $0.02 עלות חודשית (100 שאלות / יום): 60 $ ClickHouse: 
 
 
 
 זמן חיפוש: 0.3 שניות עלות על שאלה: $0.03 עלות חודשית (100 שאלות / יום): $ 90 צפו בClickHouse על פי הדיווח, זה היה 140 פעמים יותר מהיר. יקר יותר זה כמו להשוות פריוס לפרארי – הפרארי מהיר יותר, אבל הוא שותה גז. DuckDB: 
 
 
 
 זמן חיפוש: 0.4 שניות מחיר לשאלה: $0.00 עלות חודשית: 0 $ (הופעל על שרת היישומים שיש לנו כבר) זה שינה הכל. יום רביעי: שאלות מורכבות "הראה לי היסטוריית רכישות של לקוח ספציפי" נדרש לחקור את כל 847 מיליון השורות כדי למצוא אולי 50 רכישות. זה המקום שבו ההבדלים הגיעו . מוזר Test: Find customer #8472's purchases 
 
 
 
 
 Clash of Clans: 0.9 שניות (סרוק הכל, נמצאו 47 רכישות) PostgreSQL: 0.2 שניות (היו להם אינדקס, לקפוץ ישר אליהם) DuckDB: 1.2 שניות (סרוק הכל כמו ClickHouse) MongoDB: 0.1 שניות (נבנה בדיוק בשביל זה) PostgreSQL - הנתונים "ארוכים" - רק זכה. כי לפעמים הכלי הנכון אינו המהיר ביותר בכל דבר, זה הדבר המהיר ביותר שאתה באמת צריך. יום חמישי: כשהכל נשבר רציתי לראות מה קורה כאשר אתה דוחף את המערכות האלה יותר מדי. אז עשיתי משהו טיפשי: ביצעתי את כל חמשת השאלות בו זמנית, 50 פעמים כל אחת. 43 שניות הפכו ל-3 דקות. PostgreSQL: עדיין 0.3 שניות לשאול. פשוט שרוף דרך ה- CPU כאילו זה היה בחינם. ClickHouse: התרסק. רק מת לגמרי. מתברר, כאשר אתה מפעיל אותו בתוך היישום שלך, הוא משתף משאבים עם כל דבר אחר. . DuckDB: הכל שילם לי 12 דולר עבור 10 דקות של עבודה ואז שלח לי דואר אלקטרוני שמח על "טיפים אופטימיזציה עלויות חישוב". Snowflake: אני באמת לא בטוח מה זה עשה.השאלות פעלו, אבל התוצאות נראו... לא נכון? MongoDB: יום שישי: החלק שאף אחד לא מדבר עליו אתה יודע מה אף אחד לא מדבר על אלה "בסיס נתונים השוואת" פוסטים בלוג? • תחזוקה צוות DevOps שלנו כבר יודע את זה. PostgreSQL: נאלצתי ללמוד שפה חדשה לגמרי.התעודה הרגישה כאילו תורגמה מהרוסית על ידי מישהו שהיה מעצבן אותי.עלויות ההכשרה: כנראה 10 אלף דולר אם אנו מעסיקים מומחה. ClickHouse: קראו את המסמכים תוך 2 שעות, נבנו פרוטוטיפ ביום, עלות ההכשרה: כמעט אף אחד. DuckDB: התקשר למכירות שלוש פעמים כדי להבין את החשבון שלנו עדיין לא 100% בטוח איך המחיר שלהם עובד. Snowflake: מה למדתי בעצם אחרי שבועיים של בדיקות, הנה מה שמצאתי: אין מסד נתונים "הטוב ביותר" זה כמו לשאול, "מהו הרכב הטוב ביותר?" אתה אתה : 
 
 
 
 
 להעביר אדם אחד ברחבי העיר? (אופניים) להעביר משפחה? → תנועת 40 איש (אוטובוס) תנועת 500 איש? עבודות שונות דורשות כלים שונים. חנויות עמודים הן קסם אמיתי (לדברים מסוימים) ClickHouse ו- DuckDB אחסון נתונים על ידי במקום על ידי . קולונל רוז תארו לעצמכם טבלה עם מיליון שורות.אם ברצונכם להוסיף עמודה אחת, אין צורך להסתכל על השורות האחרות בכלל. עבור השאילתות "הוסף את כל המכירות", זה 100-1000 פעמים מהר יותר. עבור השאלות "ראה לי הכל על הלקוח #8472", זה למעשה איטי יותר. מהירות עולה כסף (לפעמים) מסדי הנתונים המהירים ביותר משתמשים לעתים קרובות במשאבים הגדולים ביותר.ClickHouse פעל את השאילתות הפשוטות שלנו מהר יותר ממה שאני יכול לדפוק, אבל הוא גם השתמש ב-16 ליבות CPU כדי לעשות זאת. DuckDB היה כמעט מהיר אבל פעל בתוך היישום הקיים שלנו. אין שרתים חדשים. העלות האמיתית היא לא מסד הנתונים זה הזמן שהצוות שלך מבלה: 
 
 
 
 ללמוד את Debugging זה להסביר לבוס שלך מדוע החשבון עלה PostgreSQL היה "איטי" בשאלות הארגוניות שלנו, אבל זה היה מהיר מספיק, והצוות שלנו כבר ידע איך להשתמש בו. לפעמים "טוב מספיק וידוע" מנצח "מושלם ומבלבל". מה שעשיתי בעצם זוכרים את החשבון של 8,000 דולר לחודש? לא החלפתי את מסד הנתונים. במקום זאת אני: 
 
 
 
 שמור על PostgreSQL עבור הדברים העסקיים (חשבונות משתמשים, הזמנות, קטלוג מוצרים) הוספת DuckDB לתיבת הדפדפן האנליטיקה (הופעל לצד האפליקציה שלנו, אין תשתית חדשה) חישוב מראש של בקשות יקרות פעם בשעה (שמרו את התוצאות, משרתות אותן במהירות) עלות חודשית חדשה: 8,100 $ (100 $ עבור שרת DuckDB) זמן הטעינה של לוח הטעינה: 4 דקות → 0.8 שניות התגובה של הבוס: "מדוע לא עשינו את זה מוקדם יותר?" התשובה של מהנדס: "כי לפעמים אתה צריך לבדוק שמונה מסדי נתונים כדי לגלות שאתה צריך רק 0.2 של אחד." המספרים הנוכחיים (For the Nerds) אם אתה רוצה את הנתונים האדומים, הנה מה שמדייקתי: שאלה 1: איסוף ההכנסות היומי (847M שורות → 180 תוצאות) ClickHouse:     0.31s  ($0.03/query)  
DuckDB:         0.42s  ($0.00/query)
Snowflake:      1.80s  ($0.12/query)
TimescaleDB:   12.00s  ($0.02/query)
PostgreSQL:    43.00s  ($0.02/query)
Elasticsearch:  8.00s  ($0.04/query)
MySQL:        300.00s+ (stopped it)
MongoDB:      137.00s  (then crashed)
 שאלה 2: 10 המוצרים המובילים לפי הכנסה ClickHouse:     0.28s
DuckDB:         0.51s
Snowflake:      2.10s
PostgreSQL:    67.00s
TimescaleDB:   18.00s
 שאלה 3: חיפוש לקוחות (מצא 1 מתוך 47 רכישות של לקוחות) MongoDB:        0.11s  (indexed)
PostgreSQL:     0.23s  (indexed)
MySQL:          0.31s  (indexed)
ClickHouse:     0.94s  (full scan)
DuckDB:         1.18s  (full scan)
TimescaleDB:    0.41s  (indexed)
 זמן טעינה של נתונים (180 GB) DuckDB:          0m  (reads files directly)
ClickHouse:     47m  (compressed to 23 GB)
MySQL:          89m
TimescaleDB:   142m
PostgreSQL:    238m
Snowflake:     ???  (async, took ~30m but unclear)
MongoDB:       687m  (11+ hours)
 אחסון אפקטיבי (180 GB) ClickHouse:     23 GB  (87% compression)
DuckDB:        180 GB  (0%, reads source files)
PostgreSQL:    340 GB  (89% overhead - indexes)
MongoDB:       520 GB  (189% overhead)
Snowflake:      41 GB  (77% compression)
TimescaleDB:    89 GB  (51% overhead)
 מסקנה כדי לצבור מיליוני שורות, השתמש בחנות עמודות (ClickHouse / DuckDB). כדי למצוא רשומות ספציפיות: השתמש בחנות שורות עם אינדקסים (PostgreSQL / MongoDB). לכל דבר: השתמש בשניהם ולהפסיק לנסות להפוך מסד נתונים אחד לעשות הכל. הדבר שאף אחד לא אומר לך על מסדי נתונים: הטוב ביותר הוא לא המהיר ביותר.

Read My Stories

האודיו הזה מופק בשפת המקור של הסיפור!

ביליתי שבועיים בדיקת 8 מסדי נתונים עם אותה שאלה - הנה מה שקרה באמת

About Author

הערות

תלו תגים

מאמר זה הוצג ב

Related Stories

100 Days of AI, Day 12: How to Quickly Demo Your Gen AI Experiments to Get Feedback

Synthetic Audio is Now Available for 70,000+ HackerNoon Stories

The TechBeat: Investigating Internet Freedom: Unseen Aspects of Our Online Existence (1/22/2024)

The TechBeat: Python's Testing Playbook: Building Bulletproof Code (1/18/2024)

100 Days of AI, Day 12: How to Quickly Demo Your Gen AI Experiments to Get Feedback

Synthetic Audio is Now Available for 70,000+ HackerNoon Stories

The TechBeat: Investigating Internet Freedom: Unseen Aspects of Our Online Existence (1/22/2024)

The TechBeat: Python's Testing Playbook: Building Bulletproof Code (1/18/2024)

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps