ای میل ایک جمعہ کو 3:47 بجے پہنچ گیا. "ہمارے تجزیہ ڈسپلے کو لوڈ کرنے کے لئے 4 منٹ لگتے ہیں. صارفین شکایت کر رہے ہیں. کیا ہم اسے ٹھیک کر سکتے ہیں؟" ہم ایک ڈیٹا بیس پر ماہانہ 8،000 ڈالر خرچ کر رہے تھے جو بنیادی طور پر میزائل پر ریاضی کا کام کر رہا تھا. میرے باس نے ہر انجینئر سے ڈرتے سوال پوچھا: "اگر ہم صرف ... ایک مختلف ڈیٹا بیس کا استعمال کرتے ہیں تو؟" سادہ ۔ ۔ ۔ ۔ ۔ ۔ ۔ ۔ ۔ ۔ ۔ ۔ ۔ ۔ ۔ ۔ ۔ ۔ ۔ ۔ ۔ اس ہفتے میں، میں نے ایک فہرست بنایا: 
 
 
 
 
 
 
 
 
 ClickHouse (ہر کوئی کہتا ہے کہ یہ تیزی سے ہے) ڈک ڈی بی (The New Hotness) PostgreSQL (جو ہم اب استعمال کر رہے ہیں) Snowflake (جو ہمارے مقابلہ کار استعمال کرتے ہیں) TimescaleDB (Reddit پر کسی نے اس کی سفارش کی) MongoDB (کیونکہ کیوں نہیں) Elasticsearch (ہم نے پہلے سے ہی یہ ہے) MySQL (بس دیکھیں کہ یہ کتنا برا ہوسکتا ہے) پھر میں نے ایسا کیا جو کسی بھی منطقی شخص کرے گا: میں نے ان سب کو ایک ہی ڈیٹا کے ساتھ ٹیسٹ کرنے کا فیصلہ کیا اور دیکھیں کہ کیا ہوا. یہ وہ کہانی ہے ایک ہی سوال، آٹھ مختلف جوابات اس طرح سوچو: تصور کریں کہ آپ کو گزشتہ ماہ آپ کے گھر کے پیچھے چلنے والے ہر سرخ گاڑی کو شمار کرنے کی ضرورت تھی. آپ کر سکتے ہیں: 
 
 
 
 ان کے پاس جانے کے طور پر ایک نوٹ نوٹ میں لکھیں (جیسا کہ ایک روایتی ڈیٹا بیس) ہر گاڑی کی تصاویر بنائیں اور ان کو بعد میں ترتیب دیں (مثال کے طور پر ایک دستاویزات ڈیٹا بیس) صرف سرخوں کو شمار کریں اور باقی سب کچھ نظر انداز کریں (مثال کے طور پر ایک کالم اسٹور ڈیٹا بیس) ہر طریقہ کام کرتا ہے. لیکن کون سا سب سے تیزی سے ہے؟ کون سا سب سے کم قیمت ہے؟ کون سا توڑتا ہے جب آپ کے ساتھی آپ کے سڑک پر 50 سرخ گاڑیوں کو پارک کرنے کے لئے شروع کرتا ہے? مجھے جاننے کی ضرورت تھی میں نے ہمارے اسٹوریج سے 6 ماہ حقیقی ای کامرس ڈیٹا پکڑ لیا: The Dataset: 
 
 
 
 
 847 ملین انفرادی خریداری واقعات 120 ملین منفرد صارفین 450,000 مصنوعات تقریبا 180 GB خام ڈیٹا پانچ سادہ سوالات جو ہر تجزیہ ڈسپلے پوچھتا ہے: The Test: 
 
 
 
 
 
 ہم نے ہر روز کتنا پیسہ کمانا ہے؟ اس مہینے ہمارے اوپر 10 مصنوعات کیا تھے؟ کون سے صارفین سب سے زیادہ خرچ کرتے ہیں؟ ملک کے مطابق ہمارے اوسط آرڈر کی قیمت کیا ہے؟ ایک گاہک کی مکمل خریداری کی تاریخ دکھائیں اس طرح کے سوالات جو سادہ لگتے ہیں جب تک آپ کو 847 ملین لائنوں کو دیکھنے کے لئے نہیں ہے. جمعہ صبح: ڈیٹا لوڈ کریں پہلی حیرت: وہ سب ڈیٹا کو ایک ہی طرح سے نہیں کھاتے ہیں. تمام چیزوں کو لوڈ کرنے کے لئے 4 گھنٹے لگتے ہیں. جیسے پینٹ خشک دیکھنے کے لئے، لیکن پینٹ نمبر ہے. PostgreSQL یہ اعداد و شمار کو اتنا کم کر دیا کہ 180 GB 23 GB بن گیا. میں نے اس بات کا یقین کرنے کے لئے تین بار چیک کیا کہ کچھ بھی نہیں ہے. ClickHouse یہ صرف ... فائلوں سے براہ راست پڑھیں. "کیوں اسے منتقل کریں؟" یہ پوچھنا لگتا تھا. DuckDB 11 گھنٹے.11 گھنٹے.میں نے سونے سے پہلے چارج شروع کیا، اور یہ اب بھی صبح کے لئے جا رہا تھا. MongoDB میں نے فائلوں کو اپ لوڈ کیا، اور یہ کہا، "شکر ہے، میں آپ کے پاس واپس آؤں گا." پھر اس نے پیچھے میں کچھ پروسیسنگ کیا جو میں نہیں دیکھ سکتا تھا. Snowflake قیمت اب تک: صرف ڈیٹا منتقل کرنے کے لئے کمپیوٹنگ وقت میں $ 47. جمعہ: پہلا سوال ’’ہم نے روزانہ کتنے پیسے لگائے؟‘‘ یہ سب سے سادہ ممکنہ سوال ہے. تمام خریداریوں کو شامل کریں؛ انہیں تاریخ کے مطابق گروپ کریں. Results: 
 
 
 
 
 
 
 
 
 ClickHouse: 0.3 سیکنڈ DuckDB: 0.4 سیکنڈ PostgreSQL: 43 سیکنڈ TimescaleDB: 12 سیکنڈ MongoDB: 2 منٹ، 17 سیکنڈ (پھر تباہ) برف: 1.8 سیکنڈ زمرہ:8 سیکنڈ MySQL: میں نے اسے 5 منٹ کے بعد روک دیا میں اس بات کو نقطہ نظر میں رکھ دوں گا۔ ClickHouse آپ کو چمکنے کے لئے وقت میں جواب دیا. PostgreSQL - جو ڈیٹا بیس ہم فی الحال استعمال کر رہے تھے - ایک burrito کو مائکروفوننگ کرنے کے لئے وقت لگتا ہے. MongoDB کو میری کافی کے وقت کے مقابلے میں اس کے بارے میں سوچنا پڑا، پھر مکمل طور پر چھوڑ دیا. لیکن یہاں یہ ہے جہاں یہ دلچسپ ہو جاتا ہے. چھپے ہوئے اخراجات کبھی کبھی سب سے تیز گاڑی سب سے بدترین گیس کی کلومیٹر ہے. میں نے ہر سوال 100 مرتبہ چلایا اور اس کی اصل قیمت کا اندازہ کیا: PostgreSQL: 
 
 
 
 درخواست کا وقت: 43 سیکنڈ ایک سوال کی قیمت: $0.02 ماہانہ قیمت (100 سوالات / دن): $ 60 ClickHouse: 
 
 
 
 سوال کا وقت: 0.3 سیکنڈ ایک سوال کی قیمت: $0.03 ماہانہ قیمت (100 سوالات / دن): $ 90 کلک کریں کلک کریں اگرچہ یہ 140 گنا تیزی سے ہے. زیادہ قیمتی جی ہاں. کیونکہ یہ بہت زیادہ CPU طاقت کا استعمال کرتا ہے. یہ ایک Prius کو ایک فیریرز کے ساتھ موازنہ کرنے کی طرح ہے - فیریا تیز ہے، لیکن یہ گیس پیتا ہے. DuckDB: 
 
 
 
 سوال کا وقت: 0.4 سیکنڈ ایک سوال کے لئے قیمت: $0.00 ماہانہ قیمت: $ 0 (ہم نے پہلے ہی موجود ایپلی کیشن سرور پر چلتا ہے) یہ سب کچھ بدل گیا ہے. جمعہ: پیچیدہ سوالات "مجھے ایک مخصوص گاہک کی خریداری کی تاریخ دکھائیں" ممکنہ طور پر 50 خریداریوں کو تلاش کرنے کے لئے تمام 847 ملین لائنوں کو دیکھنے کی ضرورت تھی. یہ وہ جگہ ہے جہاں اختلافات آتے ہیں . عجیب Test: Find customer #8472's purchases 
 
 
 
 
 ClickHouse: 0.9 سیکنڈ (سب کچھ سکن کیا گیا ہے، 47 خریداریوں کو پایا گیا ہے) PostgreSQL: 0.2 سیکنڈ (ہمارے پاس ایک انڈیکس تھا، ان کے حق پر چلا گیا) DuckDB: 1.2 سیکنڈ (ClickHouse کی طرح سب کچھ سکن) MongoDB: 0.1 سیکنڈ (اس کے لئے تعمیر کیا گیا ہے) PostgreSQL - "چلنے" ڈیٹا بیس - صرف جیت گیا. کیونکہ کبھی کبھی صحیح آلہ سب سے تیز نہیں ہے، یہ سب سے تیز چیز ہے جو آپ کو واقعی کی ضرورت ہے. جمعہ: جب سب کچھ خراب ہو گیا میں دیکھنا چاہتا تھا کہ جب آپ ان سسٹمز کو بہت زیادہ دباؤ دیتے ہیں تو کیا ہوتا ہے. لہذا میں نے کچھ احمقانہ کیا: میں نے پانچ سوالات کو ایک ہی وقت میں چلایا، ہر ایک 50 مرتبہ. 43 سیکنڈ 3 منٹ بن گئے. PostgreSQL: اب بھی 0.3 سیکنڈ ہر سوال پر. صرف CPU کے ذریعے گرنے کے طور پر یہ مفت تھا. ClickHouse: گر گیا. صرف مکمل طور پر مر گیا. پتہ چلتا ہے، جب آپ اسے آپ کے ایپلی کیشن کے اندر چلائیں تو، یہ ہر چیز کے ساتھ وسائل کا اشتراک کرتا ہے. . DuckDB: سب کچھ اس نے مجھے 10 منٹ کے کام کے لئے 12 ڈالر ادا کیا. پھر مجھے ایک خوشگوار ای میل بھیج دیا "کاسٹ کی قیمتوں کو بہتر بنانے کے تجاویز". Snowflake: میں واقعی اس بات کا یقین نہیں کر رہا ہوں کہ یہ کیا کر رہا تھا.پرس چل رہے تھے، لیکن نتائج نظر آتے تھے ... غلط؟ جیسے یہ ڈیٹا گر رہا تھا؟ میں نے یہ کبھی نہیں سوچا. MongoDB: جمعہ: وہ حصہ جس کے بارے میں کوئی بات نہیں کرتا کیا آپ جانتے ہیں کہ ان "DataBase Comparison" بلاگ پوسٹوں میں کسی نے کیا ذکر نہیں کیا ہے؟ برقرار رکھنے کے ہمارا DevOps ٹیم پہلے سے ہی جانتا ہے. ٹریننگ کی قیمت: $0. PostgreSQL: میں نے ایک مکمل طور پر نیا سوالات کی زبان سیکھنے کی ضرورت تھی. دستاویزات محسوس ہوتا تھا کہ یہ روسی سے کسی شخص کی طرف سے ترجمہ کیا گیا تھا جو مجھ سے ناراض تھا. ClickHouse: 2 گھنٹے میں دستاویزات پڑھیں. ایک دن میں ایک پروٹوکول بنائیں. تربیت کی لاگت: بنیادی طور پر کوئی. DuckDB: ہمارے اکاؤنٹ کو سمجھنے کے لئے تین بار فروخت کال کیا. اب بھی 100% یقین نہیں ہے کہ ان کی قیمت کیسے کام کرتی ہے. Snowflake: میں نے واقعی کیا سیکھا دو ہفتوں کے ٹیسٹ کے بعد، یہاں وہی ہے جو میں نے پایا: 1۔ بہترین ڈیٹا بیس نہیں ہے یہ پوچھنے کی طرح ہے، "سب سے بہتر گاڑی کیا ہے؟" آپ ہیں : 
 
 
 
 
 ایک شخص کو شہر کے ذریعے منتقل کرنے کے لئے؟ (بیک) ایک خاندان کو منتقل کرنے کے لئے؟ (کار) 40 لوگوں کے لئے سفر؟ (بس) 500 لوگوں کو منتقل کرنے کے لئے؟ (طیارے) مختلف کاموں کو مختلف آلات کی ضرورت ہے. Column-Stores Are Genuinly Magic (For Certain Things) (کچھ چیزوں کے لئے) ClickHouse اور DuckDB اسٹوریج ڈیٹا کی طرف سے کی بجائے . کالم راوی اگر آپ ایک کالم شامل کرنا چاہتے ہیں تو، آپ کو دوسرے کالموں کو دیکھنے کی ضرورت نہیں ہے. "ہر فروخت کو شامل کریں" کے لئے، یہ 100-1000X تیزی سے ہے. "مجھے کلائنٹ #8472 کے بارے میں سب کچھ دکھائیں" کے سوالات کے لئے، یہ واقعی طویل ہے. زبردست پیسہ خرچ کرتا ہے (بعض اوقات) سب سے تیزی سے ڈیٹا بیس اکثر سب سے زیادہ وسائل کا استعمال کرتے ہیں. ClickHouse ہماری سادہ درخواستوں کو زیادہ تیزی سے چل رہا تھا جو میں چمک سکتا تھا، لیکن یہ بھی 16 CPU کورز کا استعمال کرتے ہوئے ایسا کرنے کے لئے تھا. DuckDB تقریبا اسی طرح تیزی سے تھا لیکن ہمارے موجودہ ایپلی کیشن کے اندر چل رہا تھا. کوئی نیا سرور. حقیقی قیمت ڈیٹا بیس نہیں ہے یہ وہ وقت ہے جو آپ کی ٹیم خرچ کرتی ہے: 
 
 
 
 یہ سیکھنے Debugging کے لئے آپ کے باس کو وضاحت کریں کہ کیوں بل اٹھایا گیا ہے PostgreSQL ہمارے مجموعی پوزیشنز میں "چل گیا" لیکن یہ کافی تیزی سے تھا اور ہماری ٹیم پہلے سے ہی اس کا استعمال کرنے کے لئے جانتی تھی. کبھی کبھی "بہت اچھا اور مشہور" " کامل اور پیچیدہ" کو شکست دیتا ہے. میں نے واقعی کیا کیا آپ کو یاد ہے کہ $ 8،000 / ماہ اکاؤنٹ؟ میں نے ڈیٹا بیس کو تبدیل نہیں کیا. اس کے بجائے، میں: 
 
 
 
 ٹرانسمیشن چیزوں کے لئے PostgreSQL کو برقرار رکھیں (صارف اکاؤنٹس، آرڈر، مصنوعات کی فہرست) تجزیات کے ڈسپلے کے لئے اضافی DuckDB (ہمارے ایپ کے قریب چلتا ہے، کوئی نیا انٹرفیس نہیں) ایک گھنٹہ میں ایک بار مہنگی درخواستوں کو پہلے سے ہی شمار کیا گیا تھا (تعداد نتائج، فوری طور پر ان کی خدمت کی) نئے ماہانہ قیمت: $ 8,100 (DukDB سرور کے لئے $ 100) ڈسپلے لوڈ کا وقت: 4 منٹ → 0.8 سیکنڈ وزیر اعظم نے کہا کہ ’ہم نے اس سے پہلے ایسا کیوں نہیں کیا؟‘ انجینئر کا جواب: "کیونکہ کبھی کبھی آپ کو آٹھ ڈیٹا بیسوں کی جانچ پڑتال کرنے کی ضرورت ہوتی ہے کہ آپ کو صرف ایک کے 0.2 کی ضرورت ہوتی ہے." The Actual Benchmark Numbers (دوسروں کے لئے) اگر آپ خام اعداد و شمار چاہتے ہیں تو، یہاں میں نے کیا پیمائش کی ہے: Query 1: Daily Revenue Aggregation (847M لائنوں → 180 نتائج) ClickHouse:     0.31s  ($0.03/query)  
DuckDB:         0.42s  ($0.00/query)
Snowflake:      1.80s  ($0.12/query)
TimescaleDB:   12.00s  ($0.02/query)
PostgreSQL:    43.00s  ($0.02/query)
Elasticsearch:  8.00s  ($0.04/query)
MySQL:        300.00s+ (stopped it)
MongoDB:      137.00s  (then crashed)
 Query 2: Top 10 مصنوعات کی طرف سے آمدنی ClickHouse:     0.28s
DuckDB:         0.51s
Snowflake:      2.10s
PostgreSQL:    67.00s
TimescaleDB:   18.00s
 Query 3: Customer Lookup (1 صارف کے 47 خریداریوں کو تلاش کریں) MongoDB:        0.11s  (indexed)
PostgreSQL:     0.23s  (indexed)
MySQL:          0.31s  (indexed)
ClickHouse:     0.94s  (full scan)
DuckDB:         1.18s  (full scan)
TimescaleDB:    0.41s  (indexed)
 ڈیٹا لوڈ کا وقت (180 GB) DuckDB:          0m  (reads files directly)
ClickHouse:     47m  (compressed to 23 GB)
MySQL:          89m
TimescaleDB:   142m
PostgreSQL:    238m
Snowflake:     ???  (async, took ~30m but unclear)
MongoDB:       687m  (11+ hours)
 اسٹوریج کی کارکردگی (180 GB ان پٹ) ClickHouse:     23 GB  (87% compression)
DuckDB:        180 GB  (0%, reads source files)
PostgreSQL:    340 GB  (89% overhead - indexes)
MongoDB:       520 GB  (189% overhead)
Snowflake:      41 GB  (77% compression)
TimescaleDB:    89 GB  (51% overhead)
 نتیجہ ملین لائنوں کو جمع کرنے کے لئے، ایک کالم اسٹوریج (ClickHouse / DuckDB) کا استعمال کریں. مخصوص ریکارڈز کو تلاش کرنے کے لئے: انڈیکس کے ساتھ ایک لائن سٹور (PostgreSQL / MongoDB) کا استعمال کریں. سب کے لئے: دونوں کا استعمال کریں اور ایک ڈیٹا بیس کو سب کچھ کرنے کی کوشش کرنے سے روکیں. ڈیٹا بیس کے بارے میں کوئی بھی آپ کو نہیں بتاتا ہے: سب سے بہتر سب سے تیزی سے نہیں ہے. یہ وہ ہے جو آپ کی ٹیم واقعی 3 بجے آپ کو کال کرنے کے بغیر استعمال کر سکتی ہے.

Read My Stories

یہ آڈیو کہانی کی اصل زبان میں تیار کی گئی ہے!

میں نے ایک ہی سوال کے ساتھ 8 ڈیٹا بیسوں کو ٹیسٹ کرنے کے لئے دو ہفتوں خرچ کیا - یہاں یہ ہے کہ واقعی کیا ہوا

About Author

تبصرے

ہینگ ٹیگز

یہ مضمون اس میں پیش کیا گیا تھا۔

Related Stories

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

AI Search Traffic Marketshare for Calling HackerNoon Blogs: 52% OpenAI, 30% Amazon & 18% Perplexity

On Sunday, the 26th of November, 1631

"Growing Businesses Gives Me a Sense of Purpose." says Flow Ninja Founder/CEO

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

AI Search Traffic Marketshare for Calling HackerNoon Blogs: 52% OpenAI, 30% Amazon & 18% Perplexity

On Sunday, the 26th of November, 1631

"Growing Businesses Gives Me a Sense of Purpose." says Flow Ninja Founder/CEO

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps