И-мэйл нь долоо хоногийн долоо хоногийн үед 3:47 байна. "Our analytics dashboard is taking 4 minutes to load. User are complaining. Бид энэ нь сайжруулдаг вэ?" Би манай AWS төлбөр үзсэн. Бид жилд $8,000-ийг тавтай морилно уу. Тавтай морилно уу! Миний босоо бүх инженерийн сүнстэй асуултанд асуултад байна: "Хэв би зүгээр л ... өөр өгөгдлийг ашиглаж байсан уу?" Тавтай морилно уу. Ямар ч? Эдгээр долоо хоногт, би жагсаалт хийсэн: 
 
 
 
 
 
 
 
 
 ClickHouse (Всех нь хурдан гэж хэлдэг) DuckDB (The New Hotness) PostgreSQL (ямар ч бид одоо ашиглаж байна) Snowflake (ямар ч бидний өрсөлдөгчүүд ашигладаг) TimescaleDB (Reddit дээр хэн нэг үүнийг санал болгож байна) MongoDB (Хэнь хэзээ ч) Elasticsearch (ямар ч байна) MySQL (ямар ч энэ нь ямар ч үр дүнтэй байж болох юм гэж үзнэ үү) Дараа нь би ямар ч амархан хүн хийх гэж юу хийж байна: Би тэднийг бүх нэг өгөгдөлтэй туршиж, юу гэж үзнэ үү. Энэ нь түүх юм. Тавтай морилно уу: Эдгээр асуулт, 8 янз бүрийн асуултууд Би үүнийг тавтай морилно уу: Өнгөрсөн долоо хоногийн дотор таны хаалганы хоорондох цахилгаан тээврийн хэрэгслийг тооцох хэрэгтэй. Та хийх боломжтой: 
 
 
 
 Сэдвийн мэдээллийн сан гэх мэт энэ нь ноутбукаар бичнэ үү. Бүх автомашины зураг аваад, дараа нь тэднийг хуваалцах (документ мэдээллийн сан гэх мэт) Зөвхөн өнгөтэй тооцно, бусад бүх зүйлийг унтраах (колонны дэлгүүр мэдээллийн сан гэх мэт) Бүх арга хэрэгсэл ажилладаг. Гэсэн хэдий ч энэ нь хамгийн хурдан юм? Ямар ч үнэтэй юм? Ямар ч энэ нь таны гадаадад 50 төмөр автомашины паркийг эхлэх үед хуваалцдаг вэ? Би мэдэж байх ёстой. Би манай хадгалаас 6 сарын үнэхээр e-commerce өгөгдлийг олж авсан: The Dataset: 
 
 
 
 
 847 сая тусгай худалдан авах үйл явдал 120 сая тусгай хэрэглэгчид 450,000 Бүтээгдэхүүн 180 ГБ зэвэрдэггүй өгөгдлийн Бүх Analytics Dashboard-ийн асуултуудтай 5 хялбар асуултууд: The Test: 
 
 
 
 
 
 Өдөрт нас барсан зардал? Энэ сарын бидний топ 10 бүтээгдэхүүн гэж юу вэ? Ямар ч хэрэглэгчдийн хамгийн их зардал? Бидний орон нутгийн дунд орд үнэ цэнэтэй юу вэ? Миний хэрэглэгчийн бүрэн худалдан авах түүх үзнэ үү Та үзэх хэрэгтэй 847 сая шугам байх үед хялбар хэлбэрийн асуултууд. Өнгөрсөн долоо хоногийн: Data Loading Эхний гайхамшиг: Тэд бүгд нэг аргаар өгөгдөл явахгүй. 4 цаг хугацаатай бүх зүйл татаж авах. Боолтыг суваг харахын тулд шиг, харин тоо юм. PostgreSQL 47 минутын дотор дууссан. Энэ нь 180 ГБ-ийг 23 ГБ-ийг бий болгохын тулд өгөгдлийг тоноглогдсон. Би харьцуулахын тулд гурван удаа шалгах. ClickHouse Энэ нь зүгээр л ... файлуудыг шууд уншиж байна. "Энэ үүнийг хуваалцах вэ?" Энэ нь асуултанд харуулж байна. Fair Point. DuckDB 11 цаг хугацаатай. 11 цаг. Би шүршүүртээ өмнө эхлүүлсэн, энэ нь долоо хоногт долоо хоногт долоо хоногт байх болно. MongoDB Би файлуудыг хуваалцсан, энэ нь хэлсэн байна, "Халаалцсан, би танд авах болно." Дараа нь энэ нь танд харж чадахгүй байгаа фонад зарим боловсруулах хийж байна. Бүх зүйл нь танд харахыг хүсдэг механик дээр таны автомашины олдсон шиг мэдэгдэж байна. Snowflake Үнэндээ үнэ: 47 доллар нь компьютерийн цаг хугацаа нь зөвхөн өгөгдлийн хоорондоо дамжуулах. Арванхоёрдугаар сар: The First Query "Миний өдөр бүр тавтай морилно уу?" Энэ нь хамгийн хялбар асуултууд юм. Бүх худалдан авах нэмэх; тэднийг огноо. Results: 
 
 
 
 
 
 
 
 
 ClickHouse: 0.3 секунд DuckDB: 0.4 секунд PostgreSQL: 43 секунд TimescaleDB: 12 секунд MongoDB: 2 минут, 17 секундын дараа нь хязгаарлагдмал Snowflake: 1.8 секунд Elasticsearch: 8 секунд MySQL: Би 5 минутын дараа үүнийг зогсоох Би энэ талаар дэлгэрэнгүй үзнэ үү. ClickHouse танд хөлгөлгөлгөлгөлгөл авахын тулд цаг хугацаатай хариулжээ. PostgreSQL - бид одоо хэрэглэдэг мэдээллийн сан - burrito-ийг микроволноолохын тулд цаг хугацаатай. MongoDB миний кофе паузаас илүү урт энэ тухай дуудаж байх ёстой, дараа нь бүрэн зогсоох. Гэсэн хэдий ч энэ нь сонирхолтой байх болно. Хадгаламжийн зардал Өндөр хурд нь бүх зүйл биш юм. Гэсэн хэдий ч хамгийн хурдан автомашин хамгийн сөрөг километртэй байдаг. Би бүр анхаарал 100 удаа ажиллуулж, энэ нь үнэхээр зардал: PostgreSQL: 
 
 
 
 Үйлчилгээний хугацаа: 43 секунд Бүтээгдэхүүний үнэ: $0.02 Хоёрдугаар сарын үнэ (100 асуултууд / өдөр): $60 ClickHouse: 
 
 
 
 Үйлчилгээний хугацаа: 0.3 секунд Бүтээгдэхүүний үнэ: $0.03 Хоёрдугаар сарын үнэ (100 асуултууд / өдөр): $ 90 Wait. ClickHouse байна Загвар дээр, тэр ч байтугай 140 удаа хурдан байсан? илүү үнэтэй Энэ нь илүү CPU хүч ашигладаг. Энэ нь Prius нь Ferrari-ийг харьцуулах шиг байна - Ferrari хурдан байна, гэхдээ энэ нь галт тэрэг үсэг. DuckDB: 
 
 
 
 Ажлын цаг: 0.4 секунд Үйлчилгээний төлбөр: $0.00 Хоёрдугаар сарын төлбөр: $ 0 (ямар ч бидний хэрэглээний сервер дээр ажилладаг) Энэ нь бүх зүйл өөрчилж байна. Аравдугаар сар: Комплекс асуултууд Дараагийн асуултууд нь илүү хялбар байсан. "Миний тодорхой хэрэглэгчийн худалдан авах түүх үзээрэй" 50 худалдан авахыг олж авахын тулд бүх 847 сая давхаргыг харах хэрэгтэй. Энэ нь янз бүрийн олж авсан . Зөөлөн Test: Find customer #8472's purchases 
 
 
 
 
 ClickHouse: 0.9 секундын дотор (хэвлэсэн бүх зүйл, 47 худалдан авах боломжтой) PostgreSQL: 0.2 секундын (индекс байсан, тэдэнд шууд хүрсэн) DuckDB: 1.2 секунд (ClickHouse гэх мэт бүх зүйлийг тоноглогдсон) MongoDB: 0.1 секундын (Энэ нь зүгээр л хийсэн) PostgreSQL-ийн "багц" мэдээллийн сан - зүгээр л олж авсан. учир нь заримдаа зөв хэрэгсэл нь хамгийн хурдан биш юм. Энэ нь хамгийн хурдан зүйл юм. Зохиогчийн эрх © 2018 Зохиогчийн эрх хуулиар хамгаалагдсан. Би үүнийг харахын тулд та энэ системд маш хүчтэй дарна уу. Тиймээс би ямар нэг дуртай зүйл хийж: Би 50 удаа нэг удаа бүх 5 асуултуудыг гүйцэтгэсэн. 43 секунд нь 3 минут байсан. Үнэлгээтэй. PostgreSQL: Ямар ч байтугай. Үүнээс гадна 0.3 секунд нь асуултанд. зүгээр л үнэгүй шиг CPU-ийн дамжуулан харуулсан. ClickHouse: Ачаалал. Ямар ч бүрэн үхсэн. Ямар ч, Хэрэв та энэ нь таны хэрэглээнд ажиллуулах үед, энэ нь бусад бүх зүйл нь ресурс хуваалцах. Би энэ нь ачаалал, би ачаалал . DuckDB: Бүх Би 10 минутын ажлын хувьд 12 доллар зарласан. Дараа нь "харьцангуй зардал optimization зөвлөмжүүд" тухай аз жаргалтай и-мэйл илгээсэн. Snowflake: Би үнэхээр тавтай морилно уу, энэ нь юу хийж байна. Захиалтууд ажиллуулж байна, гэхдээ үр дүнд харуулж байна ... нягтрал? Энэ нь өгөгдөл тасалдаг шиг? Би энэ нь хэзээ ч мэдэгдэж байна. MongoDB: Зохиогчийн эрх © 2018 Зохиогчийн эрх хуулиар хамгаалагдсан. Та "Database Comparison" блог бичлэгдүүд дээр ямар ч хэн нэг гэж нэрлэдэг вэ? Түлхүүр үг Манай DevOps баг нь энэ талаар мэддэг. Сургалтын төлбөр: $0. PostgreSQL: Би бүрэн шинэ асуултын хэл уншиж байсан. Документаци нь бидний талаар хязгаарлагддаг хэн нэг нь румын хэлээс хуваалцсан гэж мэдэгдсэн. Сургалтын төлбөр: 10k $ Хэрэв бид мэргэжилтнүүдийн ажиллуулж байгаа бол. ClickHouse: Документ унших 2 цагийн дотор. Өдөрт прототип бий. Судалгааны зардал: үндсэндээ ямар ч. DuckDB: Бидний төлбөр мэдэхийн тулд 3 удаа борлуулалт дуудлагатай. Үүнээс гадна 100% тавтай морилно уу, тэдний үнэ цэнэ нь хэрхэн ажилладаг. Snowflake: Үнэндээ би суралцах зүйл хоёр долоо хоногийн туршилтын дараа, энд би мэдэгдсэн: 1. Үүнээс гадна "Най сайн" өгөгдлийн бааз Энэ нь хэзээ ч хэзээ ч хэзээ ч байтугай асуултанд: "Шинэн хамгийн шилдэг тээврийн хэрэгсэл юу?" Та байна уу: 
 
 
 
 
 Нэг хүн хотын хооронд тээвэрлэх? (Бик) Аялал жуулчлалын аялал жуулчлалын аялал 40 хүн аялах? (бус) 500 хүн тээвэрлэх? (Авиа) Өнгөрсөн ажил нь өөр өөр хэрэгсэл хэрэгтэй. Column-Stores Genuinly Magic (Хэвийн зүйлсэд зориулсан) ClickHouse болон DuckDB хадгалах өгөгдөл Үүнээс дээш . Колони Өргөтгөл Хэрэв та нэг ширхэг нэмэх хүсэж байгаа бол, та бусад ширхэг харах хэрэгтэй биш юм. ширхэг дэлгүүр нь энэ нь мэдэгдэж байна. ширхэг дэлгүүргүй. Бүх борлуулалт нэмэх" асуулт нь энэ нь 100-1000x хурдан юм. Загварууд нь "мэнд хэрэглэгчийн тухай бүх зүйл үзээрэй #8472" -ийн хувьд энэ нь бодит ч хялбар байдаг. 3. Өндөр хурд нь мөнгө зарцуулдаг (Бидгээр удаа) Хамгийн хурдан өгөгдлийн бааз нь ихэвчлэн хамгийн олон эх үүсвэр ашигладаг. ClickHouse бидний хялбар асуултуудын хурдан ажиллуулж чадна, гэхдээ энэ нь 16 CPU нунтаг ашигладаг. DuckDB нь ойролцоогоор хурдан байсан боловч бидний одоогийн хэрэглээнд ажиллаж байсан. Шинэ серверүүдгүй. Шинэ төлбөргүй. 4. Реал зардал нь өгөгдлийн бааз биш юм Энэ нь таны баг ашигладаг цаг юм: 
 
 
 
 Бүртгүүлэх Энэ нь Debugging Босоо таны босоо зар сурталчилгааны зардал нэмэгдсэн гэж хэлэх PostgreSQL нь бидний агуулсан асуулт дээр "төрөг" байсан. Гэхдээ энэ нь маш хурдан байсан. Бидний баг нь энэ нь хэрхэн ашиглахыг мэдэж байна. Гэсэн хэдий ч, "хамгийн сайн, найдвартай" -ийг "цагтай, нягтралтай" бооцоо юм. Үнэндээ юу хийж байна Та энэ $ 8000 / сар төлбөр мэдэхийг хүсэж байна уу? Би баглаа боодолгүй. Үүнээс гадна, I: 
 
 
 
 PostgreSQL-ийг транзакцийн зүйлсийг хадгалах (пользователь данс, орд, бүтээгдэхүүний каталог) DuckDB-ийг analytics dashboard-ийг нэмсэн (апп-ийг энд ажиллуулж, шинэ инфраструктургүй) Үнэндээ нэг удаа үнэтэй асуултуудыг урьдчилан тооцоолж (резултатуудыг хадгалж, хурдан хандах) Шинэ сарын төлбөр: $ 8,100 (100 DuckDB сервер нь $ 100) Татаж авах цаг: 4 минут → 0.8 секунд Босоо хариу: "Хэв та үүнийг өмнө хийж чадахгүй байна уу?" Инженерийн хариу: "Хэдийгээр та нэг нь зөвхөн 0.2 хэрэгтэй гэж үзэхэд 8 өгөгдлийн бааз тест хийх хэрэгтэй." Эдүүлбэр » Эдүүлбэр » The Actual Benchmark Numbers (For the Nerds) Хэрэв та зэвэрдэггүй өгөгдлийг хүсэж байгаа бол, энд би хэмжих зүйл юм: Ангилал 1: Daily Income Aggregation (847M жагсаалт → 180 үр дүн) ClickHouse:     0.31s  ($0.03/query)  
DuckDB:         0.42s  ($0.00/query)
Snowflake:      1.80s  ($0.12/query)
TimescaleDB:   12.00s  ($0.02/query)
PostgreSQL:    43.00s  ($0.02/query)
Elasticsearch:  8.00s  ($0.04/query)
MySQL:        300.00s+ (stopped it)
MongoDB:      137.00s  (then crashed)
 Ангилал 2: Топ 10 Бүтээгдэхүүн ClickHouse:     0.28s
DuckDB:         0.51s
Snowflake:      2.10s
PostgreSQL:    67.00s
TimescaleDB:   18.00s
 Ангилал 3: Customer Lookup (Хэрэглэгчийн 1 47 худалдан авахыг олж авах) MongoDB:        0.11s  (indexed)
PostgreSQL:     0.23s  (indexed)
MySQL:          0.31s  (indexed)
ClickHouse:     0.94s  (full scan)
DuckDB:         1.18s  (full scan)
TimescaleDB:    0.41s  (indexed)
 Data Loading цаг (180 GB) DuckDB:          0m  (reads files directly)
ClickHouse:     47m  (compressed to 23 GB)
MySQL:          89m
TimescaleDB:   142m
PostgreSQL:    238m
Snowflake:     ???  (async, took ~30m but unclear)
MongoDB:       687m  (11+ hours)
 Хөнгөн цагааны үр ашиг (180 GB) ClickHouse:     23 GB  (87% compression)
DuckDB:        180 GB  (0%, reads source files)
PostgreSQL:    340 GB  (89% overhead - indexes)
MongoDB:       520 GB  (189% overhead)
Snowflake:      41 GB  (77% compression)
TimescaleDB:    89 GB  (51% overhead)
 Баримтлал Миллионы жагсаалт агуулахын тулд ширхэг хадгалагч (ClickHouse / DuckDB) ашиглах. Специфик бүртгэлийг олж авахын тулд индекстэй цуглуулга (PostgreSQL / MongoDB) ашиглах. Бүх зүйлсэд: аль аль аль нь ашиглах, нэг мэдээллийн сан нь бүх зүйлийг хийхыг туршиж чадахгүй. Үгүйгээр таныг өгөгдлийн бааз тухай хэлсэн зүйл: хамгийн шилдэг нь хамгийн хурдан биш юм. Энэ нь таны баг нь 3 цаг үед танд дуудлагагүйгээр ашиглаж болно.

Read My Stories

Энэхүү аудио нь түүхийн эх хэлээр хийгдсэн болно!

Би хоёр долоо хоногийн турш 8 өгөгдлийн баазын туршилтаар нэг асуултуудтай туршиж байна - Энд танд юу байсан

About Author

Сэтгэгдлүүд

TAG ҮҮ

ЭНЭ ӨГҮҮЛЛИЙГ ТОЛГОЙЛУУЛСАН

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps