E-mel itu telah tiba pada jam 3:47 pada hari Jumaat. "Panel analisis kami mengambil masa 4 minit untuk muat turun. pengguna mengeluh. Kami menghabiskan $8,000 sebulan pada pangkalan data yang pada asasnya melakukan matematik pada lembaran kerja. Bos saya bertanya soalan yang setiap jurutera takutkan: "Bagaimana jika kita hanya ... menggunakan pangkalan data yang berbeza?" Mudah, mudah dan mana yang? Pada hujung minggu ini, saya telah membuat senarai: 
 
 
 
 
 
 
 
 
 ClickHouse (semua orang berkata ia cepat) DuckDB (The New Hotness) ialah PostgreSQL (apa yang kita gunakan sekarang) Snowflake (apa yang digunakan oleh pesaing kami) TimescaleDB (seseorang di Reddit mengesyorkan ia) MongoDB (karena mengapa tidak) Elasticsearch (kita sudah mempunyai) MySQL (hanya untuk melihat betapa buruknya ia boleh) Kemudian saya melakukan apa yang mana-mana orang yang munasabah akan lakukan: saya memutuskan untuk menguji mereka semua dengan data yang sama dan lihat apa yang berlaku. Ini ialah cerita itu. Soalan yang sama, 8 jawapan yang berbeza Bayangkan bahawa anda perlu mengira setiap kereta merah yang melintasi rumah anda bulan lepas. Anda boleh : 
 
 
 
 Tuliskan ia dalam buku nota semasa mereka berlalu (seperti pangkalan data tradisional) Ambil gambar setiap kereta dan mengaturnya kemudian (seperti pangkalan data dokumen) Hanya mengira yang merah dan mengabaikan semua yang lain (seperti pangkalan data lajur) Setiap kaedah berfungsi. tetapi mana yang paling cepat? mana yang paling murah? mana yang pecah apabila jiran anda mula meletak 50 kereta merah di jalan anda? Saya perlu tahu. Saya mengambil 6 bulan data e-dagang sebenar daripada gudang kami: The Dataset: 
 
 
 
 
 847 juta acara pembelian individu 120 juta pelanggan unik 450,000 produk Sekitar 180 GB data mentah Lima soalan mudah yang setiap dashboard analisis bertanya: The Test: 
 
 
 
 
 
 Berapa banyak wang yang kita buat setiap hari? Apakah 10 produk teratas kami bulan ini? Pelanggan mana yang paling banyak membelanjakan? Berapakah nilai purata pesanan kami mengikut negara? Tunjukkan saya sejarah pembelian pelanggan yang lengkap Soalan-soalan yang terdengar mudah sehingga anda mempunyai 847 juta baris untuk dilihat. Isnin pagi: memuatkan data Kejutan pertama: mereka tidak semua makan data dengan cara yang sama. Ia mengambil masa 4 jam untuk memuatkan segala-galanya.Seperti melihat cat kering, tetapi cat adalah nombor. PostgreSQL selesai dalam 47 minit. ia memampatkan data begitu banyak bahawa 180 GB menjadi 23 GB. Saya memeriksa tiga kali untuk memastikan apa-apa yang hilang. ClickHouse Ia hanya ... baca secara langsung daripada fail-fail. "Mengapa memindahkan ia?" ia kelihatan bertanya. DuckDB Ia mengambil masa 11 jam. 11 jam. Saya mula beban sebelum tidur, dan ia masih berjalan untuk sarapan. MongoDB saya muat naik fail, dan ia berkata, "Terima kasih, saya akan kembali kepada anda." Kemudian ia melakukan beberapa pemprosesan di latar belakang yang saya tidak boleh lihat. Snowflake Kos sehingga kini: $ 47 dalam masa pengiraan hanya untuk memindahkan data. Selasa : Permintaan pertama "Berapa banyak wang yang kita buat setiap hari?" Ini adalah soalan yang paling mudah. tambahkan semua pembelian; kumpulan mereka mengikut tarikh. Results: 
 
 
 
 
 
 
 
 
 ClickHouse: 0.3 detik DuckDB : 0.4 saat PostgreSQL: 43 saat TimescaleDB: 12 saat MongoDB: 2 minit, 17 saat (kemudian terhempas) Pecah salji: 1.8 saat Elasticsearch: 8 saat MySQL: Saya berhenti selepas 5 minit Biarkan saya meletakkan perkara ini dalam perspektif. PostgreSQL - pangkalan data yang kami gunakan semasa - mengambil masa yang diperlukan untuk membakar burrito. MongoDB terpaksa memikirkannya lebih lama daripada istirahat kopi saya, kemudian menyerah sepenuhnya. Di sinilah ia menjadi menarik. Kos yang tersembunyi Kadang-kadang kereta tercepat mempunyai jarak gas terburuk. Saya menjalankan setiap pertanyaan 100 kali dan mengukur berapa harganya sebenarnya: PostgreSQL: 
 
 
 
 Tempoh pencarian: 43 saat Cukai setiap soalan: $0.02 Kos bulanan (100 pertanyaan / hari): $ 60 ClickHouse: 
 
 
 
 Tempoh pencarian: 0.3 saat Kos setiap soalan: $0.03 Kos bulanan (100 pertanyaan / hari): $ 90 Home » ClickHouse per pertanyaan, walaupun ia adalah 140 kali lebih cepat? lebih mahal Ini seperti membandingkan Prius dengan Ferrari - Ferrari lebih cepat, tetapi ia minum gas. DuckDB: 
 
 
 
 Tempoh pencarian: 0.4 saat Cukai setiap soalan: $0.00 Kos bulanan: $ 0 (jalan pada pelayan aplikasi yang kita sudah mempunyai) Ini mengubah segalanya. Rabu: Soalan-soalan yang rumit "Tunjukkan saya sejarah pembelian pelanggan tertentu" memerlukan melihat melalui semua 847 juta baris untuk mencari mungkin 50 pembelian. Di sinilah perbezaan telah . pelik Test: Find customer #8472's purchases 
 
 
 
 
 ClickHouse: 0.9 saat (scan semua, dapati 47 pembelian) PostgreSQL: 0.2 saat ( mempunyai indeks, melompat ke kanan mereka) DuckDB: 1.2 saat (scan semua seperti ClickHouse) MongoDB: 0.1 saat (dibina untuk ini) PostgreSQL - pangkalan data "sangat lambat" - baru sahaja menang. Kerana kadang-kadang alat yang betul bukan yang tercepat dalam segala-galanya.Ini perkara yang paling cepat yang anda benar-benar perlukan. Jumaat: Apabila Semuanya Berpecah Saya mahu melihat apa yang berlaku apabila anda menekan sistem ini terlalu keras. Jadi saya melakukan sesuatu yang bodoh: saya menjalankan semua lima pertanyaan pada masa yang sama, 50 kali setiap. Berkurangan secara proporsional. 43 saat menjadi 3 minit. PostgreSQL: Masih 0.3 saat setiap pertanyaan. hanya terbakar melalui CPU seolah-olah ia percuma. ClickHouse: Terhempas. Hanya mati sepenuhnya. Ternyata, apabila anda menjalankan ia di dalam aplikasi anda, ia berkongsi sumber dengan segala-galanya. . DuckDB: Semua Membayar saya $ 12 untuk 10 minit kerja.Kemudian menghantar saya e-mel gembira tentang "tip optimasi kos pengiraan." Snowflake: Saya jujur tidak pasti apa yang ia lakukan. pertanyaan sedang berjalan, tetapi hasilnya kelihatan ... salah? MongoDB: Jumaat: Bahagian Yang Tidak Ada Yang Bercakap Tentang Tahukah anda apa yang tidak disebutkan dalam postingan blog "Perbandingan Pangkalan Data"? pengekalan Pasukan DevOps kami sudah tahu. kos latihan: $0. PostgreSQL: Saya terpaksa mempelajari bahasa soalan yang sama sekali baru. Dokumentasi itu kelihatan seperti ia diterjemahkan daripada bahasa Rusia oleh seseorang yang marah kepada saya. kos latihan: mungkin $10k jika kami menyewa seorang pakar. ClickHouse: Baca dokumen dalam 2 jam. Membina prototipe dalam satu hari. Kos latihan: pada dasarnya tiada. DuckDB: Panggilan jualan tiga kali untuk memahami bil kami. masih tidak 100% pasti bagaimana harga mereka berfungsi. Snowflake: Apa yang sebenarnya saya pelajari Selepas dua minggu menguji, berikut ialah apa yang saya temukan: Tiada pangkalan data "Best" Ia sama seperti bertanya, "Apakah kereta yang terbaik?" Adakah anda : 
 
 
 
 
 Menggerakkan satu orang di seluruh bandar? (Bike) Memindahkan sebuah keluarga? Mengangkut 40 orang? (bus) Mengangkut 500 orang? (mesin terbang) Kerja yang berbeza memerlukan alat yang berbeza. Kedai-kedai lajur benar-benar sihir (untuk perkara-perkara tertentu) Data storan ClickHouse dan DuckDB oleh Sebaliknya oleh . kolom row Bayangkan lembaran kerja dengan sejuta baris.Jika anda ingin menambah satu lajur, anda tidak perlu melihat lajur lain sama sekali. Untuk pertanyaan "menambah semua jualan", ini adalah 100-1000x lebih cepat. Untuk pertanyaan "tunjukkan saya segala-galanya tentang pelanggan #8472", ia sebenarnya lebih lambat. 3. kelajuan kos wang (kadang-kadang) Pangkalan data tercepat sering menggunakan sumber yang paling banyak. ClickHouse menjalankan pertanyaan mudah kami lebih cepat daripada yang saya boleh berkedip, tetapi ia juga menggunakan 16 inti CPU untuk melakukannya. DuckDB hampir laju tetapi berjalan dalam aplikasi kami yang sedia ada. Tiada pelayan baru. Tiada kos baru. Biaya sebenar bukan pangkalan data Ia adalah masa pasukan anda menghabiskan: 
 
 
 
 Belajarlah ia Debugging yang Menjelaskan kepada bos anda mengapa bil naik PostgreSQL "lambat" pada pertanyaan agregat kami. tetapi ia cukup cepat. dan pasukan kami sudah tahu bagaimana untuk menggunakannya. Kadang-kadang "baik dan biasa" mengalahkan "sempurna dan membingungkan." Apa yang sebenarnya saya lakukan Adakah anda ingat akaun $ 8000 / bulan itu? Saya tidak menggantikan pangkalan data. Sebaliknya, saya : 
 
 
 
 Kept PostgreSQL untuk barang-barang transaksi (akun pengguna, pesanan, katalog produk) Ditambah DuckDB untuk dashboard analisis (jalan di sebelah aplikasi kami, tiada infrastruktur baru) Memperkirakan permintaan mahal sekali setiap jam (menyimpan hasil, berkhidmat dengan cepat) Kos bulanan baru: $ 8,100 ($ 100 untuk pelayan DuckDB) Tempoh muat turun dashboard: 4 minit → 0.8 saat Reaksi bos: "Mengapa kita tidak lakukan ini lebih awal?" Jawapan jurutera: "Karena kadang-kadang anda perlu menguji lapan pangkalan data untuk mengetahui bahawa anda hanya memerlukan 0.2 daripada satu." Nombor Benchmark Sebenar (Untuk Nerds) Jika anda mahu data mentah, di sini adalah apa yang saya mengukur: Pertanyaan 1: Pengumpulan pendapatan harian (847M baris → 180 hasil) ClickHouse:     0.31s  ($0.03/query)  
DuckDB:         0.42s  ($0.00/query)
Snowflake:      1.80s  ($0.12/query)
TimescaleDB:   12.00s  ($0.02/query)
PostgreSQL:    43.00s  ($0.02/query)
Elasticsearch:  8.00s  ($0.04/query)
MySQL:        300.00s+ (stopped it)
MongoDB:      137.00s  (then crashed)
 Pertanyaan 2: Top 10 produk mengikut pendapatan ClickHouse:     0.28s
DuckDB:         0.51s
Snowflake:      2.10s
PostgreSQL:    67.00s
TimescaleDB:   18.00s
 Pertanyaan 3: Pencarian Pelanggan (Cari 1 daripada 47 pembelian pelanggan) MongoDB:        0.11s  (indexed)
PostgreSQL:     0.23s  (indexed)
MySQL:          0.31s  (indexed)
ClickHouse:     0.94s  (full scan)
DuckDB:         1.18s  (full scan)
TimescaleDB:    0.41s  (indexed)
 Tempoh muat turun data (180 GB) DuckDB:          0m  (reads files directly)
ClickHouse:     47m  (compressed to 23 GB)
MySQL:          89m
TimescaleDB:   142m
PostgreSQL:    238m
Snowflake:     ???  (async, took ~30m but unclear)
MongoDB:       687m  (11+ hours)
 Kuasa penyimpanan (180 GB input) ClickHouse:     23 GB  (87% compression)
DuckDB:        180 GB  (0%, reads source files)
PostgreSQL:    340 GB  (89% overhead - indexes)
MongoDB:       520 GB  (189% overhead)
Snowflake:      41 GB  (77% compression)
TimescaleDB:    89 GB  (51% overhead)
 Kesimpulan Untuk mengumpul berjuta baris, gunakan gudang lajur (ClickHouse/DuckDB). Untuk mencari rekod tertentu: gunakan toko baris dengan indeks (PostgreSQL/MongoDB). Untuk segala-galanya: gunakan kedua-dua dan berhenti cuba membuat satu pangkalan data melakukan semua. Perkara yang tidak ada yang memberitahu anda mengenai pangkalan data: Yang terbaik bukanlah yang tercepat.Ia adalah yang pasukan anda sebenarnya boleh gunakan tanpa memanggil anda pada 3 pagi.Pilih dengan bijak.

Read My Stories

Audio ini dihasilkan dalam bahasa asal cerita!

Saya menghabiskan dua minggu menguji 8 pangkalan data dengan soalan yang sama - inilah yang sebenarnya berlaku

About Author

KOMEN

GANTUNG TANDA

ARTIKEL INI DIBENTANGKAN DALAM

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps