メールは金曜日の午後3時47分に届きました。 「当社のアナリティクス ダッシュボードはロードに 4 分かかります. ユーザーは文句を言っています. これを修正できますか?」 AWSの請求書を見てみました. 私たちは、基本的にスプレッドシートで数学を行っていたデータベースで毎月8000ドルを費やしていました.高価な数学! 私のボスは、すべてのエンジニアが恐れる質問を尋ねました: 「もし私たちがただ...別のデータベースを使っていたらどうでしょうか?」 シンプル!どっち?どっち? この週末、私はリストを作りました: 
 
 
 
 
 
 
 
 
 ClickHouse (Everyone Says It's Fast) DuckDB(The New Hotness) PostgreSQL(今使っているもの) Snowflake(当社の競争相手が使用するもの) TimescaleDB(誰かがRedditで推薦した) MongoDB(なぜダメなのか) Elasticsearch(すでに持っている) MySQL (just to see how bad it could be) その後、私は合理的な人々がやろうとしていることをしました:私はそれらをすべて同じデータでテストし、何が起こったかを見ることにしました。 これがその物語です。 同じ質問、8つの異なる答え このように考えてみてください:先月あなたの家を通り過ぎた赤い車を数える必要があると想像してください。 あなたは: 
 
 
 
 伝統的なデータベースのように(通行時にノートに書き込む) 各車の写真を撮影し、後でそれらを分類します(ドキュメントデータベースのように) 赤いものを数え、他のすべてを無視するだけです(コラムストアデータベースのように) どれが一番速いのか?どれが一番安いのか?隣人があなたの街に50台の赤い車を駐車し始めたとき、どちらが壊れるのか? 知る必要があった。 私は私たちの倉庫から6ヶ月間の実際の電子商取引データを取得しました。 The Dataset: 
 
 
 
 
 847万件の個別購入イベント 120 ユニークな顧客 450万商品 約180GBの原始データ すべての分析ダッシュボードが尋ねる5つの簡単な質問: The Test: 
 
 
 
 
 
 毎日どれだけのお金を稼いだか。 今月のトップ10の商品は? どの顧客が最も費やしたのか。 各国の平均注文価値は? 顧客の購入履歴を表示する 単純に聞こえる質問の種類は、あなたが84700万行を見るまでです。 月曜日の朝:データの読み込み 第一の驚き:すべての人が同じようにデータを食べるわけではありません。 すべてを充電するのに4時間かかりました 塗料を乾かすのを見るのと同じですが、塗料は数字です。 PostgreSQL データを圧縮し、180GBが23GBになったので、何も欠けていないか確認するために3回チェックしました。 ClickHouse データを「ロード」したくないだけで...ファイルから直接読む「なぜ移動するの?」と聞かれるようだった。 DuckDB 11時間もかかりました.11時間もかかりました.ベッドの前に荷物を積み始めて、まだ朝食を食べていました。 MongoDB 私はファイルをアップロードし、「ありがとう、私はあなたに戻ります」と言いました。その後、私は見ることができなかった背景でいくつかの処理を行いました。 Snowflake これまでのコスト:データを移動するために計算時間で47ドル。 火曜日:ファースト・クエリ 「毎日いくら稼いだの?」 これは、可能な限り簡単な質問です. すべての購入を追加し、それらを日付でグループします. 完了しました. Results: 
 
 
 
 
 
 
 
 
 ClickHouse: 0.3 秒 DuckDB: 0.4 秒 PostgreSQL: 43秒 TimescaleDB 12秒 MongoDB: 2分、17秒(その後墜落) スノーフラック: 1.8秒 ElasticSearch: 8秒 MySQL:I stopped it after 5 minutes(5分後に停止した) それを視点に置こう。 現時点で使っているデータベースであるPostgreSQLは、マイクロ波のバリトンを処理するのに必要な時間を要した。 MongoDBは私のコーヒー休憩よりも長く考えなければならず、その後完全に諦めました。 しかし、ここはそれが興味深くなる場所です。 隠されたコスト スピードはすべてではないが、時には最速の車が最悪のガスマイルを持っている。 私はそれぞれのクエリを100回実行し、実際の費用を測定しました。 PostgreSQL: 
 
 
 
 検索時間: 43 秒 検索料金: $0.02 月額料金 (100 件/日): $60 ClickHouse: 
 
 
 
 クエリ時間: 0.3 秒 コスト: $0.03 月額料金 (100 件/日): $90 ホーム > ClickHouse たとえ140倍も速かったとしても、 もっと高価 それは、プリウスとフェラーリを比較するのと同じで、フェラーリは速いが、ガスを飲む。 DuckDB: 
 
 
 
 クエリ時間: 0.4 秒 検索料金: $0.00 月額料金: $0 (私たちがすでに持っているアプリケーションサーバー上で実行) これが全てを変えた。 水曜日:複雑な質問 「特定の顧客の購入履歴を教えてください」は、たぶん50件の購入を見つけるために、すべての84700万行を調べる必要があります。 ここが差異が生まれた場所。 . 変 Test: Find customer #8472's purchases 
 
 
 
 
 ClickHouse: 0.9 seconds (scaned everything, found 47 purchases) PostgreSQL: 0.2 秒(インデックスがあり、右に飛び込んだ) DuckDB: 1.2 秒(ClickHouse のようにすべてをスキャン) MongoDB: 0.1 seconds (built for exactly this) PostgreSQL(「ゆっくり」のデータベース)が勝ちました。 なぜなら、時には正しいツールがすべてにおいて最も速いものではなく、あなたが必要とする最も速いものだからです。 木曜日:すべてが壊れたとき あなたがこれらのシステムをあまりにも強く押すときに何が起こるかを見たかった。 だから私は馬鹿げたことをした:それぞれ50回、5つのクエリを同時に実行した。 43秒が3分になった。予測可能。 PostgreSQL: まだ 0.3 秒毎のクエリ. フリーのようにCPUを燃やしただけ。 ClickHouse: 完全に死んだだけで、アプリ内で実行すると、他のすべてのものとリソースを共有します。 . DuckDB: すべて 10分間の仕事で12ドルを請求したが、「計算コスト最適化のヒント」について喜ばしいメールを送った。 Snowflake: クエリは実行されていたが、結果は...間違ったように見えた? データを落としているかのように? 私は決してそれを想像しませんでした。 MongoDB: 金曜日:The Part Nobody Talks About 「データベース比較」のブログ記事に誰も言及していないことをご存知ですか? 保守 私たちのDevOpsチームはすでにそれを知っています トレーニングコスト: $0. PostgreSQL: 私はまったく新しいクエリ言語を学ぶ必要がありました。ドキュメンタリーは、私にイライラした誰かがロシア語から翻訳したように感じました。 ClickHouse: 2時間でドキュメントを読み上げ、1日でプロトタイプを構築。トレーニングコスト:基本的になし。 DuckDB: 売り上げを3回呼び出し、我々の請求書を理解したが、まだ彼らの価格設定がどのように機能するかを100%確信していない。 Snowflake: 実際に学んだこと 2週間のテストの後、ここに私が発見したものがあります: 1.「ベスト」データベースはありません。 それは、「最高の車は何ですか?」と尋ねるようなものです。 あなたは: 
 
 
 
 
 一人で街を歩く(自転車) 家族を引っ越す(車) 40人乗り(バス) 飛行機で500人移動? さまざまな仕事にはさまざまなツールが必要です。 Column-Stores Are Genuinely Magic (For Certain Things) トップページ ClickHouse および DuckDB ストア データ 代わりに by . コラム ロウ 数百万行のテーブルシートを想像してください. 一つの列を加えたい場合は、他の列を見る必要はありません. Column stores figured this out. Row stores didn't. 「すべての販売を追加する」クエリの場合、これは100〜1000倍速い。 「顧客についてのすべてを教えてください #8472」というクエリの場合、実際には遅くなります。 スピードはお金がかかる(ときどき) 最も速いデータベースは、しばしば最も多くのリソースを使用しています。ClickHouseは、私よりも速く簡単なクエリを実行していましたが、16のCPUコアを使用していました。 DuckDB はほぼ同じ速さでしたが、既存のアプリケーション内で実行しました 新しいサーバーはありません 新しいコストはありません。 実際のコストはデータベースではありません。 あなたのチームが過ごす時間: 
 
 
 
 学ぶ IT DEBUGGING IT ボスに、なぜ法案が上がったのかを説明する PostgreSQLは、私たちの総合的なクエリにおいて「遅い」ものでしたが、十分に速かった。 時には「十分に良いし、馴染みのある」が「完璧で、混乱する」と打つこともある。 実際にやったこと 月額8000円って覚えていますか? データベースを置き換えていません。 代わりに、I: 
 
 
 
 トランザクションの内容(ユーザーアカウント、注文、製品カタログ)のためのPostgreSQLを保持します。 分析ダッシュボードの DuckDB が追加されました(アプリのすぐ隣で動作し、新しいインフラストラクチャはありません) 1時間に1回、高価なリクエストを事前に計算しました(結果を保存し、迅速に提供しました)。 新たな月額料金: $ 8,100 (DuckDB サーバーの場合 $ 100) ダッシュボードロード時間: 4 分 → 0.8 秒 社長の反応は「なぜ早くやらなかったのか。 エンジニアの答えは、「たまに8つのデータベースをテストする必要があるので、1つのデータベースの0.2しか必要ない」です。 The Actual Benchmark Numbers (For the Nerds) あなたが原始データを望むなら、ここに私が測定したものがあります: クエリ1:毎日の収入集計(847M行 → 180結果) ClickHouse:     0.31s  ($0.03/query)  
DuckDB:         0.42s  ($0.00/query)
Snowflake:      1.80s  ($0.12/query)
TimescaleDB:   12.00s  ($0.02/query)
PostgreSQL:    43.00s  ($0.02/query)
Elasticsearch:  8.00s  ($0.04/query)
MySQL:        300.00s+ (stopped it)
MongoDB:      137.00s  (then crashed)
 クエリ2:収入によるトップ10製品 ClickHouse:     0.28s
DuckDB:         0.51s
Snowflake:      2.10s
PostgreSQL:    67.00s
TimescaleDB:   18.00s
 クエリ 3: Customer Lookup (Find 1 customer's 47 purchases) MongoDB:        0.11s  (indexed)
PostgreSQL:     0.23s  (indexed)
MySQL:          0.31s  (indexed)
ClickHouse:     0.94s  (full scan)
DuckDB:         1.18s  (full scan)
TimescaleDB:    0.41s  (indexed)
 データロード時間(180GB) DuckDB:          0m  (reads files directly)
ClickHouse:     47m  (compressed to 23 GB)
MySQL:          89m
TimescaleDB:   142m
PostgreSQL:    238m
Snowflake:     ???  (async, took ~30m but unclear)
MongoDB:       687m  (11+ hours)
 ストレージ効率(180GB) ClickHouse:     23 GB  (87% compression)
DuckDB:        180 GB  (0%, reads source files)
PostgreSQL:    340 GB  (89% overhead - indexes)
MongoDB:       520 GB  (189% overhead)
Snowflake:      41 GB  (77% compression)
TimescaleDB:    89 GB  (51% overhead)
 結論 数百万行を合計するには、コラムストア(ClickHouse/DuckDB)を使用します。 特定のレコードを見つけるには、インデックス付き行ストア(PostgreSQL/MongoDB)を使用します。 すべてのために、両方を使用し、データベースをすべてにすることをやめましょう。 誰もあなたにデータベースについて教えてくれないこと:最高のデータベースは、最も速いデータベースではありません。

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

私は同じ質問で8つのデータベースをテストするために2週間を費やしました - これが実際に起こったこと

About Author

コメント

ラベル

この記事は

Related Stories

ワークフローを10倍に向上させる方法: 必須アプリ17選

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

State of the Noonion: Green Clock Strikes Noon

ワークフローを10倍に向上させる方法: 必須アプリ17選

HackerNoon Coded: HackerNoonが最も活発に活動している上位10カ国

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

State of the Noonion: Green Clock Strikes Noon

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps