♪Meter Why it spikes コンピュータ 1 000 コースター = 1 000 コンテキスト スイッチ ストレージ I/O 1 000 インデックス ウォッチ + 1 000 doc deserialisations ネットワーク 各ラウンド トリップは ~1 ms RTT + TLS ハンドシェイク オーバーヘッド Meter Why it spikes コンピュータ 1 000 コースター = 1 000 コンテキスト スイッチ ストレージ I/O 1 000 インデックス ウォッチ + 1 000 doc deserialisations ネットワーク 各ラウンド トリップは ~1 ms RTT + TLS ハンドシェイク オーバーヘッド「Meter Why It Spikes」♪ 
 コンピュータ 1 000 コースター = 1 000 コンテキスト スイッチ
 コンテキスト スイッチ1000 コンテキスト スイッチ1000 
ストレージ I/O♪1 000 インデックスウォッチ + 1 000 doc deserializations♪♪ 1 000 インデックスウォッチ + 1 000 doc deserializations ネットワーク 各ラウンド トリップは ~1 ms RTT + TLS ハンドシェイク オーバーヘッドネットワーク ♪ ♪Metric Value Unit Cost 月額コスト♪♪♪♪書き込み (150 / s) 380 M $0.225 / M $86♪♪♪ストレージ (2 TB) $0.24 / GB $480 Metric Value Unit Cost 月額コスト
読書 (3 k/s) 7.8 B $0.09 / M $702♪書き込み (150 / s) 380 M $0.225 / M $86♪
データ転送♪1.5TB
ドル 0.25 / GB♪375ドル♪♪ストレージ (2 TB) $0.24 / GB $480♪Metric Value Unit Cost 月額コスト
 価値 
 ♪ 読書 (3 k/s) 7.8 B $0.09 / M $702読書 (3k/s) 7.8 B ♪ ♪ 書き込み (150 / s) 380 M $0.225 / M $86書き込み(150秒) 380m ♪ ♪ 
データ転送♪1.5TB
ドル 0.25 / GB♪375ドル♪データ転送 1.5TB ドル 0.25 / GB 375ドル ストレージ (2 TB) $0.24 / GB $480ストレージ(2TB) ♪ ドル 0.24 / GB 480ドル ♪Hour Action Tool Wins 0‐2 Turn on profiler (slowms = 50). Mongo shell Surface top 10 slow ops. 2‐6 Rewrite N + 1 into $lookup. VS Code + Jest テスト 90 % 少ない読み込み. 6‐10 Unlimited finds にプロジェクションを追加 & limit. API layer RAM steady; API 4× faster. 10‐16 Break jumbo docs → metas + GridFS/S3. Scripted ETL Working set fits in RAM. 16・22 Drop/place low-cardinality indexes. Compass Disk shrinks; cache hits ↑. 22‐30 Create TTLs, month‐partition cold data, enable Online Archive. Atlas UI 60 % storage saved. 30‐36 Graph panels: hit cache %, scan: ratio, eviction Hour Action Tool 優勝♪0‐2 プロファイラーをオンにする (slow = 50). Mongo shell Surface top 10 slow ops.♪2‐6 N + 1 を $lookup に書き換え、VS Code + Jest は 90% の読み込みを減らします。♪6‐10 Unlimited finds にプロジェクションを追加&limit. API layer RAM steady; API 4× faster. API layer RAM steady; API 4× faster.♪10‐16 Break jumbo docs → metas + GridFS/S3. Scripted ETL Working set fits in RAM。♪16‐22 Drop/replace low‐cardinality indexes. Compass Disk shrinks; cache hits ↑.♪22‐30 TTL を作成し、月分割のクールデータを作成し、オンラインアーカイブを有効にします。♪♪30・36♪Grafana パネルを追加:キャッシュヒット %, scan:ix ratio, 削除率。
プロメテウス♪
 
♪36‐48 テスト K6 k6 + Atlas metrics 確認 p95 < 150 ms @ 2×負荷。♪Hour Action Tool 優勝♪ アクション 
 ♪ 0‐2 プロファイラーをオンにする (slow = 50). Mongo shell Surface top 10 slow ops.♪ プロファイラーを変える(slow = 50) ♪ ♪ 2‐6 N + 1 を $lookup に書き換え、VS Code + Jest は 90% の読み込みを減らします。2・6 N+1 を $lookup に書き換える。 ♪ ♪ 6‐10 Unlimited finds にプロジェクションを追加&limit. API layer RAM steady; API 4× faster. API layer RAM steady; API 4× faster.
 ♪ 
 ♪ 
10・16♪ジャンボドキュメント→メタ + GridFS/S3
スクリプト ETL♪RAMで稼働する。♪10・16 ジャンボドキュメント→メタ + GridFS/S3 ♪ 
 ♪16・22♪♪ ♪コンパス

 ♪♪ ♪ 
 
 ♪22・30

 ♪♪ 
貯蔵料の60%を節約。
22・30 ♪ ♪ 
 ♪30・36♪Grafana パネルを追加:キャッシュヒット %, scan:ix ratio, 削除率。
プロメテウス♪
 

 Grafana パネルを追加:キャッシュヒット %, scan:ix ratio, 削除率。 ♪ 
 

 ♪テスト K6♪k6+アトラスメトリック♪
 

 テスト K6 
 ♪ メトリック 前後 Δ♪♪♪♪ストレージ (ホット) 2.1 TB 600 GB −71 %♪♪♪♪♪♪ メトリック 前後 Δ♪♪♪ ♪120GB♪36GB
・70%
♪読み方/秒 6 700 900 −86 %♪ストレージ (ホット) 2.1 TB 600 GB −71 %♪
P95 ラテンシー♪
 
140 ms♪・92%♪♪♪アトラスコスト / MO♪15 284♪3 210 ドル
・79%♪♪メトリック 前後 Δ♪ 前 ♪ 
 ♪RAMの足跡♪120GB♪36GB♪・70%
♪ 120GB 36GB ・70% 読み方/秒 6 700 900 −86 %読書 / SEC ♪ 900位 86% ストレージ (ホット) 2.1 TB 600 GB −71 %♪ 2.1 TB ♪ ♪ 
P95 ラテンシー♪
 
140 ms♪・92%♪♪ 
 ♪ ・92% ♪アトラスコスト / MO♪15 284♪3 210 ドル
・79%♪♪ 15 284 3 210 ドル ・79% ♪ ♪ 将来の火災からデータベースを保護し、シリーズA段階で大規模な資本損失を避ける Protect your database from future fires to avoid high-scale capital loss at your Series A stage ♪ ♪ Disclaimer:以下は、MongoDBスケジュールの設計、パフォーマンス調節、コスト最適化のためのベストプラクティスを伝達するために使用されるフィクションのケーススタディです。 Disclaimer: The following is a fictional case study used to communicate best practices for MongoDB schema design, performance tuning, and cost optimization 法案が原子力化した日 The call came through at . 2:17 アトラスは、要求されていないもう一つの生産クラスターの拡大を引き起こした。 機械の月額料金 . The board wanted to know why burn increased by 20% while M60 serves as an expensive  システム M60 $15k $15 k/month I opened the profiler: db.system.profile.aggregate([
  { $match: { millis: { $gt: 100 } } },
  { $group: {
      _id: { op: "$op", ns: "$ns", query: "$command.filter" },
      n: { $sum: 1 },
      avgMs: { $avg: "$millis" }
  }},
  { $sort: { n: -1 } }, { $limit: 10 }
]).pretty();
 各ダッシュボードウィジェットは、犯罪者が合計で引っ張ることを必要とします。 レンダリングの毎分前に、メモリの使用量は、エベレストに似たグラフの山頂を作り出しました。 1.7 GB The M30 servers now operate with one of these clusters. The solution did not entail an increase in shards. Three common flaws known as  削除前にコードベースに存在していた。 犯罪の形 犯罪現場調査 2.1 N + 1 クエリー・ツナミ これは反パターンとして認識されます - 単一のコマンドセットを注文する場合、N 個別のクエリを実行する必要があります。 // Incorrect:  Orders   +   1 000 extra queries
const orders = await db.orders.find({ userId }).toArray();
for (const o of orders) {
  o.lines = await db.orderLines.find({ orderId: o._id }).toArray();
}
 Hidden taxes メートル メートル なぜスパイス なぜスパイス 計算 Compute コンテキスト スイッチ1000 コンテキスト スイッチ1000 Storage I/O Storage I/O 1 000 インデックスウォッチ + 1 000 doc deserializations Network Each round‑trip eats ~1 ms RTT + TLS handshake overhead 各ラウンド トリップは ~1 ms RTT + TLS ハンドシェイク オーバーヘッド Refactor (4 lines): // Success: Single round‑trip, 1 read unit per order
db.orders.aggregate([
  { $match: { userId } },
  { $lookup: {
      from: "orderLines",
      localField: "_id",
      foreignField: "orderId",
      as: "lines"
  }},
  { $project: { lines: 1, total: 1, ts: 1 } }
]);
 遅延 p95 は 2300 ms から 160 ms に減少しました。 2 300 ms 160 ms アトランティス read‐ops: それは99%オフ - クーポンコードは必要ありません。 101 → 1. 2 Unbounded Query Firehose ♪ 
 「しかし、完全なクリック履歴を見せなければなりません!」 「しかし、完全なクリック履歴を見せなければなりません!」 もちろん、単一のコースターではない。 // Failure: Streams 30 months of data through the API gateway
db.events.find({ userId }).toArray();
 : hard‐cap the batch and project only the fields you render. あなたが作成したフィールドのみをプロジェクトします。 Fix db.events.find(
  { userId, ts: { $gte: ISODate(new Date() - 1000*60*60*24*30) } },
  { _id: 0, ts: 1, page: 1, ref: 1 }     // projection
).sort({ ts: -1 }).limit(1_000);
 Then let Mongo clean up behind you: // 90‑day sliding window
db.events.createIndex({ ts: 1 }, { expireAfterSeconds: 60*60*24*90 });
 ♪ ♪ ある fintech クライアントは、単に TTL を追加することによって、一晩でストレージの請求書を 72% 削減しました。 ある fintech クライアントは、単に TTL を追加することによって、一晩でストレージの請求書を 72% 削減しました。 2.3 ジャンボ・ドキュメント・マネー・ピット Mongo は 16 MB のドキュメントをカップしますが、256 KB を超えるものはすでに赤旗です。 {
  "_id": "...",
  "type": "invoice",
  "customer": { /* 700 kB */ },
  "pdf": BinData(0,"..."),        // 4 MB binary
  "history": [ /* 1 200 delta rows */ ],
  "ts": ISODate()
}
 Why it hurts 
 ♪ ♪ ♪ すべてのドキュメントは、一つのフィールドを読んだとしてもページ化されます。 WiredTigerはページあたりのドキュメントの数だけを保存できない →より低いキャッシュヒット割合。 Index entries are huge → bloom filter misses → more disk seeks. インデックスのエントリは膨大です。 : : : : Solution schema‑by‑access‑pattern graph TD
  Invoice[(invoices<br/>&lt;2 kB)] -->|ref| Hist[history<br/>&lt;1 kB * N]
  Invoice -->|ref| Bin[pdf‑store (S3/GridFS)]
 ♪ ♪ 小さな請求書メタは熱く残ります; S3 の BLOBS は、NAND グレードの Atlas SSD の代わりに、月額 0.023 ドル/GB です。 小さな請求書メタは熱く残ります; S3 の BLOBS は、NAND グレードの Atlas SSD の代わりに、月額 0.023 ドル/GB です。 あなたがおそらく有罪である4つの形状の犯罪 
 ♪ ♪ 
 ♪  on non‑indexed field—string scan from hell. $regex starts‑with findOneAndUpdate queue—document‐level locking bottleneck; use Redis/Kafka. skip + large offset pagination—Mongo must count every skipped doc; switch to range (ts, _id) cursors. Mongo はすべての skipped doc を数えなければなりません。 コストアナトミー 101 ♪ ♪ 「しかし、アトラスは読書が安いと言っている!」 “But Atlas says reads are cheap!” Let’s do the math. 
 
 
 
 
 読書 (3k/s) 7.8 B ♪ $0.09 / M ♪ $702 
 
 
 
 データ転送 1.5TB ドル 0.25 / GB 375ドル メトリック Metric 価値 単位コスト 単位コスト 月額コスト 月額コスト 読書 (3k/s) 7.8 B $0.09 / M $0.09 / M 702 ドル $702 書き込み(150秒) 380m ドル 0.225 / M $0.225 / M 86ドル $86 データ転送 1.5 TB ドル 0.25 / GB $375 ストレージ(2TB) ドル 0.24 / GB $480 合計: $1,643. フィックスを適用する: 
 ♪ ♪ ♪ 読書は70%下がり → $210 Transfer falls 80 % → $75 Storage falls 60 % → $192 ♪ ♪  That’s one mid‑level engineer   runway till Q4—you choose. New bill: $564. または 中級エンジニアである。  runway till Q4—you choose. New bill: $564. または 48-Hour Rescue Sprint (Battle‐tested Timeline) 視覚早期警告 時刻 時刻 アクション Tool Tool 勝ち 勝ち 0−2 0−2 Turn on profiler ( ). slowms = 50 モンゴ シェル モンゴ シェル 「Surface Top 10 Slow Ops」 Surface top 10 slow ops. 2‑6 N + 1 を再書き換える で。 $lookup VS Code + Jest テスト VS Code + Jest テスト 読書が90%減る。 読書が90%減る。 6‑10 6・10 Add projections & limit to unlimited finds. 予測を追加し、無制限の検索結果に制限します。 Add projections & limit to unlimited finds. 予測を追加し、無制限の検索結果に制限します。 APIレイヤー API layer RAM steady; API 4× faster. RAMが安定し、APIが4倍速い。 10‑16 ジャンボドキュメント→メタ + GridFS/S3 スクリプト ETL スクリプト ETL Working set fits in RAM. RAMで稼働する。 Drop/replace low‐cardinality indexes をダウンロードする Disk shrinks; cache hits ↑. 16・22 16・22 Drop/replace low‐cardinality indexes をダウンロードする Drop/replace low‐cardinality indexes をダウンロードする Compass Compass Disk shrinks; cache hits ↑ Disk shrinks; cache hits ↑. TTL を作成し、月分割の冷たいデータを作成し、オンラインアーカイブを有効にします。 Atlas UI 22・30 TTL を作成し、月分割の冷たいデータを作成し、オンラインアーカイブを有効にします。 TTL を作成し、月分割の冷たいデータを作成し、オンラインアーカイブを有効にします。 Atlas UI Atlas UI 貯蔵料の60%を節約。 60 % storage saved. Visual early warnings. 30・36 30・36 Add Grafana panels: cache hit %, scan:ix ratio, eviction rate. プロメテウス プロメテウス Visual early warnings. 視覚早期警告 36‑48 P95 < 150 ms @ 2× ロードを確認します。 36‑48 36・48 テスト K6 k6+アトラスメトリック k6+アトラスメトリック P95 < 150 ms @ 2× ロードを確認します。 Confirm p95 < 150 ms @ 2× load. Self-Audit Checklist - Pin It Above Your Desk 
 ♪ 
 ♪ 
 ♪ トップ > メディア > 10 > リハーサル カーサーが「1000ドック」を返します。 すべてのイベント/ストアテーブルに TTL がありますか? (Yes/No) 
 
 Any index where cardinality < 10 %? → Drop/re‑order. Profiler slowops > 1% total ops? → 最適化またはキャッシュ If primary cache hits remain under 90% it is wise to separate collections or add additional RAM memory post fixes. Place the checklist on your laptop with adhesive glue after laminating it for printing. なぜ Shape Beats Index が存在するのか MongoDB’s query planner does a cost‑based search across candidate plans. The cost vector includes: workUnits = ixScans + fetches + sorts + #docs returned
 指数が減るだけ 「Bad Shape Inflates」 そして , which often dominate. Example: ixScans fetches sorts db.logs.find(
  { ts: { $gte: start, $lt: end }, level: "error" }
).sort({ level: 1, ts: -1 });
 インデックス プランナーは、予測に記載されていない数列フィールドにプレデカートを追加するときに、各ドキュメントを取得するのを避けるのに役立ちません. Net result: 20 k hits for 200 hits. Index should precede shape operations in daily operations. { level: 1, ts: -1 } Live Metrics You Should Be Watching (Grafana PromQL) # WiredTiger cache hit ratio
(rate(wiredtiger_blockmanager_blocks_read[1m]) /
 (rate(wiredtiger_blockmanager_blocks_read[1m]) +
  rate(wiredtiger_blockmanager_blocks_read_from_cache[1m]))
) < 0.10
 >10%が5メートル間違えると警告する。 # Docs scanned vs returned
rate(mongodb_ssm_metrics_documents[1m]{state="scanned"}) /
rate(mongodb_ssm_metrics_documents[1m]{state="returned"}) > 100
 
 ♪ あなたが返すよりも100倍多くのドキュメントをスキャンする場合、あなたはお金を燃やしています。 あなたが返すよりも100倍多くのドキュメントをスキャンする場合、あなたはお金を燃やしています。 タグ: Thin-Slice Migration Script 1TBを破る必要がある。 コレクション IN ,  で、 ダウンタイムなし? 使い方 パターン events clicks views logins double‑write / backfill // 1. Add trigger
const changeStream = db.events.watch([], { fullDocument: 'updateLookup' });
changeStream.on('change', ev => {
  const dest = db[`${ev.fullDocument.type}s`];
  dest.insertOne({ ...ev.fullDocument });
});

// 2. Backfill historical in chunks
let lastId = ObjectId("000000...");
while (true) {
  const batch = db.events.find({_id: {$gt: lastId}}).sort({_id: 1}).limit(10_000);
  if (!batch.hasNext()) break;
  const docs = batch.toArray();
  docs.forEach(d => db[`${d.type}s`].insertOne(d));
  lastId = docs[docs.length - 1]._id;
}
 Zero downtime, minimal extra storage (thanks to TTL), everyone sleeps. シェアするとき 答え は 指のルールによれば、あなたが確認した場合にのみ割れなければならない。 これらの条件のうちの 1 つは、データベースの最適化後に実現します: one 
 
 
 ♪ システムは、キャッシュパフォーマンス率に関係なく、RAMの80%以上を占める作業セットで動作します。 システムは、1 つのメイン サーバーを使用するときに 1 秒間に 15,000 件以上の操作を生成し、ピーク スクリプト パフォーマンスを達成します。 あなたの主な優先事項は、高額な AWS 請求コストが重要な懸念事項ではないため、70 ミリ秒未満の複数の地域遅延を維持することです。 The decision should be simple when the conditions do not match these rules. ケーススタディ Wrap-Up 
 
 
 
 
 
 
 
 
 ♪ RAM footprint 120GB 36GB ♪ ・70% 
 
 
 
 Reads/sec ♪ 6 700 
 900位 86% 
 
 
 ♪ P95 ラテンシー 
 1.9 S 140 ms 
 −92 % 
 
 
 アトラスコスト / MO 15 284 3 210 ドル ・79% RAMの足跡 1.9 S メトリック メトリック 前 後 後 Δ Δ RAMの足跡 RAMの足跡 120GB 36GB ・70% 読書 / SEC 6 700 6 700 900位 86% ストレージ(ホット) ストレージ(ホット) 2.1 TB 600 GB 600 GB 71% 71% 1.9 S P95 ラテンシー P95 ラテンシー 1.9 S 1.9 S 140 ms 140 ms ・92% アトラスコスト / MO アトラスコスト / MO 15 284 3 210 ドル ・79% 
 ♪ 断片もなく、大きなコード凍結もなく、ただ無慈悲な形の手術だけです。 断片もなく、大きなコード凍結もなく、ただ無慈悲な形の手術だけです。 タイトル: Debt vs. Death Spiral 迅速な配達の要求は義務的ですが、質の低い仕事を維持することは、ボランティア債務の蓄積に属します。クラウドプロバイダーは、あなたの未払い債務の年間パーセント率1000%で蓄積する複合金利を請求します。 プロフィールを開いて作業する必要があります。 ピストンは、TTL 粉を追加しながら、プロジェクトを lean モードで展開します。あなたのボードとあなたの開発チームとあなたの Pager は 02:17 で質の良い休息を得ます。 $lookup 次の自動スケールインシデントが発生するまで、コードの再構成を進めます。

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

このオーディオは、ストーリーの元の言語で制作されています。

Shape‐First 最適化で MongoDB コストを 79% 削減

About Author

コメント

ラベル

この記事は

Related Stories

Telegram: クリプト島と本土を結ぶ橋

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

暗号通貨の成長: 効果的なユーザーペルソナの作成

Telegram: クリプト島と本土を結ぶ橋

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

暗号通貨の成長: 効果的なユーザーペルソナの作成

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps