შემცირეთ თქვენი MongoDB ღირებულება 79% ერთად Shape-First ოპტიმიზაციის

ეს არისMetr Why ეს Spikesეს არის1 000 კურსიერები = 1 000 კონტაქტის გადახდისშენახვის I/O 1 000 index walk + 1 000 doc deserializationsეს არისქსელის თითოეული ტრიპში იღებს ~1 ms RTT + TLS handshake overheadეს არის Metr Why ეს Spikesეს არის1 000 კურსიერები = 1 000 კონტაქტის გადახდისეს არისშენახვის I/O 1 000 index walk + 1 000 doc deserializationsეს არისქსელის თითოეული ტრიპში იღებს ~1 ms RTT + TLS handshake overheadეს არისMetr Why ეს Spikesმეტრი 1 000 კურსიერები = 1 000 კონტაქტის გადახდისეს არის ეს არის შენახვის I/O 1 000 index walk + 1 000 doc deserializationsეს არის 1 000 index walk + 1 000 doc deserializations ეს არისქსელისეს არის1 მმ RTT + TLS Handshake Overheadეს არისქსელის 1 მმ RTT + TLS Handshake Overhead ეს არისMetric Value Unit Cost Monthly Cost Reads (3 k/s) 7.8 B $0.09 / M $702 Writes (150 / s) 380 M $0.225 / M $86 მონაცემთა გადაცემა 1.5 TB $0.25 / GB $375 Storage (2 TB) $0.24 / GB $480 Metric Value Unit Cost Monthly Cost Reads (3 k/s) 7.8 B $0.09 / M $702 Writes (150 / s) 380 M $0.225 / M $86 მონაცემთა გადაცემა 1.5 TB $0.25 / GB $375 Storage (2 TB) $0.24 / GB $480Metric Value ერთეული ღირებულება თვის ღირებულებაMetric ეს არის ერთეული ღირებულება თვეში ღირებულება Reads (3 k/s) 7.8 B $0.09 / M $702შეტყობინებები (3 k/s) 7.8 ბ 0 0 0 0 0 0 0 702 დოლარი შეტყობინებები (150 / ს) 380 მილიონი $0.225 / მილიონი $86შეტყობინებები (150 / ს) 380 მ 86 დოლარი მონაცემთა გადაცემა 1.5 TB $ 0.25 / GB $ 375ეს არის 1.5 ტბ ეს არის 375 დოლარი შენახვა (2 TB) $ 0.24 / GB $ 480შენახვის სიჩქარე (2 TB) ეს არის $ 0.24 / GB საწყისი ეს არის ეს არისHour Action Tool Wins 0‐2 Turn on profiler (slowms = 50). Mongo shell Surface top 10 slow ops. 2‐6 Rewrite N + 1 into $lookup. VS Code + Jest ტესტირება 90% ნაკლები წაიკითხვა. 6‐10 Add projections & limit to unlimited finds. API layer RAM steady; API 4× სწრაფად. 10‐16 Break jumbo docs → metas + GridFS/S3. Scripted ETL Working set fits in RAM. 16‐22 Drop/place low-cardinality indexes. Compass Disk shrinks; cache hits ↑. 22‐30 Create TTLs, month‐partition cold data, enable Online Archive. Atlas UI 60 % storage saved. 30‐36 Graph panels: hit cache %, scan: ratio, eviction rate Hour Action Tool მოგებაეს არის0‐2 Turn on profiler (slow = 50). Mongo shell Surface top 10 slow ops.ეს არისეს არისეს არის ეს არისეს არის ეს არისეს არის ეს არის90 წუთი ნაკლებად წაიკითხე.ეს არისეს არის6‐10 დაამატეთ პროგნოზიები და შეზღუდვა შეუზღუდავი ნახვა. API layer RAM steady; API 4x სწრაფად.ეს არის10‐16 Break jumbo docs → metas + GridFS/S3. Scripted ETL სამუშაო კომპლექტი შეესაბამება RAM.ეს არის16‐22 Drop/replace low‐cardinality index. Compass Disk shrinks; cache hits ↑.ეს არის 22–30 წლისეს არის ეს არის60 წუთი შენარჩუნება. ეს არის30‐36 დამატება Grafana პანელებს: cache hit %, scan:ix ratio, eviction rate. Prometheus Visual early warnings.ეს არის36‐48 Load‐test with k6 k6 + Atlas metrics Confirm p95 < 150 ms @ 2× load.ეს არისHour Action Tool მოგებაეს არის ოპერაცია ინსტრუმენტი Wins ეს არისეს არის ეს არისდააყენეთ Profile (Slow = 50)ეს არისMongo კურსიეს არისSurface Top 10 Slow OPS- ის მახასიათებლებიეს არისეს არის ეს არის ეს არის Surface Top 10 Slow OPS- ის მახასიათებლები ეს არისეს არის ეს არისეს არის ეს არისეს არის ეს არის90 წუთი ნაკლებად წაიკითხე.ეს არისეს არის ეს არის ეს არის 90 წუთი ნაკლებად წაიკითხე. ეს არის ეს არისეს არის ეს არისეს არის RAM მუდმივი; API 4x სწრაფი. ეს არის ეს არის RAM მუდმივი; API 4x სწრაფი. ეს არის10 - 16ეს არისეს არის გამოქვეყნდა ETLეს არისმუშაობა განკუთვნილია RAM.ეს არის10 - 16 ეს არის გამოქვეყნდა ETL მუშაობა განკუთვნილია RAM. 16‐22 Drop/replace low‐cardinality index. Compass Disk shrinks; cache hits ↑.16 - 22 ეს არის 22–30 წლისეს არის ეს არის60 წუთი შენარჩუნება. 60 წუთი შენარჩუნება. 30 - 36ეს არის Prometheus ეს არის Prometheus 36‐48 Load‐test with k6 k6 + Atlas metrics Confirm p95 < 150 ms @ 2× load. Load-test ერთად K6 P95 < 150 ms @ 2× დატვირთვა. ეს არისMetric სანამ შემდეგ Δეს არისეს არისეს არისეს არისეს არისეს არისეს არის Metric სანამ შემდეგ Δეს არის RAM დისკებიეს არის 36 წუთიეს არის ეს არისწაიკითხე / Sec 6 700ეს არის900 წლისეს არის სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხიეს არის P95 ლიტერატურა ეს არის ეს არის ეს არის ეს არისეს არისAtlas ღირებულება / თვე $ 15 284 $ 3 210 −79%ეს არისMetric სანამ შემდეგ ΔMetric ეს არის Δ RAM დისკებიეს არის 36 წუთიეს არის 36 წუთი ეს არისწაიკითხე / Sec 6 700ეს არის900 წლისეს არის წაიკითხე / Sec 6 700 900 წლის სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხი სარეცხიეს არის ეს არის P95 ლიტერატურა ეს არის ეს არის ეს არის ეს არის ეს არის ეს არის Atlas ღირებულება / mo.ეს არისეს არის 3 210 დოლარიეს არის ეს არის ეს არის ეს არის ეს არის ეს არის ეს არის შენარჩუნეთ თქვენი მონაცემთა ბაზა მომავალში, რათა თავიდან ავიცილოთ მაღალი დონეების დაკარგვა თქვენი Series A ფაზაში შენარჩუნეთ თქვენი მონაცემთა ბაზა მომავალში, რათა თავიდან ავიცილოთ მაღალი დონეების დაკარგვა თქვენი Series A ფაზაში ეს არის ეს არის პასუხისმგებლობა: შემდეგი არის ფიზიკური შემთხვევაში სტრუქტურა, რომელიც გამოიყენება MongoDB დიზაინი, შესრულების ტუნიზაციის და ღირებულების ოპტიმიზაციის საუკეთესო პრაქტიკების კომუნიკაციისთვის Disclaimer: The following is a fictional case study used to communicate best practices for MongoDB schema design, performance tuning, and cost optimization The Day the Bill Become Nuclear (ბილეთი, რომელიც გააუმჯობესდა ნაქსოვი) The call came through at 2:17 Atlas გამოწვევა კიდევ ერთი უპირატესობრივი წარმოების კლასის გაფართოება, რომელიც ეფუძნება მანქანა ყოველთვიური ღირებულება გსურთ იცოდეთ, რატომ იღებს 20%, ხოლო M60 იღებს ღირებულება სისტემა M60 $15k $15 k/month I opened the profiler: db.system.profile.aggregate([ { $match: { millis: { $gt: 100 } } }, { $group: { _id: { op: "$op", ns: "$ns", query: "$command.filter" }, n: { $sum: 1 }, avgMs: { $avg: "$millis" } }}, { $sort: { n: -1 } }, { $limit: 10 } ]).pretty(); თითოეული dashboard widget მოითხოვს, რომ საღებავი ატვირთოთ საერთო ყველა წუთში, სანამ rendering. ფართო რაოდენობა მეხსიერების გამოყენება შექმნილია Mountain Peaks გრაფიკაში, რომელიც იმიტომ, რომ Everest. 1.7 GB M30 სერვერები ახლა მუშაობს ერთ-ერთი ამ კლასის. გადაწყვეტა არ მოიცავს გაზრდის shards. სამი პოპულარული შეცდომები ცნობილია, როგორც დასაწყისში არ არსებობს კოდი. Crime ფორმები Crime Scene კვლევა 2.1 N + 1 Query Tsunami საწყისი ეს არის აღიარებული, როგორც ანტი მოდელი - როდესაც ordering ერთი კომპლექტი ბრძანებებს მოითხოვს შესრულების N განსხვავებული კითხვები მიიღოს order lines. // Incorrect: Orders + 1 000 extra queries const orders = await db.orders.find({ userId }).toArray(); for (const o of orders) { o.lines = await db.orderLines.find({ orderId: o._id }).toArray(); } Hidden taxes მეტრი რატომ ეს spikes რატომ ეს spikes კომპიუტერები Compute 1 000 კურსიერები = 1 000 კონტაქტის გადახდის 1 000 კურსიერები = 1 000 კონტაქტის გადახდის კონტაქტი I/O Storage I/O 1 000 index walk + 1 000 doc deserializations Network 1 მმ RTT + TLS Handshake Overhead Refactor (4 lines): // Success: Single round‑trip, 1 read unit per order db.orders.aggregate([ { $match: { userId } }, { $lookup: { from: "orderLines", localField: "_id", foreignField: "orderId", as: "lines" }}, { $project: { lines: 1, total: 1, ts: 1 } } ]); Latency p95 შემცირდა 2300 მზს 160 მზს. 2300 მმ 160 მმ ამჟამად Read-Ops: ეს არის 99% off - არ არის საჭირო კუპონის კოდი. 101 → 1. 2.2.2 Unbounded Query Firehose შეტყობინება ეს არის ეს არის “და ჩვენ უნდა გთავაზობთ სრული კლიკების ისტორია!” “But we have to show the full click history!” რა თქმა უნდა – არა ერთი კურსიში. // Failure: Streams 30 months of data through the API gateway db.events.find({ userId }).toArray(); : hard-cap ფურცელი და პროექტს მხოლოდ ფართობი თქვენ render. Fix db.events.find( { userId, ts: { $gte: ISODate(new Date() - 1000*60*60*24*30) } }, { _id: 0, ts: 1, page: 1, ref: 1 } // projection ).sort({ ts: -1 }).limit(1_000); მას შემდეგ, რაც Mongo გაწმენდა თქვენი უკან: // 90‑day sliding window db.events.createIndex({ ts: 1 }, { expireAfterSeconds: 60*60*24*90 }); ეს არის ეს არის ერთი fintech კლიენტს შეუზღუდავი სარეცხი ფულადი 72% ღამით, უბრალოდ დაამატოთ TTLs. ერთი fintech კლიენტს შეუზღუდავი სარეცხი ფულადი 72% ღამით, უბრალოდ დაამატოთ TTLs. 2.2 Jumbo-Document ფული Pit Mongo კაბები დოკუმენტები 16 MB, მაგრამ ყველაფერი მეტი 256 KB არის already Red Flag. { "_id": "...", "type": "invoice", "customer": { /* 700 kB */ }, "pdf": BinData(0,"..."), // 4 MB binary "history": [ /* 1 200 delta rows */ ], "ts": ISODate() } Why it hurts ეს არის ეს არის ეს არის ეს არის ყველა დოკუმენტი ნახვა, მიუხედავად იმისა, რომ თქვენ იხილეთ ერთი ფართობი. WiredTiger არ შეუძლია შენახვა, როგორც ბევრი დოკუმენტები გვერდზე → დაბალი cache hit ratio. Index შეტყობინებები ძალიან დიდი → bloom filter misses → more disk searches. : : : : : : Solution schema‑by‑access‑pattern graph TD Invoice[(invoices &lt;2 kB)] -->|ref| Hist[history &lt;1 kB * N] Invoice -->|ref| Bin[pdf‑store (S3/GridFS)] ეს არის ეს არის მცირე ფულადი მეტატა მგრძნობიარე; BLOBS in S3 ღირებულება $ 0,023 / GB-ს თვეში, ვიდრე NAND-grade Atlas SSDs. მცირე ფულადი მეტატა მგრძნობიარე; BLOBS in S3 ღირებულება $ 0,023 / GB-ს თვეში, ვიდრე NAND-grade Atlas SSDs. 4 უფრო ფორმული ქმედებები, რომ თქვენ შეიძლება იყოს მძიმე ეს არის ეს არის ეს არის ეს არის ეს არის დასაწყისში დასაწყისში დასაწყისში დასაწყისში დასაწყისში დასაწყისში დასაწყისში. $regex დაიწყება არ-indexed ფართობი - string scan from hell. FindOneAndUpdate line—document‐level locking bottleneck; გამოიყენეთ Redis/Kafka. skip + დიდი offset პლაჟინაცია — Mongo უნდა შეიტანოთ თითოეული skipped doc; გადახდის range (ts, _id) კერკორები. 4 · ღირებულება ანატომია 101 ეს არის ეს არის “მე ვფიქრობ, რომ ეს არის იაფი!” “მე ვფიქრობ, რომ ეს არის იაფი!” Let’s do the math. Metric ღირებულება ღირებულება ერთეული ღირებულება თვეში ღირებულება შეტყობინებები (3 k/s) 7.8 ბ 0 0 0 0 0 0 0 $702 შეტყობინებები (150 / ს) 380 მ $ 0.225 / მ $ 0.225 / მ $86 მონაცემთა გადაზიდვა Data transfer 1.5 ტბ $0.25 / GB $ 0.25 / GB საწყისი $375 შენახვის სიჩქარე (2 TB) $ 0.24 / GB საწყისი $480 $480 საერთო : $1,643. გამოიყენეთ ეს Fixes: ეს არის ეს არის ეს არის წაიკითხე მეტი 70% → $210 გადაზიდვა იღებს 80% → $ 75 შენახვის შეზღუდვა 60% → $ 192 ახალი ანგარიში: $ 564. ეს არის ერთ-ერთი საშუალო დონის ინჟინერი ან runway სანამ Q4 - თქვენ აირჩიეთ. ახალი ანგარიში: $ 564. ეს არის ერთ-ერთი საშუალო დონის ინჟინერი ან runway სანამ Q4 - თქვენ აირჩიეთ. 48-Hour Rescue Sprint (ბატარეის ტესტირება Timeline) 2 – 6 დააწკაპუნეთ N + 1 in $lookup. VS Code + Jest tests შექმნა TTLs, თვე-partition cold მონაცემები, გააქტიურება Online Archive. ATLAS კავშირი საათის საათის Action ინსტრუმენტი Wins 0‑2 0 - 2 0 - 2 დააყენეთ Profile (Slow = 50) დასაწყისში გამოქვეყნდა ( ) და slowms = 50 Mongo კურსი Mongo კურსი Surface Top 10 Slow OPS- ის მახასიათებლები 2 – 6 დააწკაპუნეთ N + 1 in $lookup. VS Code + Jest tests 2 – 6 2‑6 დააწკაპუნეთ N + 1 in $lookup. დააჭირეთ N + 1 $lookup VS Code + Jest tests VS Code + Jest tests 90 წუთი ნაკლებად წაიკითხე. 6 - 10 დამატება პროგნოზიები და შეზღუდვა შეუზღუდული ნახვა. Fire ლიტერატურა 6 - 10 6 - 10 დამატება პროგნოზიები და შეზღუდვა შეუზღუდული ნახვა. დამატება პროგნოზიები და შეზღუდვა შეუზღუდული ნახვა. Fire ლიტერატურა Fire ლიტერატურა RAM მუდმივი; API 4x სწრაფი. JUMBO დოკუმენტები → Metas + GridFS / S3 10 - 16 JUMBO დოკუმენტები → Metas + GridFS / S3 Break jumbo docs → metas + GridFS/S3. Scripted ETL მუშაობა განკუთვნილია RAM. 16 - 22 შემცირება / შეცვალოს დაბალი Cardinality ინდუსტრიები. Drop/replace low‑cardinality indexes. Compass Compass Disk shrinks; cache hits ↑. Disk shrinks; cache hits ↑. შექმნა TTLs, თვე-partition cold მონაცემები, გააქტიურება Online Archive. ATLAS კავშირი 22–30 წლის 22‑30 შექმნა TTLs, თვე-partition cold მონაცემები, გააქტიურება Online Archive. Create TTLs, month‑partition cold data, enable Online Archive. ATLAS კავშირი Atlas UI 60 წუთი შენარჩუნება. Add Grafana panels: cache hit %, scan:ix ratio, eviction rate. დასაწყისში სინამდვილე მოვლენები. 30‑36 30 - 36 Add Grafana panels: cache hit %, scan:ix ratio, eviction rate. Add Grafana panels: cache hit %, scan:ix ratio, eviction rate. Prometheus დასაწყისში სინამდვილე მოვლენები. Visual early warnings. 36‑48 36 – 48 წლის Load‑test with k6 k6 + Atlas metrics K6 + Atlas მეტრიკები P95 10? → Refactor. Cursor Returns > 1 000 docs? → Pageinate. TTL on every event/store table? (Yes/No) ნებისმიერი ინდუსტი, სადაც kardinality 1% total ops? → ოპტიმიზაცია ან cache. If primary cache hits remain under 90% it is wise to separate collections or add additional RAM memory post fixes. Place the checklist on your laptop with adhesive glue after laminating it for printing. Why Shape Beats Indexes MongoDB- ის კითხვის პლაჟერი იძლევა ღირებულება დაფუძნებული შეთავაზება კლიენტების გეგმებში. ღირებულება ვიქტორი მოიცავს: workUnits = ixScans + fetches + sorts + #docs returned Indices მხოლოდ შეამციროს . Bad shape inflates და როგორც ჩვეულებრივ. მაგალითად: ixScans fetches sorts db.logs.find( { ts: { $gte: start, $lt: end }, level: "error" } ).sort({ level: 1, ts: -1 }); Index does not help planner avoid fetching every document when it adds a predicate to an unmentioned array field in your projections. Net result: 20 k fetches for 200 hits. Index should precede shape operations in daily operations. { level: 1, ts: -1 } Live Metrics You Should Be Watching (Grafana PromQL) # WiredTiger cache hit ratio (rate(wiredtiger_blockmanager_blocks_read[1m]) / (rate(wiredtiger_blockmanager_blocks_read[1m]) + rate(wiredtiger_blockmanager_blocks_read_from_cache[1m])) ) 10% წავიდება 5 მეტრი. # Docs scanned vs returned rate(mongodb_ssm_metrics_documents[1m]{state="scanned"}) / rate(mongodb_ssm_metrics_documents[1m]{state="returned"}) > 100 ეს არის თუ თქვენ scan 100x მეტი დოკუმენტები, ვიდრე თქვენ დაბრუნება, თქვენ იღებს ფული. If you scan 100× more docs than you return, you’re burning money. Hands-On: Thin-Slice მგზავრობის სკრიპტი Need to crack a 1‑TB collection into და , არ იღებს დრო? იღებს დრო pattern. events clicks views logins double‑write / backfill // 1. Add trigger const changeStream = db.events.watch([], { fullDocument: 'updateLookup' }); changeStream.on('change', ev => { const dest = db[`${ev.fullDocument.type}s`]; dest.insertOne({ ...ev.fullDocument }); }); // 2. Backfill historical in chunks let lastId = ObjectId("000000..."); while (true) { const batch = db.events.find({_id: {$gt: lastId}}).sort({_id: 1}).limit(10_000); if (!batch.hasNext()) break; const docs = batch.toArray(); docs.forEach(d => db[`${d.type}s`].insertOne(d)); lastId = docs[docs.length - 1]._id; } Zero downtime, minimal extra storage (thanks to TTL), everyone sleeps. When Sharding პასუხი Is According to the rule of thumb you should shard only if you verify of these conditions comes true after optimizing your database: one The system operates with a working set representing more than 80 percent of RAM regardless of the cache performance rate. სისტემა აწარმოებს მეტი 15 ათასობით ოპერაციები წამში მისი მაქსიმალური წერილის შესრულება, როდესაც იყენებს ერთი ძირითადი სერვერზე. თქვენი ძირითადი Priorities უნდა იყოს შენარჩუნება sub-70-millisecond multi-region latency, რადგან მაღალი AWS გადახდის ღირებულება არ არის თქვენი მნიშვნელოვანია. The decision should be simple when the conditions do not match these rules. Case Study Wrap-Up კვლევები RAM დისკები 120 GB 36 წუთი −70 % Reads/sec 6 700 900 წლის −86 % Storage (hot) 2.1 ტაბლეტი 600 კგ ეს არის 71% p95 latency 1.9 ს 140 ms 92 წუთი Atlas cost / mo. ეს არის $15 284 ეს არის $3 210 79 წუთი 120 GB 70 წუთი 86% 1.9 ს 140 მმ 92 წუთი Metric Before სანამ შემდეგ After Δ 120 GB −70 % RAM დისკები RAM footprint 120 GB 120 GB 36 GB 70 წუთი −70 % 86% წაიკითხე / Sec 6 700 900 წლის 86% 86% სინათლის სინათლის (Hot სინათლის სინათლის (Hot 2.1 ტაბლეტი 2.1 ტაბლეტი 600 GB 600 GB 71% 71% 1.9 ს 140 მმ 92 წუთი p95 latency P95 ლიტერატურა 1.9 ს 1.9 s 140 მმ 140 მმ 92 წუთი 92 წუთი 15 284 დოლარი 79 წუთი Atlas ღირებულება / mo. Atlas ღირებულება / mo. 15 284 დოლარი $15 284 $3 210 3 210 დოლარი 79 წუთი 79 წუთი ეს არის No shards, no major code freeze, just ruthless shape surgery. არ არსებობს ფარები, არ არის ძირითადი კოდი შეზღუდვა, უბრალოდ უარყოფითი ფორმის ოპერაცია. Takeaway: Debt vs. Death Spiral-ის მოვლენები მოთხოვნით, რომ სწრაფად მიწოდოთ, აუცილებელია, მაგრამ დაბალი ხარისხის მუშაობის შენარჩუნება მოიცავს ფულადი მოცულობა. Cloud მომწოდებელი იღებს კმაყოფილებას, რომელიც იღებს 1000% წლიური დონეზე თქვენი არ გადაიხადული ფულადი. ჩვენ შეამოწმოთ MongoDB- ის მაღალი კმაყოფილების კრედიტის ბარათები, რადგან ისინი მოიცავს ორი ფორმული ქცევა, რომელიც ჩვენ შეამოწმოთ. ამ ფულადი გადაიხადება თქვენი ამჟამად sprint-period- ში შეასრულებს მადლობა ტექნიკური და ფინანსური ანგარიშები. თქვენ უნდა გახდეს პროფილი მუშაობა ერთად pistons while adding TTL dust, and then deploy your project in lean mode. Your board and your dev team and your pager at 02:17 will obtain quality rest. $lookup გააუმჯობესეთ თქვენი კოდი, სანამ შემდეგი ავტომატური გაუმჯობესება ხდება.