1992 онд технологийн эхлэх хойш (дүүнээс дээш долоо хоногийн өмнө!), Би "түүнийг багатайгаар илүү хийж" гэж үзэж буй хэд хэдэн үзэсгэлэнтэй үзэсгэлэнтэй байдаг. Энэ нь бага багны гишүүдтэй илүү их хүргэх эсвэл хязгаарлагдмал тоноглогдсон тоног төхөөрөмжийн нөөцийг ажиллуулах гэж нэрлэдэг гэж нэрлэдэг гэж нэрлэдэг. нэг туршлага нь хөнгөн модернизацийн төсөл дээр backend архитектор гэж миний туршлагатай байна. Хэвийн багасгахад бид —Logging бид маш их debugging болон ач холбогдол шинжилгээ хийхэд хэрэглэдэг. Эдгээр шийдэл нь бидний харах боломжтой платформ дээр log ingestion-ийн өндөр зардалтай юм. minimize or eliminate service-level logging Энэ нь ажиллаж байна - тэр хүртэл. Бид үнэхээр тавтай морилно уу! Хязгааргүйгээр, ямар ч ач холбогдолтой асуудал болсон, бид тэдний хязгаарлагдмал бүртгүүлэг хэрэгтэй. Тэдний эх үүсвэрийг тодорхойлох нэг арга юм. Тэдгүйгээр, шийдэлгүйгээр цаг ачаалал, нягтрал нэмэгдэж, анхаарал бүх багт дараах байна. // Sample (but not the real) log line removed during our cost-cutting
{
  "timestamp": "2025-03-21T14:05:03Z",
  "service": "preference-engine",
  "level": "ERROR",
  "message": "Worker queue overflow: unable to dispatch to worker pool",
  "requestId": "abc123",
  "userId": "admin_42"
}
 Хэрэв бид үүнийг хадгалж байгаа бол, энгийн структурын алдааны жагсаалт (ямар ч) нь энгийн жагсаалт жагсаалт (ямар ч дараах жагсаалт) ашиглан жагсаалтын платформ дээр хялбар шүүлтүүр болно бөгөөд бидэнтэй мэдэгдэж, диагноз, асуултуудыг сайжруулдаг. _sourceCategory=prod/preference-engine "Worker queue overflow"
| count by userId, requestId
 Бидний босоо хуваалцах нь ихэвчлэн багасгах гэж нэрлэдэг бөгөөд бүх төсөл нь хязгаарлагдмал байдалтай байдаг. Lean нь ресурсны алдартай байх ёстой биш юм Ямар ч, "түүнийг багатай нь илүү хийх" мэдрэмж байгалийн богино биш юм. Олон эх үүсвэрүүд гол приоритет дээр төвлөрөг, хялбар, үр ашигтай програм хангамжийг ашиглаж, хөгжилтэй байдаг. Минималист загвар нь хамгийн сайн чанарыг сайжруулах боломжтой бөгөөд гол хэрэгсэл байрладаг бол. But this wasn’t the “good” kind of lean. And our deadline to move to the cloud was fixed. We were racing against a browser deprecation date. That meant rewriting services to a cloud-native design, coordinating with client teams, and delivering under pressure. With no time for complete test coverage or deep observability integrations,   and help determine the root cause for unexpected scenarios. That was OK at first, we just inserted the necessary logging while working on each method. we relied on logs to resolve our issues Гэсэн хэдий ч, хавтгай дүүргэлсэн үед, баг дээр хязгаарлагддаг. Бидний үндсэн аюулгүй байдлын сүлжээг олсон байна. Root Cause ямар ч сүлжээ Интернетийн туршилт сайн байсан. Бүтээгдэхүүний ойролцоогоор бид шинэ хөнгөн дээр суурилсан архитектуудад итгэлтэй байсан. Бид туршилтын талаархи мэдэгдсэн асуултуудыг шийдсэн бөгөөд бидний хугацааны хугацааг хангасан. Гэхдээ бид тавтай морилно уу бидний найдвартай байсан, бидний туршилтын хавхлага хязгааргүй байсан. Бид үйлдвэрлэлд байсан бөгөөд үнэхээр хэрэглэгчид платформ ашиглаж байсан бөгөөд энэ нь гайхалтай найдвартай хязгаарлагдмал тохиолдолд харуулсан. Тэгээд байтугай, нарийвчлалтай дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөр Хэрэв бид backend туршилтын болон frontend дээр үйлдвэрлэлийн хэрэглэгчдийн дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин дөрвөлжин д _sourceCategory=prod/preference-engine OR prod/frontend error
| join ( _sourceCategory=prod/tester-feedback “queue error” )
  on requestId
| fields requestId, _sourceCategory, message
 Гэсэн хэдий ч, бүртгэлүүдгүйгээр орон нутгийн үйл явдлыг хуваалцах нь ихэвчлэн хялбаргүй байсан. Үнэлэг хэрэглээний тохиолдолд ихэвчлэн өөр өөр өөр өөр өөр өөр өөр байдаг. Бид эд ангины бүртгэлг шинэчлэхэд тусалсан боловч энэ нь зөвхөн үйл ажиллагаа явуулж буй мэдлэггүйгээр багасгахын тулд бидний хэрэглээний төлбөр нэмэгдүүлэхэд тусалсан. Зарим тохиолдолд, бид алдартай шалтгаан нь ямар ч мэдэгдэж чадахгүй байна. Энэ нь хэцүү байрладаг: хэрэглэгчдэд нөлөөлж буй асуудал байдаг гэж мэдэгдэх бөгөөд энэ нь мэдэгдэж чадахгүй байна. Энэ нь баг дээрх хязгааргүй байдал мэдрэмжийг бий болгосон. MTTR vs Сигнал чанарын Үүнээс гадна, бидний үйл явдлын ретроспектив дээр нэг асуудал байсан, энэ нь эвдэх цаг хугацаа ( Бид MTTR-ийг ихэвчлэн өвчин биш, эх үүсвэр гэж үзэж байна. МТР Аж үйлдвэрийн бенчмарк нь ихэвчлэн элит бүлэг MTTR-ийг долоо хоногийн дотор олж авсан. Гэхдээ бид хурд нь зүгээр л автоматжуулалт биш юм гэж мэдэж байна. . Low-fidelity сигнал, жинхэнэ 500 алдаа, агуулсан метрикийн зардлыг гэх мэт, үнэхээр туслах биш юм. Тэд зөвхөн хязгаарлалт, ресурсны хязгаарлалт (жишээ нь үнэ цэнэтэй цуглуулах цаг, бүртгүүлэх зардал). high-fidelity signals Үүнээс гадна, дэлгэрэнгүй, контекстны сигналууд - userId, requestId, үйлчилгээний шугам нь бүтэцтэй жагсаалт гэх мэт - шууд эх үүсвэртэй болно. Нарийвчлалтын платформ MTTR-ийг багасгах боломжтой боловч энэ нь танд ашиглаж байгаа өгөгдөл нь үйл ажиллагаа явуулж болно. Хэрэв таны бүртгэлүүд Эдгээр асуултанд хариу биш бол таны MTTR нь багны хурд тухай биш - энэ нь сигнал ягаан туяаны тухай юм. Sumo Logic-ийн загварууд нь цаг хугацааг хэрхэн хадгалж болно Тэгэхээр миний хөнгөн модернизацийн төслийн үед ямар нэгэн янз бүрийн - болон илүү сайн - байж болох вэ? Эх, би танд илүү сайн лог аналитик, програм хангамжийн гүйцэтгэлийн хяналтын (APM) байхыг хүсч байна. Тэгээд энэ нь APM, лог удирдлагын, үйлчилгээний мониторууд, илрүүлэг, тохирсон метрик нь үйл ажиллагаатай амжилт, эсвэл алдаатай харьцуулагдсан байна. Би (нэн бүх төсөл дээр) би бүх шинэ шинж чанарын хувьд түүний амжилттай холбогдсон метриктэй байхыг хүсч байна. Идэвхжүүлэхийн тулд би хүсэж байна! Миний өмнөх хэвлэлд, " «Би хайж байна вэ Бүртгүүлэг нь үргэлжлэхэд ашиглаж болно, гэхдээ та зүгээр л анхаарах, эсвэл анхаарах хэрэгтэй үед төлөх болно. DevSecOps: Хэрэв та өөрийн хүсэлтийг төлөх цаг юм, хэрэглэх биш, Sumo логик Та бүрэн нэгжийн туршилтын хавтгайгүй баг байна уу? Реал хугацааны давуу талбар, гранулийн метрикийн хязгаарлалттай? Хатуу буцаан дээр байна уу? Логтуудын хязгаарлалттай? Үнэгүй үнэ цэнэтэй бүрэн хэрэглээг ашиглан, багтууд тэдний хэрэгцээтэй хязгааргүйгээр бүртгүүлэх болно. Тэгээд энэ үйл явцад эцсийн үед (ийг байх болно), анализ нь хэрэглэгчийн нөлөө, бизнесийн байлгах нь шууд хамарсан үнэ цэнэтэй, хэрэглэгчийн хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээний хэрэгцээтэй болно. Энэ арга хэрэгсэл хяналтыг сайжруулдаг, анхаарал бууруулдаг, учир нь бүлэгүүд хамгийн чухал үед ихэвчлэн судлах боломжийг олгодог. But Wait: You Also Need Machine-Assisted Triage to Clear Up Your Queries Modern observability is not just about having all that beautiful log data—it is also about knowing where to look in that data. Үүнээс гадна, та organized байх ёстой, . high-fidelity signals Хэрэв та хязгааргүй хэрэглээтэй бол та олон өгөгдөлтэй байна. Тэгээд та мэдээлэл хайж эхэлж байгаа үед та эхлэх газар хэрэгтэй. туслахын тулд, Sumo Logic бас санал болгож байна Энэ нь автоматаар аномалын үйл явцыг группируулдаг, outliers-ийг олж, нэг асуулт бичнэ өмнө үйлчилгээнд харьцуулахад харьцуулагдсан сигналуудыг харуулдаг. machine-assisted triage tools Сэдэв, Sumo Logic статистик алгоритм, машин суралцах хэрэглэдэг: 
 
 
 
 
 Cluster logs by similarity (хэдийгээр nodes хооронд янз бүрийн хэлбэрийн хэлбэрийн хэлбэрийн талаар). Метрикийн болон бүртгүүлэгчдэд хязгаарлалт мэдэгдэх (жишээ нь, үйлчилгээ, бүс, хэрэглэгчийн бүлэгт дагуу алдааны түлхүүр). Метад аномалийг багасгахад (жишээ нь, AWS tags, Kubernetes pod info, суулгах маркер). Эмэгтэй хэлний боловсруулах цуглуулаг semantic similarity, зүгээр л string matching биш logs. Энэ нь хязгааргүй хэрэглээний өндөр тооны орчинд маш их ашигтай байдаг. Хязгааргүй хэрэглээний орчинд илгээрийн лог шугам дамжуулан шилжихын тулд та "лог бүртгэлийг" олж авах болно — холбогдсон үйл явдлын бүлэгүүдийг харуулсан загвар. Бүтээгдэхүүний Workflow _sourceCategory=prod/* error
| logreduce
 Эдгээр нэг үйл явдал нь шулуун бүртгэлийн өгөгдлийг үйл ажиллагаа явуулж болно: Error: Worker queue overflow
Error: Auth token expired for user *
Error: Timeout in service *
 Нэг удаа хуваалцсан, багц нь доорх контекст руу хуваалцах боломжтой: | where message matches "Auth token expired*"
| count by userId, region
 Бүтээгдэхүүний үр дүнд? Хязгаарлагдмал хайлт бага. Хязгаарлагдмал шийдэл хурдан. Хязгаарлалт бага. Баримтлал "Нэмэлттэй илүү хийх" философии нь инженерийн багдыг хязгааргүй болгоно. Гэхдээ энэ нь зөв тоног төхөөрөмжтай байх ёстой. Тэдгүйгээр, найдвартай баг ч байтугай хязгааргүй үйл ажиллагаа явуулж болохыг мэдэрч болно. Хязгааргүй байдал, стресс. Миний оюутнууд миний хувийн миссийн хэлтэс мэдэгдэх болно, би ямар ч IT мэргэжилтнүүдэд хэрэглэж болно гэж бодож байна: 
 
 "Зөвхөн таны цаг хугацааг шинж чанарыг / функцийг санал болгож чадна. Бүх бусад зүйлсэд frameworks, бүтээгдэхүүний, үйлчилгээг ашиглах. " - J. Vester "Зөвхөн таны цаг хугацааг шинж чанарыг / функцийг санал болгож чадна. Бүх бусад зүйлсэд frameworks, бүтээгдэхүүний, үйлчилгээг ашиглах. " - J. Vester Энэ нийтлэлд бид нунтаг үсэг загварын загварыг энэ үйл ажиллагаатай харьцуулахад хэрхэн үзсэн. Энэ нь багдад хурдан эх үүсвэрийг идентичлэх, хязгаарлалт хугацааг багасгах, стресс түвшинд багасгахад туслахын тулд туслах болно. Үнэндээ маш сайн өдөр!

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

2022 - HackerNoon Contributor of the Year - Cloud Computing

2022 - HackerNoon Contributor of the Year - Design

2022 - HackerNoon Contributor of the Year - Heroku

2022 - HackerNoon Contributor of the Year - Javascript

2022 - HackerNoon Contributor of the Year - Salesforce

2022 - Hackernoons Tech Storyteller of the Year

I ♥ writing code. Find me on GitLab.

Nominated for 2022 - HackerNoon Contributor of the Year - Javascript

Nominated for 2022 - Hackernoons Tech Storyteller of the Year

Nominated for 2022 - HackerNoon Contributor of the Year - Cloud Computing

Nominated for 2022 - HackerNoon Contributor of the Year - Heroku

Nominated for 2022 - HackerNoon Contributor of the Year - Design

Nominated for 2022 - HackerNoon Contributor of the Year - Salesforce

Энэхүү аудио нь түүхийн эх хэлээр хийгдсэн болно!

Хэтэрхий урт; Унших

Make resilience your competitive advantage

Хамгийн бага нь илүү хийж? Хамгийн сайн бүртгэл, илүү сайн хэрэгсэлгүй

About Author

Сэтгэгдлүүд

TAG ҮҮ

ЭНЭ ӨГҮҮЛЛИЙГ ТОЛГОЙЛУУЛСАН

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps