২০২৬ সালে কেন লগ এখনও ক্ষতিগ্রস্ত লগইনগুলি "সত্য" কিন্তু তারাও : least ergonomic data format ever invented 
 
 
 
 মাত্রা: GB / TB প্রতিদিন স্বাভাবিক। ফরম্যাট ড্রাইভ: অ্যাপাচ, Nginx, JVM, কনটেইনার রানটাইম, অ্যাপ্লিকেশন লগ, সরবরাহকারী এসডিএক লগ ... প্রতিটি তার নিজস্ব পরিকল্পনা (বা পরিকল্পনার অভাব) নিয়ে আসে। লুকানো সংযোজন: প্রকৃত কারণ প্রায়ই একসাথে ঘটে যাওয়া বার্তাগুলিতে বসবাস করে (টাইমআউটস + পুল ক্লান্তি + CPU পিকস), একটি একক কীওয়ার্ডের পরিবর্তে। LLMs সমীকরণ পরিবর্তন কারণ আপনি সাধারণ ইংরেজিতে উদ্দেশ্য বর্ণনা করতে পারেন- পুরো পার্শ্ববর্তী লেখালেখি ছাড়াই। then force structure on output কিন্তু কী শব্দটি . শক্তি একটি ভাল অনুরোধটি "এই লগগুলি বিশ্লেষণ করুন" নয়; একটি ভাল অনুরোধ একটি চুক্তি। মানসিক মডেল: চুক্তি হিসাবে অনুরোধ, প্রশ্ন নয় একটি API spec হিসাবে আপনার prompt চিন্তা করুন: 
 
 
 
 
 ইনপুট: আপনি কি সরবরাহ করেন (লগ স্ক্রিপ্ট, টাইমফ্রেম, পরিকল্পনা টিপস)। কাজ: মডেলটি কী হিসাব করতে হবে (ফিল্টার, অন্তর্ভুক্ত, হিসাব, গ্রুপ)। আউটপুট পরিকল্পনা: ফলাফল কিভাবে দেখতে হবে (ট্যাবলেট / JSON, ডার্মেন্টিস্টিক ক্ষেত্র)। সীমাবদ্ধতা: কি উপেক্ষা করা উচিত, কীভাবে এন্ডেজ ক্ষেত্রে মোকাবেলা করা উচিত, নিয়ম নামকরণ। আপনি যদি এইগুলি নির্দিষ্ট না করেন তবে মডেলটি আপনাকে একটি উপন্যাস দেবে। অংশ I - লগ বিশ্লেষণ অনুরোধ যা hallucinate না 5 ব্লক প্রম্পট টেমপ্লেট (বিশ্ব টেস্টিং) আপনার ডিফল্ট স্কেলটন হিসাবে এটি ব্যবহার করুন: 1) Role: You are a {domain role} specializing in {log type} analysis.
2) Context: System + timeframe + what "good" looks like.
3) Data: Paste logs or provide a schema + sample lines.
4) Tasks: Bullet list of explicit operations to perform.
5) Output: Strict schema (table or JSON). Include edge-case rules.
 একটি ছোট পদক্ষেপ, একটি বড় প্রভাব: যদি একজন মানুষ এটি পরে পড়তে চায়, তাহলে মহান—মানুষ JSON পড়তে পারে। make the output machine-checkable পরিস্থিতি A — ইভেন্ট সার্ভার: তুলনা ERROR / FATAL, স্বাভাবিক, dedupe এখানে একটি স্প্যাম্ট যা একটি অ্যাপ্লিকেশন টিম বন্ধু হিসাবে আচরণ করে: Role:
You are a senior SRE. You extract incident-relevant signals from mixed application logs.
​
Context:
- System: Checkout Service (Java) + Redis cache + MySQL
- Goal: Identify actionable error patterns for a post-incident summary
- Time window: 2026-02-16 19:10–19:20 UTC
​
Data:
{PASTE LOGS HERE}
​
Tasks:
1) Filter only ERROR and FATAL entries.
2) For each entry, extract:
   - ts, level, service/component (if present), exception/error type, resource (host/ip/url), raw message
3) Normalize error types:
   - e.g., "Conn refused", "Connection refused" -> "Connection refused"
   - Stack traces: keep only top frame + exception class
4) Deduplicate identical errors; count occurrences.
5) Produce top-3 error types by frequency.
​
Output (strict JSON):
{
  "window": "...",
  "total_errors": 0,
  "top_errors": [
    {
      "error_type": "",
      "count": 0,
      "example": {
        "ts": "",
        "level": "",
        "resource": "",
        "message": ""
      }
    }
  ],
  "all_errors": [
    {
      "ts": "",
      "level": "",
      "error_type": "",
      "resource": "",
      "message": ""
    }
  ]
}
​
Constraints:
- Never invent fields. If missing, use null.
- Keep error_type <= 40 chars.
 কেন এই কাজ 
 
 
 
 আপনি " বিশ্লেষণ" অনুরোধ করছেন না. আপনি অপসারণ + স্বাভাবিককরণ অনুরোধ করছেন. আপনি অনুপস্থিত ক্ষেত্রের জন্য null দাবি করে সৃজনশীলতা প্রতিরোধ করেন। আপনি সংখ্যা চাহিদা, যা গল্প বলার পরিবর্তে সংগ্রহকে বাধ্য করে। পরিস্থিতি বি — পণ্য বিশ্লেষণ: আচরণের লগ থেকে কম্পিউটার ফানেল আচরণের লগইনগুলির জন্য, আপনি যত্ন এবং কোনও চিহ্ন নেই। আলাদা ব্যবহারকারী রূপান্তর ম্যাট Role:
You are a product analyst. You compute funnel metrics from event logs.
​
Data:
Each line is one event:
YYYY-MM-DD HH:MM:SS | user_id=... | event=... | item_id=... | device=...
​
Tasks:
1) For item_id=SKU-9411, count each event type.
2) Compute unique users per event (dedupe by user_id).
3) Compute:
   - view->add_to_cart
   - add_to_cart->purchase
4) If denominator is 0, return "N/A" and explain.
​
Output:
- Table: event, events_count, unique_users
- Then: formulas + results (2 decimals)
 পরিসংখ্যান C — প্রবণতা বিশ্লেষণ: স্পট পিক্স, হাইপোথিসাইজার কারণ (সাবধানে) প্রবণতা অনুরোধগুলি ব্যর্থ হয় যখন আপনি মডেলটি "মাত্রা" করার আগে "সব ব্যাখ্যা" করার অনুমতি দেবেন। প্রথমে জরুরি পরিমাপ করুন: Tasks:
1) Identify peak windows (>= P95) and trough windows (==0).
2) Describe the trend using only the provided numbers.
3) Provide 3 hypotheses, each tied to at least one data point.
4) List 5 follow-up queries you'd run in your log tool to validate.
 এতে ‘একটি বিস্তার হয়তো ঘটেছে’ একটি গল্পে পরিণত হয়। দ্বিতীয় অংশ - কীওয়ার্ড গ্রাসিং যা সত্যিই উপকারী কীওয়ার্ড গ্রাসিং যেখানে টিমগুলি সময় নষ্ট করে কারণ সবাই ট্যাক্সোনোমিয়া সম্পর্কে বিতর্ক করে। তাহলে ট্যাক্সিনোডের ধারাবাহিকতা বর্ণনা করুন। ক্লাসিং টেমপ্লেট (6 ব্লক) 1) Role: You are an NLP engineer for operational logs.
2) Input: List of keywords/errors (raw strings).
3) Dimension: Cluster by {fault type | subsystem | user journey stage | time correlation}.
4) Rules:
   - Each keyword belongs to exactly one cluster.
   - Provide a short cluster name + description.
   - If ambiguous, choose best fit and add rationale.
5) Output: JSON array of clusters.
6) Constraints: 3–7 clusters total, names <= 20 chars.
 উদাহরণ: ভুল টাইপ দ্বারা ক্লাস্টার (ops-friendly) ইনপুট তালিকা (সচেতনভাবে বিভ্রান্তিকর): 
 
 
 
 
 
 
 
 
 
 DB Conn টাইমআউট MySQL: সংযোগ প্রত্যাখ্যান হ্যান্ডশেক ব্যর্থ ডেভেলপমেন্ট.ইউটিউফমেমরিফ্রেম 502 বাদ গেটওয়ে থ্রেড পুল ক্লান্ত NullPointerException at অর্ডারহ্যান্ডলার ক্যাশ টাইমআউট / কার্ড CPU ব্যবহার 99% দ্রুত আউটপুট দেখতে হবে: [
  {
    "cluster": "Resource Connect",
    "keywords": ["DB conn timeout", "MySQL: Connection refused", "Redis handshake failed", "Cache timeout /cart"],
    "notes": "Downstream connectivity and timeouts (DB/cache/network). Owner: SRE"
  },
  {
    "cluster": "Code Exceptions",
    "keywords": ["NullPointerException at OrderHandler", "java.lang.OutOfMemoryError"],
    "notes": "Application-level exceptions. Owner: Dev"
  },
  {
    "cluster": "Gateway/Infra",
    "keywords": ["502 Bad Gateway", "CPU usage 99%", "Thread pool exhausted"],
    "notes": "Edge/proxy errors and capacity saturation. Owner: SRE/Platform"
  }
]
 লক্ষ্য করুন যে কি অনুপস্থিত: "AI vibes" এটি সরাসরি মানচিত্রযোগ্য . who does what next অসাধারণ সত্য: আপনি এখনও প্রাক-প্রসেসিং প্রয়োজন LLMs একটি প্রতিস্থাপক নয়: 
 
 
 
 
 
 সময় ফিল্টার খনির মাঠ নমুনা ডিপোজিট সংকেত / সংকেতগুলির মধ্যে সংযোগ তিনি লেখার বদলী। যখনই ফরম্যাট বদলাবে তখনই ফরম্যাট বদলাবে। অভ্যাস বিজয়ী ওয়ার্কফ্লো হল: 
 
 অর্থাৎ, এলএলএলএল সিস্টেমটি সঠিকভাবে সঠিক করে তোলে। Tool does the slicing. LLM does the sense-making. উন্নত ওয়ার্কফ্লো 1 — এলাস্টিক (এলক) + পম্পট: টিবি কমে → 200 লাইন → স্পষ্টতা একটি pragmatic খেলা: 
 
 
 
 
 Use your log platform to filter:
 
 
 
 
 
 service=checkout level >= ERROR @timestamp: 19:10–19:20 ছোট সাবসেট (50-300 লাইন) রপ্তানি করুন। ফাইলটি JSON (JSON Output) নামে ডাউনলোড করা হয়। অন্তর্ভুক্ত error_type শব্দগুলি clustering prompt এ ফিড করুন। যদি আপনার দল গ্রহণ করে এলাস্টিক টুলিংয়ের ক্ষেত্রে, আরও ভাল: ESannooQL আপনাকে ডেটা প্রেরণ করার আগে "পরি যোগদান" (উদাহরণস্বরূপ, ব্যবহারকারীর স্তর বা অঞ্চল যোগ করুন) করতে সহজ করে তোলে। ES|QL উন্নত ওয়ার্কফ্লো 2 — OpenTelemetry লগ: একবার পরিশোধ করুন, সব জায়গায় বিশ্লেষণ করুন আপনি যদি লগিং মান প্রভাবিত করতে পারেন, এই কাজটি করুন: 
 
 
 সংশ্লিষ্ট বৈশিষ্ট্যগুলি গ্রহণ করুন (service.name, deployment.environment, http.route, db.system ইত্যাদি) বার্তাগুলি মানুষের কাছে পাঠযোগ্য রাখুন, কিন্তু নিশ্চিত করুন যে মূল সত্যগুলিও গঠিত ক্ষেত্র। কেন? কারণ এলএলএম অনুরোধগুলি দৃশ্যমানভাবে সহজ হয়ে যায় যখন ক্ষেত্রগুলি একত্রিত হয়: 
 
 "Extract error.message and db.statement" বের করে "এই blob এর মানে কি তা অনুমান করুন"। যদি আপনার লগগুলি গঠিত না হয়, তাহলে আপনার অনুরোধটি একটি বিশ্লেষক হয়ে উঠতে হবে। এবং পার্সার যেখানে আনন্দ মরে যায়। উন্নত ওয়ার্কফ্লো 3 — Python Preprocessing + prompt clustering (একটি twist সঙ্গে) যখন আপনার লগ ফ্রি ফর্ম হয়, একটি করুন মৌলিক বিষয়গুলো খুঁজে বের করুন। সর্বনিম্ন এখানে একটি সামান্য সংশোধিত উদাহরণ যা একটি এলএলএম অনুরোধে আপলোড করা যেতে পারে JSON-এ কাঁচা লাইন রূপান্তর করে। ফলে কোনো কাঠামো তৈরি হয় না। reduce chaos import re
import json
​
RAW = [
    "2026-02-16 19:12:05 ERROR checkout Thread-17 DB connection timeout url=jdbc:mysql://10.0.4.12:3306/payments",
    "2026-02-16 19:12:19 WARN  checkout Thread-03 heap at 87% host=app-2",
    "2026-02-16 19:13:02 ERROR cache    Thread-22 Redis handshake failed host=10.0.2.9:6379",
    "2026-02-16 19:13:45 FATAL checkout Thread-17 java.lang.OutOfMemoryError at OrderService.placeOrder(OrderService.java:214)"
]
​
PATTERN = re.compile(
    r"(?P<ts>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})\s+"
    r"(?P<level>DEBUG|INFO|WARN|ERROR|FATAL)\s+"
    r"(?P<service>\w+)\s+"
    r"(?P<thread>Thread-\d+)\s+"
    r"(?P<msg>.*)"
)
​
def parse_line(line: str):
    m = PATTERN.match(line)
    if not m:
        return {"ts": None, "level": None, "service": None, "thread": None, "msg": line}
​
    d = m.groupdict()
    # lightweight resource hints (optional)
    d["resource"] = None
    if "host=" in d["msg"]:
        d["resource"] = d["msg"].split("host=", 1)[1].split()[0]
    if "url=" in d["msg"]:
        d["resource"] = d["msg"].split("url=", 1)[1].split()[0]
    return d
​
structured = [parse_line(x) for x in RAW]
print(json.dumps(structured, indent=2))
 এখন আপনার LLM প্রেরণ করা যেতে পারে : পরিষ্কার 
 
 
 
 ত্রুটি, ভুলের পরিস্থিতি error_type এর মধ্যে msg স্বাভাবিক করুন সেবা বা ত্রুটি ধরনের দ্বারা cluster সাধারণ দ্রুত ব্যর্থতা (এবং সংশোধন) 1) “এই লগগুলি বিশ্লেষণ করুন” (aka: please ramble) : চাহিদা অপসারণ কাজ + কঠোর আউটপুট পরিকল্পনা। Fix ২) অনুপস্থিত উইন্ডো যদি আপনি একটি টাইমফ্রেম / সিস্টেম কন্টেক্সট প্রদান না করেন তবে মডেলটি "স্বাভাবিক শব্দ" এবং "অসুবিধা" পৃথক করতে পারে না। : যোগ করুন . Fix সিস্টেম + উইন্ডো + লক্ষ্য ৩. ক্লাস্টারিং মাত্রা অনিশ্চিত "এইগুলি প্রাসঙ্গিকতা দ্বারা গ্রুপ করুন" এভাবে আপনি 14 গ্রুপগুলি "মিস্ক" নামে পেতে পারেন। : একটি মাত্রা নির্ধারণ করুন এবং গ্রুপগুলি 3-7 পর্যন্ত রাখুন। Fix ৪. কোনও এজেন্সি নীতি শূন্য দ্বারা বিভাজন, খালি ইনপুট, অস্পষ্ট কীওয়ার্ড ... মডেল অনুমান করবে। • নির্দিষ্ট নীতিমালা: , , “নতুন ক্লাস্টার তৈরি”, ইত্যাদি Fix null N/A 5) একটি ক্রু হিসাবে ভূমিকা উত্সাহ একটি "সেনিয়র SRE" ব্যক্তি ফলাফল সঠিক করে না। : ভূমিকা শুধুমাত্র টোন হিসাবে চিকিত্সা; সঠিকতা থেকে আসে . Fix কাজ + সিস্টেম + সীমাবদ্ধতা একটি পুনরায় ব্যবহারযোগ্য "প্রম্পট প্যাক" যা আপনি আপনার টিম উইকিতে ফেলে দিতে পারেন 1) ট্রায়ার প্রম্পট (ERROR / FATAL → JSON) 
 
 ঘটনা সংক্ষিপ্ত এবং Handoffs জন্য ব্যবহার করুন। 2) মেট্রিক্স প্রম্পট (অভিনেত্রী → ফানেল) 
 
 নমুনা লগ থেকে পণ্য / অপারেটিং ড্যাশবোর্ডের জন্য ব্যবহার করুন। 3) ট্রেন্ড প্রম্পট (টাইম সিরিজ → স্পিকস + হাইপোথস + অনুসরণ) 
 
 ‘কী বদলে গেল’ সেশনে 4) Clustering prompt (কৌশল শব্দ → 3-7 ইভেন্ট বোকেট) 
 
 একটি লাইভ ত্রুটি ট্যাক্সোনোমিয়া নির্মাণ করতে ব্যবহার করুন। চূড়ান্ত: কি "সুন্দর" দেখায় যদি আপনি সঠিকভাবে এটি করেন, তাহলে আপনার কল ফ্লোর পরিবর্তন: 
 
 
 Previous: “Grep + Intuition + Slack Archaeology” পরে: “filter → prompt → structured summary → owner → next query” কোন জাদু নয়, স্বয়ংক্রিয় এজেন্ট নয়, শুধু আপনার এবং মডেলের মধ্যে একটি নিয়ন্ত্রিত চুক্তি। এবং এটি লগগুলি আবার ডেটা হিসাবে অনুভব করার জন্য যথেষ্ট।

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

গল্পের মূল ভাষায় এই অডিও তৈরি!

Prompt-Driven লগ বিশ্লেষণ & Keyword Clustering

About Author

মন্তব্য

আসে ট্যাগ

এই নিবন্ধটি উপস্থাপন করা হয়েছে

Related Stories

ডিজিটাল যাযাবর শুনুন: থাইল্যান্ডের নতুন ডিটিভি ভিসা সম্পর্কে আপনার যা জানা দরকার

সফল ক্লাউড মাইগ্রেশনের সম্পূর্ণ নির্দেশিকা: কৌশল এবং সর্বোত্তম অনুশীলন

অদেখা স্তরগুলি: কেন ব্যবহারকারীর সাক্ষাত্কারগুলি একটি অপরিবর্তনীয় সম্পদ

ক্রিপ্টো গ্রোথ: কার্যকরী ব্যবহারকারী ব্যক্তিত্ব তৈরি করা

ডিজিটাল যাযাবর শুনুন: থাইল্যান্ডের নতুন ডিটিভি ভিসা সম্পর্কে আপনার যা জানা দরকার

সফল ক্লাউড মাইগ্রেশনের সম্পূর্ণ নির্দেশিকা: কৌশল এবং সর্বোত্তম অনুশীলন

অদেখা স্তরগুলি: কেন ব্যবহারকারীর সাক্ষাত্কারগুলি একটি অপরিবর্তনীয় সম্পদ

ক্রিপ্টো গ্রোথ: কার্যকরী ব্যবহারকারী ব্যক্তিত্ব তৈরি করা

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps