Pou ti ekip sipò Incident nou an (sèlman 6 espesyalis), de metrik yo absoliman enpòtan: ak . speed of detection accuracy of diagnosis Nou resevwa ka soti nan milyon de itilizatè atravè kote biznis nou opere. Lè yon ka itilizatè rive nan, youn nan zouti yo debaz nou depann sou - ansanm ak lòt - se . 48 countries Kibana Pandan natirite a multifactor nan sistèm nou an (microservices, lokal regulasyon espesifik, A / B eksperyans, ak plis ankò), nou souvan finalman ap chèche pou yon pa analize evènman ki gen rapò ak itilizatè a nan logs. Nwa nan yon haystack Menm pou yon espesyalis ki gen eksperyans, sa a pran tan pou: 
 
 
 
 konnen sa ki reyèlman te rive, Separe soud soti nan pwoblèm reyèl, konekte evènman teknik ak eksperyans itilizatè reyèl. Nan mwayen an, sa a kalite analiz pran , ak nan situasyon ambigu, li ka pran anpil plis tan. at least 15 minutes per case Mwen te vle logs yo li kòm yon Pa tankou yon evènman Raw Dump. story Epi si - sa a se Anplis de sa, a . not a replacement for an engineer Accelerator nan panse Idea nan Mwen te bati yon automatisation nan Li konbine plizyè zouti: n8n 
 
 
 
 Slack nan Kibana (pa Clairvoyance) yon LLM (grand modèl lang) Epi fè li yon pwosesis travay senp, pratik pou espesyalis sipò. Ki jan li travay 
 
 
 
 
 
 
 
 
 
 Yon chanèl dedye Slack se kreye. Yon espesyalis voye yon itilizatè UID nan chanèl la - jis yon nimewo. Otomatik la retire UID la ak voye yon demann nan Clairvoyance Kibana lè l sèvi avèk filtè predefinis. Tout log aktivite itilizatè pou dènye 6 èdtan yo retire. Si pa gen okenn anrejistreman jwenn, yon mesaj klè "pa gen okenn aktivite jwenn" te pibliye nan fil la Slack. If logs exist, they are processed:
 
 
 
 
 
 
 empty entries are removed, duplicates are eliminated, data is structured and normalized, everything is bundled into a single dataset. Yon pakèt anrejistreman konplè ap voye nan yon LLM ansanm ak yon pwopòsyon Customize adapte a bezwen ekip nou an. LLM analize evènman yo ak retire yon rezime ki ka louvri pa moun (ak jiska 600 karaktè). Repons la se pibliye tounen nan fòm la orijinal Slack apeprè 2 minit apre mande a. Premye devlopman nan pipeline sa a te pote soti nan , yon gwo pati nan ki te ale nan konfigirasyon akòz credentials (esansyèlman pou Slack - mwen pral kouvri sa a pita). 30 hours Nou espere ke ak itilize aktif, sa a otomatizasyon pral sove ekip la . up to 60 hours per month Ki sa LLM se reyèlman reponn? Repons la se toujou estrikti ak reponn nan kesyon trè spesifik: 
 
 
 
 
 
 Ki sa ki erè te detekte? Yon rezime nan evènman pozitif (normal) Ki jan erè yo te kapab afekte travay nan itilizatè a Kèlkeswa lè pwoblèm yo te rive (timestamps) Ki aksyon ki espesyalis la ta dwe pran pwochen Kòm yon rezilta, nou pa sèlman wè Men, reyèl : Ki sa itilizatè a te fè, kote yo te jwenn yon pwoblèm, ak ki jan kritik li te. “HTTP 400 sou Endpoint X” context Epitou - . no sensitive data is ever sent to the LLM Objektif prensipal nan automatisation 1. Humanize Log Lekti Kibana se yon zouti pwisan, men li logs ak tèt ou se fatig ak kognitifman chè - espesyalman lè evènman yo difize nan tan ak nan plizyè sèvis. Mwen te vle pwodiksyon an sanble tankou yon Pa gen okenn teknik. clear explanation 2. Rediksyon tan analiz Before automation: 
 
 15+ minit pou chak ka itilizatè After automation: 
 
 1–2 minit (envoye UID → jwenn rezime) Sa a se espesyalman enpòtan pandan piki chaj oswa incidans mas. 3. Pèmèt yon analiz pi profond Otomatikman pa sèlman sove tan - li pèmèt nou: 
 
 
 
 
 detekte pwoblèm sistèm pi vit, identifye patnè erè recidivant atravè itilizatè, amelyore kapasite nan espesyalis yo pa rele nouvo zòn pwoblèm, pi bon konprann ki jan aplikasyon an ap travay nan itilizasyon reyèl. Finalman, sa a apwòch diminye tan devlopè ki te pase investigating pwoblèm dekri sèlman nan eksperyans itilizatè. Chak ka vini ak yon analiz estriktire sipòte pa evènman anrejistreman beton. Zouti sa a se pou ki? Pifò nan: 
 
 
 
 sipò nan espesyalis, enjenyè ki travay ak incidans itilizatè-sou, ekip ki bezwen byen vit konprann "ki sa ki te mal" san yo pa imedyatman plonje nan Kibana. Èske sa a se vèsyon final la? Non. Sa a se yon Koulye a, nan a , ak yon deplwaye plen planifye pou anvan . living tool Faze tès silenn 2026 Pandan egzamen an: 
 
 
 
 rapòte yo se rafiné, diferan LLMs ak vèsyon modèl yo konpare, filtre logik ak modèl repons yo te amelyore. Menm kounye a, otomatikman deja satisfè objektif prensipal li yo: . making logs understandable and saving time Striksyon nan Pipeline Trigè Pipeline kòmanse soti nan yon evènman nan yon chanèl dedye Slack ( ) nan: Slack Trigger 
 
 
 Ki jan nan evènman an: nouvo mesaj pibliye nan chanèl la Enpòte: yon UID itilizatè voye kòm tèks senp Dat Preparasyon Done mesaj se ekstrè ak transfòme lè l sèvi avèk nan fòma JSON mande: Set nodes 
 
 
 Upper branch: UID (kòm yon nimewo) Branch ki pi ba: konteks thread (kanèl ID ak timestamp thread) Lojisyèl Retrieval se UID pase nan Kibana ( ) lè l sèvi avèk Index nan Clairvoyance. Elasticsearch / Get Many traces-main Lojisyèl yo se chèche pa nan yon fenèt tan definye. user_id Logik Kondisyonèl Yon tcheke si gen okenn evènman te jwenn: IF node 
 
 
 
 
 No events: 
 
 
 Data is merged with the thread context A predefined “NO EVENTS” message is posted to Slack 
 
 Events found: 
 
 
 Logs are aggregated, minimized, and normalized Data is sent to the LLM for analysis Repons Livrezon se pwodiksyon an LLM konbine ak konteks la Slack thread ak pibliye kòm yon repons nan tèm orijinal la. Detay nan Node Pwodwi pou Trigger Required preconfigured Slack credentials ak ID chanèl la (ki disponib nan nan fòm). Open chanèl Detay Kòmanse nodes Sèvi pou ekstrè ak normalize done enprime: 
 
 
 uid → parse soti nan tèks mesaj kòm yon nimewo thread data:
 
 
 
 
 channel  → original message timestamp thread_ts Elasticsearch Node nan Rechèch pou credentials Kibana ak ID a indeks (ki te jwenn nan ) nan jesyon indeks Enstalasyon kle yo: 
 
 
 limit: 1000 atik (Valè pi wo yo souvan lakòz kouran Gateway.) Query:
 
 
 
 
 
 
 time range:  now-6h filter by  user_id limited source fields last 1000 events Kòd Node (Minimizer) Prepares logs pou analiz la LLM: 
 
 
 
 
 
 
 
 
 normalize jaden (tan, kontni), maske potansyèl PII (telefòn / imèl - menm si pa prezan, kòm pwoteksyon adisyonèl), Truncat long valè, retire jaden ki sot pase, kalite evènman pa tan, deduplicates evènman menm jan an, konpoze estatistik limyè (kòd HTTP, Endpoints), konstriksyon yon pwopòsyon kompak ak 500 pi gwo evènman agregat ak yon limit estrikti longè. Sa a se esansyèl pou evite voye gwo, token-chwa payloads nan LLM la. OpenAI Node (Mesaj yon modèl) Requires OpenAI credentials ak seleksyon modèl (ak kounye a pandan egzamen an). GPT-4.1-Mini se pwopriyete a fèt soti nan perspective a : second-line technical support specialist 
 
 
 
 
 
 
 premye klasifye itilizatè a (sousyè / pasaje / kouri), konsantre sou erè teknik, si pa gen okenn erè, analize estati biznis (dokiman, bann, estati pwofil), swiv yon modèl reponn estrikti ak limit karakteristik, konklizyon ki gen rapò ak endpoints konkre ak timestamps, Separe analiz teknik soti nan efè a nan kouri a travay nan itilizatè. Yon estrikti sa a transfere log wòch nan . clear, actionable insights Egzanp pwodiksyon ki disponib anba a: Final idantite Sa a otomatikman pa ranplase enjenyè - li ede yo panse pi vit. Pa konvèti log brik nan rapò kout, estrikti, ekip la diminye chaj la kognitif ak akselere analiz aksidan san yo pa pèdi konteks. avèk zouti tankou n8n ak modèn LLMs, menm ekip ti ka bati pratik, manm-friendly observability layers. kle a se pa plis done - li fè sistèm eksplike tèt yo.

This story contains new, firsthand information uncovered by the writer.

inDrive.Tech

Odyo sa a pwodui nan lang orijinal istwa a!

Ki jan yo bati yon n8n otomatik yo li Kibana Logs ak Analiz yo ak yon LLM

About Author

KÒMANtè

KANDYE TAGS

ATIK SA A TE PREZANTE NAN

Related Stories

Code Refactoring Tips: No. 015 - Remove NULL

Upwork Freelancers Under BlackRock: The Masters of the Freelance Universe

2022 Noonies Nominee Veronika Vasileva on Programming, Python, and More

Meet the Writer: Vik Bogdanov, Tech Storyteller

Code Refactoring Tips: No. 015 - Remove NULL

Upwork Freelancers Under BlackRock: The Masters of the Freelance Universe

2022 Noonies Nominee Veronika Vasileva on Programming, Python, and More

Meet the Writer: Vik Bogdanov, Tech Storyteller

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps