Bagi pasukan sokongan insiden kecil kami (hanya 6 pakar), dua metrik sangat penting: dan . speed of detection accuracy of diagnosis Kami menerima kes daripada berjuta-juta pengguna di seluruh di mana perniagaan kami beroperasi. Apabila kes pengguna datang, salah satu alat teras yang kami bergantung kepada - bersama-sama dengan yang lain - ialah . 48 countries Kibana Oleh kerana sifat pelbagai faktor sistem kami (microservices, spesifikasi peraturan tempatan, percubaan A / B, dan banyak lagi), kami sering berakhir mencari dengan menganalisis kejadian yang berkaitan dengan pengguna dalam log. Tag: jarum dalam haystack Walaupun untuk pakar yang berpengalaman, ini mengambil masa untuk: 
 
 
 
 memahami apa yang sebenarnya berlaku, Memisahkan bunyi daripada isu sebenar, menghubungkan peristiwa teknikal dengan pengalaman pengguna sebenar. Secara purata, jenis analisis ini mengambil , dan dalam situasi yang ambigu, ia boleh mengambil masa yang lebih lama. at least 15 minutes per case Saya mahu log untuk dibaca seperti a Tiada apa-apa seperti Raw Event Dump. story Dan ya - ini adalah Sebaliknya, a . not a replacement for an engineer Peningkatan pemikiran Idea yang Saya telah mencipta automatik dalam Ia menggabungkan beberapa alat: n8n 
 
 
 
 Slack Kibana (melalui Clairvoyance) LLM (Model Bahasa Besar) Dan menukarnya kepada aliran kerja yang mudah dan praktikal untuk pakar sokongan. Bagaimana ia berfungsi 
 
 
 
 
 
 
 
 
 
 Sebuah saluran Slack yang berdedikasi telah dicipta. Seorang pakar menghantar UID pengguna ke dalam saluran - hanya nombor. Automasi menangkap UID dan menghantar permintaan kepada Clairvoyance Kibana menggunakan penapis yang telah ditetapkan. Semua log aktiviti pengguna selama 6 jam yang lalu disimpan. Jika tiada log ditemui, mesej yang jelas "tidak terdapat aktiviti" dipaparkan dalam thread Slack. If logs exist, they are processed:
 
 
 
 
 
 
 empty entries are removed, duplicates are eliminated, data is structured and normalized, everything is bundled into a single dataset. Paket log penuh dihantar kepada LLM bersama-sama dengan prompt tersuai yang disesuaikan dengan keperluan pasukan kami. LLM menganalisis peristiwa dan mengembalikan ringkasan yang boleh dibaca manusia (hingga 600 watak). Jawapan diposting kembali ke thread Slack asal kira-kira 2 minit selepas permintaan. Perkembangan awal paip ini telah , sebahagian besarnya pergi ke dalam pengkonfigurasian kredensial yang betul (terutamanya untuk Slack - saya akan meliputi itu nanti). 30 hours Kami mengharapkan bahawa dengan penggunaan aktif, automatik ini akan menyelamatkan pasukan . up to 60 hours per month Apa yang benar-benar menjawab LLM? Jawapan sentiasa terstruktur dan menjawab soalan-soalan yang sangat spesifik: 
 
 
 
 
 
 Kesilapan apa yang telah didapati? Hasil daripada peristiwa positif (normal) Bagaimana kesilapan boleh menjejaskan aliran kerja pengguna Apabila masalah itu berlaku (timestamps) Tindakan apa yang perlu diambil oleh pakar Oleh itu, kita tidak hanya melihat tetapi sebenar : Apa yang pengguna lakukan, di mana mereka menghadapi masalah, dan seberapa penting ia. HTTP 400 pada Endpoint X context dan ya - . no sensitive data is ever sent to the LLM Matlamat utama automatik 1.Humanizing Log Membaca Kibana adalah alat yang berkuasa, tetapi membaca log dengan mata anda adalah melelahkan dan kognitif mahal - terutamanya apabila peristiwa tersebar dari masa ke masa dan di pelbagai perkhidmatan. Saya mahu hasilnya kelihatan seperti Bukan sampah teknikal. clear explanation Mengurangkan masa analisis Before automation: 
 
 15+ minit per kes pengguna After automation: 
 
 1-2 minit (memberi UID → mendapatkan ringkasan) Ini terutamanya penting semasa beban puncak atau insiden massal. Membolehkan analisis yang lebih mendalam Automasi bukan sahaja menjimatkan masa - ia membolehkan kita untuk: 
 
 
 
 
 detect systemic issues faster, mengesan corak kesilapan yang berulang di kalangan pengguna, meningkatkan kemahiran pakar-pakar dengan menonjolkan bidang-bidang masalah baru, lebih memahami bagaimana aplikasi bertindak dalam penggunaan dunia sebenar. Ultimately, this approach significantly reduces developer time spent investigating issues described only through user experience. Each case comes with a structured analysis backed by concrete log events. Siapa alat ini untuk? Terutamanya : 
 
 
 
 sokongan daripada pakar, jurutera yang bekerja dengan insiden yang dihadapi pengguna, pasukan yang perlu dengan cepat memahami "apa yang salah" tanpa segera menyelam ke dalam Kibana. Adakah ini versi akhir? Tidak, ini ialah a Pada masa ini dalam a , dengan pelancaran penuh yang direncanakan untuk awal . living tool Tahap ujian yang tenang 2026 Semasa ujian : 
 
 
 
 Perkara-perkara yang cepat telah disempurnakan, LLM yang berbeza dan versi model diperbandingkan, Logik penapis dan template respons telah ditingkatkan. Malah kini, automatik sudah memenuhi matlamat utamanya: . making logs understandable and saving time Struktur paip Trigger Perhimpunan ini merupakan satu perhimpunan yang diadakan di Slack Channel ( ) : Slack Trigger 
 
 
 Jenis peristiwa: mesej baru yang dipaparkan dalam saluran Input: UID pengguna yang dihantar sebagai teks biasa Data persediaan Data mesej diekstrak dan ditukar menggunakan dalam format JSON yang diperlukan: Set nodes 
 
 
 Bahagian atas: UID (sebagai nombor) Bahagian bawah: konteks thread (ID saluran dan timestamp thread) Pengenalan Retrieval Perlembagaan Persekutuan ( (Dengan menggunakan Indeks dalam ClearVision. Elasticsearch / Get Many traces-main Log telah dicari oleh dalam tetingkap masa yang ditetapkan. user_id Logik bersyarat kepada Periksa apakah terdapat sebarang peristiwa: IF node 
 
 
 
 
 No events: 
 
 
 Data is merged with the thread context A predefined “NO EVENTS” message is posted to Slack 
 
 Events found: 
 
 
 Logs are aggregated, minimized, and normalized Data is sent to the LLM for analysis Respon Penghantaran Hasil LLM digabungkan dengan konteks thread Slack dan diposting sebagai jawapan dalam thread asal. Node butiran Slack Trigger Memerlukan kredensial Slack yang telah dikonfigurasi dan ID saluran (dapat didapati melalui daripada Slack) Channel Terbuka Maklumat Set Nodes Digunakan untuk mengekstrak dan menormalkan data input: 
 
 
 uid → parsed daripada teks mesej sebagai nombor thread data:
 
 
 
 
 channel  → original message timestamp thread_ts Penyelidikan Elasticsearch Memerlukan pengesahan Kibana dan ID indeks (ditemui dalam ) daripada Pengurusan indeks Tetapan utama : 
 
 
 had: 1000 item(nilai yang lebih tinggi sering menyebabkan timeout gateway.) Query:
 
 
 
 
 
 
 time range:  now-6h filter by  user_id limited source fields last 1000 events Kode Node (Minifikasi) Menyediakan log untuk analisis LLM: 
 
 
 
 
 
 
 
 
 Meningkatkan kualiti medan (waktu dan kandungan) masker PII potensial (telefon / e-mel - walaupun tidak hadir, sebagai perlindungan tambahan), Mengikut nilai-nilai yang panjang Menghapuskan medan kosong, pelbagai peristiwa mengikut masa, menjejaskan peristiwa-peristiwa yang sama, menghitung statistik ringan (kod HTTP, titik akhir), membina prompt yang kompak dengan 500 peristiwa agregat teratas dan had panjang yang ketat. Ini adalah penting untuk mengelakkan menghantar beban faedah yang besar dan mahal kepada LLM. OpenAI Node (Pesan kepada Model) Memerlukan credentials OpenAI dan pilihan model (sekarang dalam tempoh pengujian). GPT-4.1-Mini Projek ini telah direka daripada perspektif a : second-line technical support specialist 
 
 
 
 
 
 
 pertama mengklasifikasikan pengguna (pemandu / penumpang / kurier), menjejaskan kesilapan teknikal, jika tiada kesilapan, menganalisis keadaan perniagaan (dokumen, larangan, status profil), Mengikuti template respons yang ketat dengan had watak, mengikat kesimpulan kepada titik akhir dan timestamp tertentu, Analisis teknikal berasingan daripada kesan aliran kerja yang berhadapan dengan pengguna. Struktur ini menukar log raw kepada . clear, actionable insights Contoh output yang tersedia di bawah: pemikiran akhir Dengan menukar log mentah kepada narasi terstruktur yang singkat, pasukan mengurangkan beban kognitif dan mempercepatkan analisis insiden tanpa kehilangan konteks. Dengan alat-alat seperti n8n dan LLM moden, bahkan pasukan kecil boleh membina lapisan observabiliti yang praktikal dan mesra manusia.

This story contains new, firsthand information uncovered by the writer.

inDrive.Tech

Audio ini dihasilkan dalam bahasa asal cerita!

Bagaimana untuk membina n8n Automation untuk membaca log Kibana dan menganalisis mereka dengan LLM

About Author

KOMEN

GANTUNG TANDA

ARTIKEL INI DIBENTANGKAN DALAM

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps