Günlüğe kaydetme, gözlemlenebilirlik çözümünüzün tartışmasız en önemli unsurudur. Günlükler, sistem davranışı hakkında temel ve zengin bilgiler sağlar. İdeal bir dünyada, günlüğe kaydetmeyle ilgili tüm kararları siz verirsiniz ve tüm sisteminizde tutarlı bir yaklaşım uygularsınız.  Ancak gerçek dünyada, eski yazılımlarla çalışabilir veya her biri günlük kaydı için kendi formatına ve yapısına sahip farklı programlama dilleri, çerçeveleri ve açık kaynak paketleriyle uğraşabilirsiniz.  Sisteminizdeki günlük formatlarındaki bu kadar çeşitlilik varken, tüm günlüklerinizden en fazla değeri elde etmek için hangi adımları atabilirsiniz? Bu yazıda ele alacağımız şey budur.  Günlüklerin nasıl tasarlanabileceğine, büyük sistemlerde oturum açmanın zorluklarına ve çözümlerine ve günlük tabanlı ölçümler ve uzun vadeli saklama hakkında nasıl düşünüleceğine bakacağız.  Günlük düzeylerine ve biçimlerine bir göz atalım.  Günlük Tasarımı  Günlük tasarımında pek çok husus dikkate alınır, ancak en önemli iki husus, günlük düzeylerinin kullanılması ve yapılandırılmış veya yapılandırılmamış günlük formatlarının kullanılıp kullanılmaması gerektiğidir.  Günlük Seviyeleri  Günlük düzeyleri, günlük iletilerini önem derecelerine göre kategorilere ayırmak için kullanılır. Kullanılan belirli günlük düzeyleri, günlük kaydı çerçevesine veya sistemine bağlı olarak değişebilir. Bununla birlikte, yaygın olarak kullanılan günlük düzeyleri şunları içerir (ayrıntı sırasına göre, en yüksekten en düşüğe doğru):    : Kapsamlı bir kaydı yeniden oluşturmak ve herhangi bir durum değişikliğini hesaba katmak için sistemin gerçekleştirdiği her eylemi yakalar. TRACE    : Hata ayıklama amacıyla ayrıntılı bilgileri yakalar. Bu mesajlar genellikle yalnızca geliştirme sırasında geçerlidir ve üretim ortamlarında etkinleştirilmemelidir. DEBUG    : Sistemin yürütülmesindeki önemli olayları veya kilometre taşlarını iletmek için sistemin çalışması hakkında genel bilgi sağlar. BİLGİ    : Dikkat gerektirebilecek potansiyel sorunları veya durumları belirtir. Bu mesajlar kritik değildir ancak not edilmeli ve gerekirse araştırılmalıdır. UYARI    : Sistemin çalışması sırasında oluşan hataları belirtir. Bu mesajlar genellikle çözülmesi gereken ve sistemin işlevselliğini etkileyebilecek sorunları vurgular. HATA  Uygun düzeyde günlük kaydı yapmak, sistemin davranışını anlamanıza, sorunları tanımlamanıza ve sorunları etkili bir şekilde gidermenize yardımcı olur.  Oluşturduğunuz sistem bileşenleri söz konusu olduğunda, yararlı olan günlük düzeyleri kümesini tanımlamaya biraz zaman ayırmanızı öneririz. Her günlük düzeyindeki iletilere ne tür bilgilerin dahil edilmesi gerektiğini anlayın ve günlük düzeylerini tutarlı bir şekilde kullanın.  Daha sonra, günlük düzeyleri üzerinde hiçbir kontrolünüz olmayan üçüncü taraf uygulamalarla nasıl başa çıkacağınızı tartışacağız. Ayrıca kontrol ettiğiniz ancak standart günlük düzeylerine geçiş yapamayacak kadar kapsamlı olan eski uygulamalara da bakacağız.  Yapılandırılmış ve Yapılandırılmamış Günlükler  Yapılandırılmış günlüklerdeki girişler, genellikle anahtar/değer çiftleri veya JSON nesneleri olarak iyi tanımlanmış bir biçime sahiptir. Bu, tutarlı ve makine tarafından okunabilir günlük girişlerine olanak tanıyarak günlük verilerinin programlı olarak ayrıştırılmasını ve analiz edilmesini kolaylaştırır.  Yapılandırılmış günlük kaydı, gelişmiş günlük sorgulama ve analizine olanak tanıyarak onu özellikle büyük ölçekli sistemlerde kullanışlı kılar.  Öte yandan, yapılandırılmamış (serbest biçimli) günlük kaydı, mesajları önceden tanımlanmış bir yapı olmaksızın, insanlar tarafından daha okunabilir bir biçimde yakalar. Bu yaklaşım, geliştiricilerin mesajları daha doğal ve esnek bir şekilde günlüğe kaydetmesine olanak tanır.  Ancak, ortaya çıkan günlüklerden belirli bilgilerin programlı olarak çıkarılması çok zor olabilir.  Yapılandırılmış ve yapılandırılmamış günlükler arasında seçim yapmak, özel ihtiyaçlarınıza ve sisteminizin gereksinimlerine ve kısıtlamalarına bağlıdır. Gelişmiş günlük analizi veya günlük analiz araçlarıyla entegrasyon ihtiyacını öngörüyorsanız, yapılandırılmış günlükler önemli faydalar sağlayabilir.  Ancak ihtiyacınız olan tek şey basitlik ve okunabilirlik ise yapılandırılmamış günlükler yeterli olabilir.  Bazı durumlarda, önemli olaylar için yapılandırılmış günlükleri ve daha genel mesajlar için yapılandırılmamış günlükleri kullandığınız karma bir yaklaşım da kullanılabilir.  Büyük ölçekli sistemler için mümkün olduğunda yapılandırılmış günlük kaydına yönelmelisiniz ancak bunun planlamanıza başka bir boyut kattığını unutmayın. Yapılandırılmış günlük mesajlarına ilişkin beklenti, sistem bileşenleri genelinde aynı alan kümesinin tutarlı bir şekilde kullanılmasıdır. Bu da stratejik planlamayı gerektirecektir.  Günlüğe Kaydetme Zorlukları  Birden fazla bileşenden oluşan sistemlerde, her bileşenin büyük olasılıkla günlüklerini yönetmek için kendi modeli olacaktır. Bunun getirdiği zorlukları gözden geçirelim.  Farklı Destinasyonlar  Bileşenler farklı hedeflerde (dosyalar, sistem günlükleri, stdout veya stderr) oturum açacaktır. Dağıtık sistemlerde dağınık durumdaki bu logların etkili kullanım için toplanması zahmetlidir.  Bunun için günlük toplama konusunda, Sumo Logic'in   ve   kullanmak gibi çeşitli bir yaklaşıma ihtiyacınız olacak. kurulu toplayıcılarını barındırılan toplayıcılarını  Çeşitli Formatlar  Bazı bileşenler, özellikle herhangi bir formatı takip etmeyen, yapılandırılmamış, serbest biçimli günlük kaydını kullanır. Bu arada, yapılandırılmış günlükler daha organize olabilir ancak yapılandırılmış günlüklere sahip bileşenler tamamen farklı alan kümelerini kullanabilir.  Çeşitli günlüklerden ve formatlardan aldığınız bilgileri birleştirmek, doğru araçları gerektirir.  Tutarsız Günlük Düzeyleri  Sisteminizdeki bileşenler farklı günlük düzeyi aralıkları kullanabilir. Tüm günlük mesajlarını merkezi bir günlük sisteminde birleştirseniz bile (yapmanız gerektiği gibi), tüm günlük seviyelerinin birleşimiyle ilgilenmeniz gerekecektir.  Ortaya çıkan zorluklardan biri, farklı log seviyelerinin aynı şekilde ele alınması gerektiğidir. Örneğin, bir bileşendeki HATA, başka bir bileşendeki KRİTİK ile aynı olabilir ve derhal üst kademeye iletilmesini gerektirebilir.  Farklı bileşenlerdeki aynı günlük düzeyi farklı anlamlara geldiğinde tam tersi bir zorlukla karşı karşıya kalırsınız. Örneğin, bir bileşendeki INFO mesajları sistem durumunu anlamak için gerekli olabilirken, başka bir bileşendeki INFO mesajları çok ayrıntılı olabilir.  Günlük Depolama Maliyeti  Büyük dağıtılmış sistemler çok sayıda günlük biriktirir. Bu günlüklerin toplanması ve saklanması ucuz değildir. Buluttaki log ile ilgili maliyetler, sistemin toplam maliyetinin önemli bir kısmını oluşturabilir.  Bu Zorluklarla Başa Çıkmak  Büyük, dağıtılmış sistemlerde oturum açmanın zorlukları önemli olmakla birlikte, aşağıdaki uygulamalardan bazıları aracılığıyla çözümler bulunabilir.  Günlüklerinizi Birleştirin  Dağıtılmış bir sistem çalıştırdığınızda merkezi bir günlük kaydı çözümü kullanmalısınız. Sisteminizdeki her makinede günlük toplama aracılarını çalıştırdığınızda, bu toplayıcılar tüm günlükleri merkezi gözlemlenebilirlik platformunuza gönderecektir.  Her zaman   odaklanan Sumo Logic, günlük toplama konusunda sınıfının en iyisidir. günlük yönetimi ve analitiğine  Birleşik Bir Formata Doğru Gidin  Uygulamalar ve bileşenler arasında analiz ve sorun giderme için günlük verilerini ilişkilendirmek istiyorsanız, farklı formatlardaki günlüklerle uğraşmak büyük bir sorundur. Çözümlerden biri, farklı günlükleri birleşik bir formata dönüştürmektir.  Bu görev için harcanan çaba düzeyi yüksek olabilir; bu nedenle bunu, en önemli bileşenlerinizden başlayarak aşağıya doğru ilerleyerek aşamalı olarak yapmayı düşünün.  Uygulamalarınız Genelinde Bir Günlük Kaydı Standardı Oluşturun  Kendi uygulamalarınız için, tek tip bir günlük düzeyi kümesini, tek bir yapılandırılmış günlük biçimini ve tutarlı semantiği benimseyen standart bir günlük kaydı yaklaşımı oluşturmaya çalışın.  Eski uygulamalarınız da varsa, bunları standardınıza uyacak şekilde geçirmenin risk düzeyini ve maliyetini değerlendirin.  Geçiş mümkün değilse eski uygulamalarınıza üçüncü taraf uygulamaları gibi davranın.  Üçüncü Taraf Kaynaklardan Günlükleri Zenginleştirin  Günlüklerin üçüncü taraf kaynaklardan zenginleştirilmesi, günlük verilerinin harici sistemlerden veya hizmetlerden alınan bağlamsal bilgilerle geliştirilmesini içerir. Bu, günlük olaylarının daha iyi anlaşılmasını sağlayarak sorun giderme, analiz ve izleme etkinliklerine yardımcı olur.  Günlüklerinizi zenginleştirmek için, günlük olaylarıyla ilgili ek verileri (kullanıcı bilgileri, müşteri ayrıntıları veya sistem ölçümleri gibi) getirmek üzere harici sistemleri (API'ler veya mesaj kuyrukları gibi) entegre edebilirsiniz.  Günlük Hacmini, Sıklığını ve Saklamayı Yönetme  Günlük hacmini, sıklığını ve saklamayı dikkatli bir şekilde yönetmek, verimli günlük yönetimi ve depolama için çok önemlidir.    : Oluşturulan günlük hacmini izlemek, kaynak tüketimini ve performans etkilerini kontrol etmenize yardımcı olur. Birim    : Olayların kritikliğine ve istenen izleme düzeyine bağlı olarak ne sıklıkta oturum açılacağını belirleyin. Sıklık    : Uyumluluk gereksinimlerine, operasyonel ihtiyaçlara ve kullanılabilir depolama alanına uygun bir günlük saklama politikası tanımlayın. Saklama    : Günlük dosyası boyutlarını etkili bir şekilde yönetmek için eski günlük dosyalarını düzenli olarak arşivleyin veya temizleyin. Döndürme    : Depolama gereksinimlerini azaltmak için günlük dosyalarını sıkıştırın. Sıkıştırma  Günlük Tabanlı Metrikler  Günlük verilerinin analizinden elde edilen ölçümler, sistem davranışı ve performansına ilişkin öngörüler sağlayabilir. Günlük tabanlı metriklerle çalışmanın yararları ve zorlukları vardır.  Faydalar    : Günlüğe dayalı ölçümler, sistem olaylarına ilişkin ayrıntılı ve ayrıntılı içgörüler sunarak kalıpları, anormallikleri ve olası sorunları belirlemenize olanak tanır. Parçalı içgörüler    : Günlük tabanlı ölçümlerden yararlanarak sisteminizi kapsamlı bir şekilde izleyebilir, kullanılabilirlik, performans ve kullanıcı deneyimiyle ilgili kritik ölçümlere ilişkin görünürlük elde edebilirsiniz. Kapsamlı izleme    : Günlüğe dayalı ölçümler, trend analizi, kapasite planlaması ve performans optimizasyonu için kullanılabilecek geçmiş verileri sağlar. Zaman içindeki günlük eğilimlerini inceleyerek verimliliği ve ölçeklenebilirliği artırmak için veriye dayalı kararlar alabilirsiniz. Geçmiş analiz    : İhtiyaçlarınız için en anlamlı olaylara ve veri noktalarına odaklanarak, günlük tabanlı ölçümlerinizi uygulamanıza veya sisteminize uyacak şekilde uyarlayabilirsiniz. Esneklik ve özelleştirme  Zorluklar    : Tüm bileşenleriniz genelinde kullanabileceğiniz metrik kümesi inanılmaz derecede geniş olduğundan ve bunların hepsini yakalamak mantıklı olmadığından, hangi metriklerin yakalanıp günlüklerden çıkarılacağını belirlemek karmaşık bir iş olabilir. Anlamlı metriklerin tanımlanması  Bu tanımlama, sistem davranışının derinlemesine anlaşılmasını ve iş hedeflerinizle yakın uyum gerektirir.    : Yararlı ölçümleri çıkarmak için günlüklerin ayrıştırılması, özel araçlar veya özel ayrıştırıcılar gerektirebilir. Bu, özellikle günlüklerin yapılandırılmaması veya bir bileşenden diğerine tutarsız bir şekilde biçimlendirilmesi durumunda geçerlidir. Veri çıkarma ve ayrıştırma  Bunu ayarlamak zaman alıcı olabilir ve günlük formatları değiştikçe veya yeni günlük kaynakları ortaya çıktıkça bakım gerektirebilir.    : Günlük tabanlı ölçümlerin işlenmesindeki gecikmeler, güncelliğini yitirmiş veya alakasız ölçümlere yol açabilir. Çoğu durumda, günlük tabanlı ölçümlerden etkili bir şekilde yararlanmak için gelen verilerin hızlı, gerçek zamanlı işlenmesini gerçekleştirebilecek bir platforma ihtiyacınız olacaktır. Gerçek zamanlı analiz ihtiyacı    : Bileşen profili oluşturma ölçümlerinin sürekli olarak yakalanması, sistem kaynakları üzerinde ek bir yük oluşturur. Yeterli günlük tabanlı ölçümleri yakalamak ile yeterli sistem performansını sürdürmek arasında iyi bir denge bulmanız gerekecektir. Performans etkisi    : Günlük verileri genellikle çok fazla gürültü ve alakasız bilgi içerir ve anlamlı ölçümlere katkıda bulunmaz. İlgili olaylara ilişkin veri toplamaya odaklanmak için dikkatli günlük filtreleme ve normalleştirme gereklidir. Veri gürültüsü ve ilgisizliği  Uzun Süreli Günlük Tutma  Merkezi bir sistemde günlük toplamaya yönelik adımı attıktan sonra da uzun vadeli günlük saklama politikalarını dikkate almanız gerekecektir. Bu alana ilişkin kritik soruları ele alalım.  Günlükleri Ne Kadar Süre Etrafta Tutmalısınız?  Bir günlüğü ne kadar süreyle tutmanız gerektiği, aşağıdakiler de dahil olmak üzere çeşitli faktörlere bağlıdır:    : Bazı loglar (erişim logları gibi) kısa bir süre sonra silinebilir. Sorun giderme için gerekli olması durumunda diğer günlüklerin (hata günlükleri gibi) daha uzun süre saklanması gerekebilir. Log tipi    : Sağlık ve finans gibi sektörlerde, kuruluşların belirli bir süre, hatta bazen birkaç yıl boyunca günlük tutmasını gerektiren düzenlemeler vardır. Yasal gereklilikler    : Şirketinizin, günlüklerin ne kadar süre saklanması gerektiğini belirleyen politikaları olabilir. Şirket politikası    : Günlükleriniz büyükse, bunları daha sık döndürmeniz veya silmeniz gerekebilir. Günlük boyutu    : Günlüklerinizi şirket içinde veya bulutta nerede depoladığınıza bakılmaksızın, depolama maliyetini hesaba katmanız gerekecektir. Depolama maliyeti  Eski Günlüklerin Ayrıntı Düzeyini ve Maliyetini Nasıl Azaltırsınız?  Eski günlükleri silmek elbette depolama maliyetlerinizi azaltmanın en basit yoludur. Ancak bu biraz zorlayıcı olabilir ve bazen eski günlüklerdeki bilgileri ortalıkta tutmak isteyebilirsiniz.  Eski günlüklerdeki bilgileri saklamak ve aynı zamanda uygun maliyetli olmak istiyorsanız, aşağıdaki önlemlerden bazılarını almayı düşünün:    : Çok sayıda tekrarlanan günlük ifadesi üreten bileşenler söz konusu olduğunda, ifadelerin yalnızca bir alt kümesini (örneğin, her 10'dan 1'i) alabilirsiniz. Günlükleri alt örnekleme    : Büyük iletiler içeren günlükler için bazı alanları atabilirsiniz. Örneğin, bir hata günlüğünde bir hata kodu ve bir hata açıklaması varsa, yalnızca hata kodunu tutarak ihtiyacınız olan tüm bilgilere sahip olabilirsiniz. Günlükleri kırpma    : Eski günlükleri sıkıştırabilir ve bunları daha ucuz ve daha az erişilebilir bir depolama alanına (özellikle bulutta) taşıyabilirsiniz. Bu, mevzuata uygunluk gereksinimlerini karşılamak için yıllarca saklamanız gereken günlükler için mükemmel bir çözümdür. Sıkıştırma ve arşivleme  Çözüm  Bu yazımızda büyük ölçekli sistemlerde oturum açma işleminden en iyi şekilde nasıl yararlanabileceğinizi inceledik.  Bu sistemlerde oturum açmak benzersiz bir dizi zorluk sunsa da, günlük toplama, günlükleri birleşik bir formata dönüştürme ve günlükleri üçüncü taraf kaynaklardan alınan verilerle zenginleştirme gibi bu zorluklara yönelik potansiyel çözümlere baktık.  Günlüğe kaydetme, gözlemlenebilirliğin kritik bir parçasıdır. Bu makalede özetlenen uygulamaları takip ederek günlüklerinizin etkili bir şekilde yönetilmesini sağlayabilir, sorunları giderebilir, sorunları belirleyebilir ve sisteminizin davranışına ilişkin öngörüler elde edebilirsiniz.  Ve bunu, günlüğe kaydetme maliyetlerinizi uzak tutarken yapabilirsiniz.    da yayınlandı Burada

2022 - HackerNoon Contributor of the Year - Engineering

2022 - HackerNoon Contributor of the Year - Heroku

2022 - HackerNoon Contributor of the Year - Jobs

2022 - HackerNoon Contributor of the Year - Kubernetes

2022 - HackerNoon Contributor of the Year - Npm

2022 - No No No Nodejs

Nominated for 2022 - HackerNoon Contributor of the Year - Heroku

Nominated for 2022 - No No No Nodejs

Nominated for 2022 - HackerNoon Contributor of the Year - Jobs

Nominated for 2022 - HackerNoon Contributor of the Year - Npm

Nominated for 2022 - HackerNoon Contributor of the Year - Kubernetes

Nominated for 2022 - HackerNoon Contributor of the Year - Engineering

Bu ses hikayenin orijinal dilinde üretilmiştir!

Çok uzun; Okumak

Günlüklerden Maksimum Değer Nasıl Çıkarılır

Günlüklerden Maksimum Değer Nasıl Çıkarılır

About Author

YORUMLAR

ETİKETLERİ ASIN

BU YAZI

Related Stories

Sulara Yelken Açmak: Data Lakes ile Üretim Sınıfında RAG Uygulamaları Geliştirme

Başarılı Buluta Geçiş İçin Tam Kılavuz: Stratejiler ve En İyi Uygulamalar

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

AI/ML Datalake için Referans Mimarisi Oluşturmaya Yönelik Mimar Kılavuzu

Sulara Yelken Açmak: Data Lakes ile Üretim Sınıfında RAG Uygulamaları Geliştirme

Başarılı Buluta Geçiş İçin Tam Kılavuz: Stratejiler ve En İyi Uygulamalar

HackerNoon Yazma Yarışmasını mı Kazanmak İstiyorsunuz? İşte #crypto-api Yarışması Kazananlarının Önerileri

AI/ML Datalake için Referans Mimarisi Oluşturmaya Yönelik Mimar Kılavuzu

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps