Grafana Loki là một hệ thống tổng hợp nhật ký lưu trữ và truy vấn nhật ký từ các ứng dụng và cơ sở hạ tầng. Mặc dù phổ biến, nhật ký chứa thông tin quan trọng về hoạt động của hệ thống và là nguồn thông tin gỡ lỗi và khắc phục sự cố có giá trị. Nhật ký thường được sử dụng để xác định và theo dõi hoạt động độc hại hoặc đơn giản là theo dõi hoạt động của người dùng để cung cấp thông tin kinh doanh. Trong một bài đăng trên blog trước đó, , chúng tôi đã cung cấp tổng quan về các thành phần của Loki và kiến trúc tổng thể của chúng. Hãy coi Loki đối với nhật ký tương tự như Prometheus đối với số liệu. Loki nhẹ và tiết kiệm chi phí vì nó chỉ lập chỉ mục và truy vấn siêu dữ liệu. Các đặc vụ Promtail thu thập, gắn nhãn và biến đổi các bản ghi trước khi gửi chúng cho Loki. Sau đó, Loki lập chỉ mục siêu dữ liệu và nhóm các mục vào luồng được lập chỉ mục bằng nhãn. Grafana sau đó được sử dụng để trực quan hóa và truy vấn thông tin nhật ký từ Loki. Kể từ phiên bản 2.0, Loki lưu trữ dữ liệu trong một phụ trợ lưu trữ đối tượng duy nhất, chẳng hạn như MinIO. Trong khi bài đăng trên blog trước đã giải thích những lợi ích của việc lưu dữ liệu Loki vào MinIO, thì bài đăng trên blog này là một hướng dẫn chỉ cho bạn cách thực hiện. Ghi nhật ký bằng Grafana Loki và MinIO Đầu tiên, chúng tôi sẽ hướng dẫn bạn cách triển khai Loki và MinIO bằng bộ chứa Docker, sau đó là hướng dẫn cách cài đặt từ nguồn. Tìm hiểu Loki và Master MinIO bằng cách sử dụng Docker Container Chúng tôi đã tạo một bản demo bằng cách sử dụng bộ chứa Docker, một số tập lệnh và kho lưu trữ Git. Chúng tôi đã bắt đầu với kho lưu trữ Grafana Loki và thêm yaml cấu hình và bộ chứa cho MinIO cũng như tập lệnh để tạo và hiển thị bộ chứa MinIO cho dữ liệu Loki. Các bước sau đây sẽ dẫn đến năm hình ảnh này chạy cục bộ trong bộ chứa Docker: Loki tiệc tùng Grafana tối thiểu Tạo nhóm Ba cái đầu tiên rõ ràng là cần thiết cho Loki, Promtail và Grafana. Chúng đã có sẵn từ Grafana trong (có một ngắn). MinIO là bộ lưu trữ đối tượng cho Loki và bộ chứa cuối cùng sẽ chạy tập lệnh tạo các bộ chứa làm mục tiêu của Loki. kho lưu trữ Loki video giải thích Loki đã được định cấu hình để lưu dữ liệu nhật ký vào MinIO bằng cách sử dụng . Đặc biệt quan trọng là phần: loki.yaml storage_config: boltdb_shipper: active_index_directory: /loki/index cache_location: /loki/index_cache resync_interval: 5s shared_store: s3 aws: s3: http://minioadmin:minioadmin@minio.:9000/loki s3forcepathstyle: true Lưu ý dấu chấm trong địa chỉ S3 cho MinIO. Điều này được sử dụng vì không cần chỉ định Khu vực AWS. Chúng tôi tạo môi trường Docker bằng tệp . Chúng tôi sẽ định cấu hình vùng chứa, ổ đĩa, cổng, mạng và cung cấp các lệnh khởi động. docker-compose.yaml Để hình ảnh chạy dưới dạng vùng chứa có quyền truy cập vào cấu hình Loki qua các tập: loki services: loki: image: grafana/loki:latest volumes: - <your-local-path>/loki/production:/home/loki/production ports: - "3100:3100" command: -config.file=/home/loki/production/loki.yaml networks: - loki Cấu hình đầu tiên bạn cần thực hiện là đảm bảo rằng thư mục cục bộ của bạn đang được chia sẻ với vùng chứa. Vui lòng chỉnh sửa phần của của bạn để chỉ thư mục cục bộ trên hệ thống máy chủ nơi bạn đã tải xuống thư mục . Chúng tôi đang ánh xạ đường dẫn máy chủ tới đường dẫn vùng chứa để đọc . production volumes docker-compose.yaml production loki.yaml Trong , chúng tôi cũng xác định một mạng và hiển thị các cổng của bộ chứa đang chạy máy chủ MinIO. Trong trường hợp này, cổng 9000 và 9001 sẽ được hiển thị với máy cục bộ của bạn để bạn truy cập máy chủ MinIO bằng trình duyệt. docker-compose.yaml Console UI: minio: image: minio/minio:latest ports: - "9000:9000" - "9001:9001" networks: - loki command: server ~ --address ':9000' --console-address ':9001' Chúng tôi định cấu hình mạng với tất cả các vùng chứa chia sẻ mạng . Mỗi vùng chứa có thể ping các vùng chứa khác và sử dụng API của chúng. Không sử dụng địa chỉ IP cố định cho vùng chứa của bạn. Để dễ dàng hơn, chúng tôi đã định cấu và trong môi trường của mình để phân giải thành vùng chứa thích hợp. Ví dụ: loki loki minio http://minio:9000 for MinIO http://loki:3100 for Loki http://loki:3000 for Grafana Hành động tiếp theo do thực hiện là chạy Máy khách MinIO (mc) trong vùng chứa để định cấu hình Máy chủ MinIO, tạo vùng chứa đích cho dữ liệu Loki và đặt chính sách truy cập thành theo yêu cầu. docker-compose.yaml public createbuckets: image: minio/mc networks: - loki depends_on: - minio entrypoint: > /bin/sh -c " /usr/bin/mc config host add myminio http://minio:9000 minioadmin minioadmin; /usr/bin/mc rm -r --force myminio/loki; /usr/bin/mc mb myminio/loki; /usr/bin/mc policy set public myminio/loki; exit 0; " Promtail, một chương trình Go nhỏ, được sử dụng để theo dõi hoặc thu thập các tệp nhật ký được phân phối và gửi chúng cho Loki. Đối với bản trình diễn này, Promtail được triển khai trong bộ chứa của nó với một tệp cấu hình loại bỏ thư mục /var/log. Không cần thay đổi để chạy bản trình diễn này và để nó xử lý các tệp nhật ký tại vị trí đó - /var/log. Ở phần cuối của hướng dẫn này, chúng tôi sẽ giới thiệu cách để Promtail cạo các vị trí khác trên hệ thống để tìm tệp nhật ký. bước Bây giờ bạn đã hiểu cách định cấu hình môi trường Loki, Promtail và Docker của mình, vui lòng làm theo các bước sau để định cấu hình và chạy môi trường demo. Các bước sau sử dụng , và cấu hình Promtail mặc định để minh họa cách Loki hoạt động với MinIO. Sau khi tải xuống các tệp của chúng tôi, hãy chỉnh sửa chúng cho phù hợp với môi trường của bạn. docker-compose.yaml loki.yaml Sao chép kho lưu trữ này : https://github.com/cniackz/loki git clone https://github.com/cniackz/loki.git minio-loki-tutorial Thay đổi thư mục thành thư mục cục bộ của bạn: production https://github.com/cniackz/loki/tree/main/production cd <your-local-path>/minio-loki-tutorial/production Edit docker-compose.yaml to reference your local home directory If necessary, edit promtail.yaml Xây dựng môi trường Docker cục bộ của bạn: docker-compose build --no-cache Khởi chạy bộ chứa Docker cục bộ: docker-compose up -d Để xác nhận rằng dữ liệu Loki đang được lưu vào MinIO, hãy đăng nhập vào Bảng điều khiển MinIO tại hoặc . Hướng dẫn này sử dụng các thông tin xác thực sau: http://localhost:9001 http://minio:9001 user: minioadmin password: minioadmin Sau khi đăng nhập, nhấp vào Buckets. Bạn sẽ thấy rằng nhóm Loki đã được tạo. Ở bên phải, nhấp vào Duyệt để xem nội dung của nhóm mới được tạo. Bạn sẽ thấy thư mục bên dưới . Đây là nơi Loki sẽ lưu dữ liệu. fake loki Nhấp vào tên của nó để mở thư mục . Loki giữ nhật ký trong bộ nhớ trong một khoảng thời gian đã định cấu hình rồi ghi chúng vào bộ nhớ đối tượng. Mặc định là khoảng thời gian 5 phút, vì vậy vui lòng đợi 5 phút để dữ liệu xuất hiện trong nhóm của bạn. fake Tại thời điểm này, Promtail đang gửi nhật ký cho Loki và Loki đang lưu dữ liệu vào MinIO. Bây giờ, hãy thiết lập Grafana để xem nhật ký của Loki. Grafana 6.0 trở lên bao gồm hỗ trợ tích hợp cho Loki. Grafana 6.3 trở lên bao gồm hỗ trợ chức năng . LogQL Đăng nhập vào Grafana tại (thông tin đăng nhập mặc định là quản trị viên: quản trị viên). http://loki:3000 Trong Grafana, hãy nhấp vào biểu tượng răng cưa trên thanh bên trái để chuyển đến Cấu hình và sau đó là Nguồn dữ liệu. Nhấp vào nút Thêm nguồn dữ liệu lớn và sau đó chọn Loki. Chỉnh sửa trường URL http để dành cho máy chủ Loki của chúng tôi chạy cục bộ bằng ánh xạ cổng Docker: . http://loki:3100 Sau đó nhấp vào Lưu & Kiểm tra. Để xem nhật ký ngay lập tức, hãy nhấp vào khám phá. Bạn cũng có thể xem nhật ký bằng cách nhấp vào Khám phá ở thanh bên trái. Tuy nhiên, bạn khám phá, sau đó chọn nguồn dữ liệu Loki trong danh sách thả xuống trên cùng bên trái, sau đó chọn luồng nhật ký bằng nút Nhãn nhật ký. Bạn có thể nhập truy vấn LogQL và nhấp vào Chạy truy vấn. Tuy nhiên, nếu bạn chưa biết LogQL, bạn có thể sử dụng GUI để chọn nhật ký và tham số truy vấn. Để xem nhanh nhật ký trong Loki, hãy nhấp vào Trình duyệt nhật ký, sau đó trong phần và chọn , sau đó trong phần , nhấp vào tên công việc của bạn (từ ). Trong trường hợp này, tôi đã nhấp vào . Sau đó nhấp vào nút Hiển thị Nhật ký. 1.  Select labels to search in job 2. Find values for the selected labels promtail-local-config.yaml varlogs Bạn có thể chọn phạm vi thời gian và đặt khoảng thời gian làm mới truy vấn ở trên cùng bên phải của cửa sổ trình duyệt. Để xem thêm chi tiết về nhật ký, hãy cuộn xuống và nhấp vào một trong các mục nhật ký, nó sẽ cung cấp thêm thông tin liên quan đến mục nhật ký. Một tính năng thực sự mạnh mẽ là khả năng lọc hoặc xem số liệu thống kê về và trực tiếp từ chi tiết nhật ký bằng cách nhấp vào biểu tượng. Điều này giúp đơn giản hóa việc khắc phục sự cố vì nó giúp dễ dàng tìm kiếm các lỗi lặp lại và xoay vòng giữa các cụm từ tìm kiếm. labels fields Mở rộng Demo Sau khi bản trình diễn đang chạy, bước tiếp theo là để Promtail cạo một bộ tệp khác có thể thú vị hơn cho trường hợp sử dụng của bạn. Để thực hiện việc này, chúng tôi cần Promtail chạy bằng tệp cấu hình mà chúng tôi có thể chỉnh sửa. Một cách để đạt được điều này là sử dụng các volume trong Docker. Chỉnh sửa tệp để tạo 2 tập mới có thể truy cập từ bộ chứa Promtail. Cái đầu tiên cung cấp quyền truy cập vào thư mục trên hệ thống máy chủ nơi tệp cấu hình mới sẽ được tạo. Cái thứ hai cung cấp quyền truy cập vào một thư mục sẽ chứa các tệp nhật ký quan tâm. Ngoài ra, Promtail sẽ được khởi chạy tham chiếu đến tệp cấu hình mới mà chúng tôi đã gọi là : docker-compose.yaml promtail-local-config.yaml version: "3" networks: loki: services: loki: image: grafana/loki:latest volumes: - <your-local-path>/loki/minio-loki-tutorial/production:/home/loki/production ports: - "3100:3100" command: -config.file=/home/loki/production/loki.yaml networks: - loki promtail: image: grafana/promtail:2.4.2 volumes: - /var/log:/var/log -- <your-local-path>/loki/minio-loki-tutorial/production:/home/loki/production -- <your-local-path>/access_logs:/home/loki/access_logs command: -config.file=/home/loki/production/promtail-local-config.yaml networks: - loki grafana: image: grafana/grafana:latest ports: - "3000:3000" networks: - loki minio: image: minio/minio:latest ports: - "9000:9000" - "9001:9001" networks: - loki command: server ~ --address ':9000' --console-address ':9001' createbuckets: image: minio/mc networks: - loki depends_on: - minio entrypoint: > /bin/sh -c " /usr/bin/mc config host add myminio http://minio:9000 minioadmin minioadmin; /usr/bin/mc rm -r --force myminio/loki; /usr/bin/mc mb myminio/loki; /usr/bin/mc policy set public myminio/loki; exit 0; " Còn rất nhiều điều bạn có thể làm với dữ liệu nhật ký trong Grafana. Để bắt đầu, bạn có thể cài đặt promtail ở nhiều nơi hơn để theo dõi nhiều nhật ký hơn cho Loki. Sao chép tệp thực thi và sang các máy/phiên bản/bộ chứa khác, chỉnh sửa cấu hình như được mô tả trong và chạy nó. promtail-local-config.yaml Cấu hình Promtail Bây giờ chúng ta cần tạo tệp cấu hình Promtail, để gửi nhật ký hệ thống cục bộ cho Loki. Tải xuống và chỉnh sửa từ Grafana. Phần cần tập trung vào là vì đây là nơi promtail cho biết cần lấy nhật ký nào, cách định dạng chúng và nơi gửi chúng. Vui lòng xem để biết thêm thông tin về cách định cấu hình promtail. promtail-local-config.yaml tệp cấu hình mẫu scrape_configs Nhận nhật ký vào Loki Phần bao gồm: scrape_configs job_name - Điều này phân biệt nhật ký được thu thập từ các nhóm nhật ký khác. mục tiêu - Tùy chọn cho . Tuy nhiên, thường được xác định bởi vì trong các phiên bản Promtail cũ hơn, nó không phải là tùy chọn. Đây là một thành phần tạo tác từ việc sử dụng trực tiếp mã khám phá dịch vụ Prometheus, yêu cầu mục nhập này. static_configs nhãn - Nhãn tĩnh để áp dụng cho mọi dòng nhật ký được loại bỏ theo định nghĩa này. Các ví dụ hay bao gồm tên môi trường, tên công việc hoặc tên ứng dụng. đường dẫn - Đường dẫn đến nơi lưu trữ nhật ký mà Loki sẽ sử dụng. server: http_listen_port: 9080 grpc_listen_port: 0 positions: filename: /tmp/positions.yaml clients: - url: http://loki:3100/loki/api/v1/push scrape_configs: - job_name: apache static_configs: - targets: - localhost labels: job: access_logs __path__: /home/loki/access_logs/*log Điều quan trọng là phải hiểu các tùy chọn cấu hình khác nhau để cạo trong Promtail và Grafana cung cấp . nhiều thông tin chi tiết Có thể hữu ích khi tham khảo đầy đủ để xem toàn bộ khả năng của ứng dụng. tài liệu tham khảo cấu hình promtail Cuối cùng, đặt một số nhật ký truy cập máy chủ web Apache vào thư mục được chỉ định trong tệp trên hệ thống máy chủ. Đây là những nhật ký mà Promtail sẽ nhập và gửi cho Loki để xử lý: docker-compose.yaml -- <your-local-path>/access_logs:/home/loki/access_logs Khi các chỉnh sửa đã được thực hiện và nhật ký truy cập Apache mẫu được đặt đúng chỗ, hãy mang các thùng chứa xuống và sao lưu bằng trình soạn thảo docker: docker-compose down docker-compose up -d Promtail sau đó sẽ tải các tệp nhật ký truy cập Apache mới và cung cấp chúng cho Loki. Môi trường mà chúng tôi đã tạo trong hướng dẫn này rất hữu ích để bắt đầu với Loki, nhưng nó chưa sẵn sàng để sản xuất. Các bước tiếp theo sẽ là rời khỏi Docker cho Kubernetes và sử dụng MinIO phân tán thay vì một phiên bản duy nhất. Cuối cùng, dữ liệu của Loki đủ lớn để nó được hưởng lợi từ cơ sở dữ liệu bên ngoài để tìm kiếm chỉ mục nhanh chóng. Vui lòng xem để biết thêm thông tin. Khả năng mở rộng - Mở rộng quy mô với Grafana Loki Phần kết luận Nhóm khả năng quan sát của Grafana, Prometheus và AlertManager đã có được sự bổ sung mạnh mẽ với Loki (BTW, chúng tôi cũng có một hướng dẫn cho ). Các hệ thống phân tán, đặc biệt là khi được Kubernetes chứa và điều phối, có nhiều nhật ký cho các ứng dụng và dịch vụ siêu nhỏ của chúng. Loki kết hợp với MinIO là một cách tiết kiệm chi phí để thu thập, lưu trữ và truy vấn nhật ký. Grafana, Prometheus và AlertManager trên MinIO Nếu bạn có bất kỳ câu hỏi nào, vui lòng gửi email cho chúng tôi theo địa hoặc tham gia và hỏi đi. chỉ hello@min.io kênh chậm chạp của MinIO Cũng được xuất bản . ở đây

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Developers do. Download MinIO and see for yourself. 

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

dài quá đọc không nổi

 Add passwordless user experiences to your app

HackerNoon Mobile

Cách triển khai Grafana Loki và lưu dữ liệu vào MinIO bằng Docker Container hoặc trực tiếp từ nguồn

dài quá đọc không nổi

@minio

Credibility

NHỮNG BÀI VIẾT LIÊN QUAN