Grafana Loki は、アプリケーションやインフラストラクチャからのログを保存およびクエリするログ集約システムです。ありふれたものではありますが、ログにはシステム動作に関する重要な情報が含まれており、デバッグやトラブルシューティングの情報の貴重な情報源となります。ログは、悪意のあるアクティビティを特定して追跡するため、または単にユーザー アクティビティを追跡してビジネス インテリジェンスを提供するためによく使用されます。 以前のブログ投稿 では、Loki のコンポーネントとその全体的なアーキテクチャの概要を説明しました。ログの Loki はメトリクスの Prometheus に似ていると考えてください。 Loki はメタデータのインデックス作成とクエリのみを行うため、軽量でコスト効率が高くなります。 Promtail エージェントは、Loki に送信する前にログを収集、ラベル付け、変換します。次に、Loki はメタデータのインデックスを作成し、ラベルでインデックスが付けられたストリームにエントリをグループ化します。次に、Grafana を使用して、Loki からのログ情報を視覚化し、クエリを実行します。バージョン 2.0 では、Loki は MinIO などの単一のオブジェクト ストレージ バックエンドにデータを保存します。前回のブログ投稿では Loki データを MinIO に保存する利点について説明しましたが、このブログ投稿はその方法を説明するチュートリアルです。 「 Grafana Loki と MinIO を使用したログ 」 まず、Docker コンテナを使用して Loki と MinIO をデプロイする方法を説明し、次にソースからインストールする方法を説明します。  Loki を学び、Docker コンテナを使用した MinIO をマスターする Docker コンテナ、いくつかのスクリプト、Git リポジトリを使用してデモを構築しました。まず Grafana Loki リポジトリから始めて、MinIO 用の設定 yaml とコンテナ、および Loki データ用の MinIO バケットを作成して公開するスクリプトを追加しました。次の手順により、これらの 5 つのイメージが Docker コンテナーでローカルに実行されます。 ロキ プロムテール グラファナ MinIO バケットの作成 最初の 3 つは明らかに Loki、Promtail、Grafana に必要です。これらは、  の Grafana からすでに入手可能でした (短い があります)。 MinIO は Loki のオブジェクト ストレージであり、最終コンテナはバケットを Loki ターゲットとして作成するスクリプトを実行します。 Loki リポジトリ ビデオ説明  Loki は、  を使用してログ データを MinIO に保存するように構成されています。特に重要なのは次のセクションです。 loki.yaml   storage_config: boltdb_shipper: active_index_directory: /loki/index cache_location: /loki/index_cache resync_interval: 5s shared_store: s3 aws: s3: http://minioadmin:minioadmin@minio.:9000/loki s3forcepathstyle: true  MinIO の S3 アドレスのドットに注目してください。 AWS リージョンを指定する必要がないため、これが使用されます。   ファイルを使用して Docker 環境を作成します。コンテナー、ボリューム、ポート、ネットワークを構成し、起動コマンドを提供します。 docker-compose.yaml   イメージを、ボリューム経由で Loki 構成にアクセスできるコンテナとして実行するには、次の手順を実行します。 loki   services: loki: image: grafana/loki:latest volumes: - <your-local-path>/loki/production:/home/loki/production ports: - "3100:3100" command: -config.file=/home/loki/production/loki.yaml networks: - loki 最初に行う必要がある構成は、  のローカル フォルダーがコンテナーと共有されていることを確認することです。  の セクションを編集して、  フォルダーをダウンロードしたホスト システム上のローカル フォルダーを参照してください。  読み取るために、ホスト パスをコンテナ パスにマッピングしています。 production docker-compose.yaml volumes production loki.yaml   では、ネットワークも定義し、MinIO サーバーを実行するコンテナのポートを公開します。この場合、ブラウザで MinIO サーバーにアクセスできるように、ポート 9000 と 9001 がローカル マシンに公開されます。 docker-compose.yaml   Console UI: minio: image: minio/minio:latest ports: - "9000:9000" - "9001:9001" networks: - loki command: server ~ --address ':9000' --console-address ':9001' すべてのコンテナが ネットワークを共有するようにネットワークを構成します。各コンテナは他のコンテナに ping を送信し、その API を使用できます。コンテナーには固定 IP アドレスを使用しないでください。簡単にするために、環境内の と 適切なコンテナーに解決されるように構成しました。例えば： loki loki minio   http://minio:9000 for MinIO http://loki:3100 for Loki http://loki:3000 for Grafana   によって実行される次のアクションは、コンテナ内で MinIO クライアント (mc) を実行して MinIO サーバーを構成し、Loki データの宛先バケットを作成し、必要に応じてアクセス ポリシーを に設定することです。 docker-compose.yaml public   createbuckets: image: minio/mc networks: - loki depends_on: - minio entrypoint: > /bin/sh -c " /usr/bin/mc config host add myminio http://minio:9000 minioadmin minioadmin; /usr/bin/mc rm -r --force myminio/loki; /usr/bin/mc mb myminio/loki; /usr/bin/mc policy set public myminio/loki; exit 0; " 小さな Go プログラムである Promtail は、分散ログ ファイルを追跡または収集し、Loki に配信するために使用されます。このデモでは、Promtail は /var/log ディレクトリをスクレイピングする構成ファイルを使用してコンテナにデプロイされます。このデモを実行し、その場所 (/var/log) でログ ファイルを処理するために変更を行う必要はありません。 このチュートリアルの最後では、Promtail でシステム上の他の場所のログ ファイルを収集する方法について説明します。 ステップ Loki、Promtail、および Docker 環境の構成方法を理解したので、次の手順に従ってデモ環境を構成して実行してください。次の手順では、   、   、およびデフォルトの Promtail 構成を使用して、Loki が MinIO とどのように連携するかを示します。ファイルをダウンロードしたら、ご使用の環境に合わせて編集してください。 docker-compose.yaml loki.yaml このリポジトリ のクローンを作成します。 https://github.com/cniackz/loki   git clone https://github.com/cniackz/loki.git minio-loki-tutorial ディレクトリをローカルの フォルダーに変更します。 production   https://github.com/cniackz/loki/tree/main/production   cd <your-local-path>/minio-loki-tutorial/production Edit docker-compose.yaml to reference your local home directory If necessary, edit promtail.yaml ローカルの Docker 環境を構築します。   docker-compose build --no-cache ローカルの Docker コンテナを起動します。   docker-compose up -d  Loki データが MinIO に保存されていることを確認するには、  または で MinIO コンソールにログインします。このチュートリアルでは、次の認証情報を使用します。 http://localhost:9001 http://minio:9001     user: minioadmin password: minioadmin ログイン後、「バケット」をクリックします。 Loki バケットが作成されたことがわかります。  右側で「参照」をクリックして、新しく作成したバケットの内容を表示します。  の下に ディレクトリが表示されるはずです。 Loki がデータを保存する場所です。  loki fake その名前をクリックして ディレクトリを開きます。 Loki は、設定された間隔でログをメモリに保持し、オブジェクト ストレージに書き込みます。デフォルトの間隔は 5 分なので、データがバケットに表示されるまで 5 分間お待ちください。  fake この時点で、Promtail は Loki にログを送信し、Loki はデータを MinIO に保存しています。次に、Loki ログを表示するように Grafana を設定しましょう。 Grafana 6.0 以降には、Loki のサポートが組み込まれています。 Grafana 6.3 以降には、  機能のサポートが含まれています。 LogQL   で Grafana にログインします (デフォルトの資格情報は admin:admin)。 http://loki:3000  Grafana で、左側のサイドバーにある歯車アイコンをクリックして、[構成]、[データ ソース] の順に移動します。大きな [データ ソースの追加] ボタンをクリックし、[Loki] を選択します。   http URL フィールドを、Docker ポート マッピング 使用してローカルで実行されている Loki サーバー用に編集します。  http://loki:3100 次に、「保存してテスト」をクリックします。 ログをすぐに表示するには、「探索」をクリックします。左側のサイドバーの「探索」をクリックしてログを表示することもできます。どのような方法で探索しても、左上のドロップダウンで Loki データソースを選択し、[ログ ラベル] ボタンを使用してログ ストリームを選択します。   LogQL クエリを入力し、[クエリの実行] をクリックします。ただし、LogQL についてまだ知らない場合は、GUI を使用してログとクエリ パラメーターを選択できます。  Loki にあるログをすばやく確認するには、[ログ ブラウザー] をクリックし、     ] を選択し、   ] でジョブの名前をクリックします (  から)   )。この場合は、  をクリックしました。次に、「ログの表示」ボタンをクリックします。 1.  Select labels to search in job 2. Find values for the selected labels promtail-local-config.yaml promtail-local-config.yaml varlogs ブラウザ ウィンドウの右上で、時間範囲を選択し、クエリの更新間隔を設定できます。  ログの詳細を表示するには、下にスクロールしてログ エントリの 1 つをクリックすると、ログ エントリに関連する追加情報が表示されます。  非常に強力な機能は、アイコンをクリックしてログの詳細から や に関する統計を直接フィルタリングしたり表示したりできることです。これにより、繰り返し発生するエラーを探したり、検索用語を切り替えたりすることが容易になるため、トラブルシューティングが簡素化されます。 labels fields デモの拡張 デモが実行されたら、次のステップは、Promtail に、ユースケースにとってより興味深いと思われる別のファイルのセットをスクレイピングさせることです。これを行うには、編集可能な構成ファイルを使用して Promtail を実行する必要があります。これを実現する 1 つの方法は、Docker でボリュームを使用することです。   ファイルを編集して、Promtail コンテナーからアクセスできる 2 つの新しいボリュームを作成します。 1 つ目は、新しい構成ファイルが作成されるホスト システム上のディレクトリへのアクセスを提供します。 2 つ目は、対象のログ ファイルが含まれるディレクトリへのアクセスを提供します。さらに、 Promtail は と呼ばれる新しい構成ファイルを参照して起動されます。 docker-compose.yaml promtail-local-config.yaml   version: "3" networks: loki: services: loki: image: grafana/loki:latest volumes: - <your-local-path>/loki/minio-loki-tutorial/production:/home/loki/production ports: - "3100:3100" command: -config.file=/home/loki/production/loki.yaml networks: - loki promtail: image: grafana/promtail:2.4.2 volumes: - /var/log:/var/log -- <your-local-path>/loki/minio-loki-tutorial/production:/home/loki/production -- <your-local-path>/access_logs:/home/loki/access_logs command: -config.file=/home/loki/production/promtail-local-config.yaml networks: - loki grafana: image: grafana/grafana:latest ports: - "3000:3000" networks: - loki minio: image: minio/minio:latest ports: - "9000:9000" - "9001:9001" networks: - loki command: server ~ --address ':9000' --console-address ':9001' createbuckets: image: minio/mc networks: - loki depends_on: - minio entrypoint: > /bin/sh -c " /usr/bin/mc config host add myminio http://minio:9000 minioadmin minioadmin; /usr/bin/mc rm -r --force myminio/loki; /usr/bin/mc mb myminio/loki; /usr/bin/mc policy set public myminio/loki; exit 0; "  Grafana のログ データを使用してできることは他にもたくさんあります。まず、promtail をより多くの場所にインストールして、より多くのログを Loki に追跡できます。実行可能ファイルと 他のマシン/インスタンス/コンテナーにコピーし、  の説明に従って構成を編集して実行します。 promtail-local-config.yaml 「Promtail 構成」 次に、ローカル システム ログを Loki に送信するために、Promtail 構成ファイル を作成する必要があります。 Grafana から ダウンロードして編集します。注目すべきセクションは です。これは、promtailがどのログを取得するか、どのようにフォーマットするか、どこに送信するかを指示する場所であるためです。 promtail の設定の詳細については、  を参照してください。 promtail-local-config.yaml サンプル構成ファイルを scrape_configs 「Loki へのログの取得」   セクションには次のものが含まれます。 scrape_configs  job_name - これにより、他のログ グループから収集されたログが区別されます。 ターゲット -  のオプション。ただし、古いバージョンの Promtail ではオプションではなかったため、定義されることがよくあります。これは、このエントリを必要とする Prometheus サービス検出コードを直接使用したことによるアーティファクトです。 static_configs ラベル - この定義によってスクレイピングされたすべてのログ行に適用する静的ラベル。良い例には、環境名、ジョブ名、アプリ名などがあります。  path - Loki が使用するログが保存される場所へのパス。   server: http_listen_port: 9080 grpc_listen_port: 0 positions: filename: /tmp/positions.yaml clients: - url: http://loki:3100/loki/api/v1/push scrape_configs: - job_name: apache static_configs: - targets: - localhost labels: job: access_logs __path__: /home/loki/access_logs/*log  Promtail でスクレイピングするためのさまざまな構成オプションを理解することが重要です。Grafana には あります。 詳細がたくさん アプリケーションの全機能を確認するには、完全な 参照すると役立つ場合があります。 promtail 構成リファレンスを 最後に、ホスト システム上の ファイルで指定されたディレクトリに Apache Web サーバーのアクセス ログをいくつか配置します。これらは、Promtail が取り込んで処理のために Loki に送信するログです。 docker-compose.yaml   -- <your-local-path>/access_logs:/home/loki/access_logs 編集が行われ、サンプル Apache アクセス ログが配置されたら、コンテナを停止し、docker compose を使用してバックアップします。   docker-compose down docker-compose up -d  Promtail はその後、新しい Apache アクセス ログ ファイルをロードし、Loki で使用できるようにします。 このチュートリアルで作成した環境は、Loki を使い始めるのに役立ちますが、運用環境に対応したものではありません。次のステップは、Docker を Kubernetes に残し、単一インスタンスの代わりに分散 MinIO を使用することです。最終的に、Loki データは十分に大きくなり、迅速なインデックス検索のために外部データベースの恩恵を受けるようになります。詳細については を参照してください。 、「スケーラビリティ - Grafana Loki によるスケーリング」 結論 Grafana、Prometheus、および AlertManager の可観測性スタックは、Loki によって強力に追加されました (ところで、  のチュートリアルもあります)。分散システム、特に Kubernetes によってコンテナ化およびオーケストレーションされている場合、アプリケーションとマイクロサービスのログが多数存在します。 Loki と MinIO を組み合わせると、ログを収集、保存、クエリするためのコスト効率の高い方法になります。 MinIO には Grafana、Prometheus、および AlertManager ご質問がある場合は、  に電子メールを送信するか、  に参加して質問してください。 hello@min.io MinIO Slack チャネル でも公開されています。 ここ

This writer has a vested interest be it monetary, business, or otherwise, with 1 or more of the products or companies mentioned within.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Developers do. Download MinIO and see for yourself. 

MinIO

このオーディオは、ストーリーの元の言語で制作されています。

Grafana Loki をデプロイし、Docker コンテナーまたはソースから直接使用してデータを MinIO に保存する方法

About Author

コメント

ラベル

この記事は

Related Stories

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps