(旧称 Presto) は SQL クエリ エンジンであり、SQL データベースではありません。 Trino は SQL データベースのストレージ コンポーネントを避け、超高速 SQL クエリにのみ焦点を当てています。 Trino は単なるクエリ エンジンであり、データを保存しません。 代わりに、Trino はさまざまなデータベースとやり取りしたり、オブジェクト ストレージと直接やり取りしたりします。 Trino は渡された SQL クエリを解析して分析し、データ ソースを含むクエリ実行プランを作成して最適化してから、接続先の基盤となるデータベースをインテリジェントにクエリできるワーカー ノードをスケジュールします。 トリノ  MinIOは、AI/MLワークロード、データレイクからレイクハウス（Dremio、Hive、Hudi、StarRocks、その他数十の優れたAI/MLツールソリューションのいずれか）にデータを格納するために頻繁に使用されます。MinIOはプライマリストレージレイヤーとして使用するとより効率的であり、格納されたデータの総所有コストを削減します。さらに、MinIOにデータを書き込むことで、 、 そして保護されている さらに、データを MinIO オブジェクト ストレージに保存すると、他のクラウド ネイティブの機械学習および分析アプリケーションでも利用できるようになります。 不変 バージョン管理 消失訂正符号 このチュートリアルでは、Hive Metastore のメタデータと Redis のテーブル スキーマを活用する Trino を使用して、Minio に保存されている大規模なデータセット全体で分散 SQL クエリを実行できる統合システムを展開します。 コンポーネント 次に説明するセットアップ プロセスでは、さまざまなコンポーネントと、それらのコンポーネントがどのような機能を果たすのかを説明します。    Minio は、Trino で通常分析されるような大規模なデータセットを保存するために使用できます。 Minio:   : Hive メタストアは、Hive テーブルのメタデータ (テーブル スキーマなど) を保存するサービスです。Trino は、データセットをクエリするときに Hive メタストアを使用してテーブルのスキーマを決定できます。 Hive メタストア   これは、Hive メタストアのデータベース バックエンドです。メタデータが実際に保存される場所です。 Hive メタストア用の PostgreSQL:   このセットアップでは、Trino のテーブル スキーマを保存するために Redis を使用します。 Redis:    Trino (旧称 Presto) は、高性能な分散 SQL クエリ エンジンです。SQL データベース、NoSQL データベース、さらには Minio のようなオブジェクト ストレージなど、さまざまなデータ ソースにわたってデータをクエリできます。 Trino: 前提条件 始める前に、Kubernetes クラスターを管理するために必要なツールがインストールされていることを確認してください。    : Kubernetes クラスターを管理するための主要なコマンドライン ツール。これを使用して、クラスター リソースを検査、操作、管理できます。 kubectl    : Kubernetes 用のパッケージ マネージャー。Helm を使用すると、事前定義されたチャートを使用して、クラスター内でアプリケーションをデプロイ、アップグレード、管理できます。 helm リポジトリのクローン作成 Trino を Kubernetes にデプロイするために必要なリソースにアクセスするには、特定の GitHub リポジトリをクローンし、適切なディレクトリに移動します。   git clone https://github.com/minio/blog-assets.git cd blog-assets/trino-on-kubernetes  Kubernetes 名前空間の作成 Kubernetes の名前空間は、アプリケーションに分離された環境を提供します。Trino の新しい名前空間を作成して、そのデプロイメントをカプセル化します。   kubectl create namespace trino --dry-run=client -o yaml | kubectl apply -f -  Redis テーブル定義の秘密 Redis は Trino が使用するテーブル スキーマを保存します。Kubernetes Secret を使用してこれらのスキーマを保護します。次のコマンドは、JSON ファイルからデータを取得する汎用シークレットを作成します。   kubectl create secret generic redis-table-definition --from-file=redis/test.json -n trino || true  Helmリポジトリを追加する Helm リポジトリは、アプリケーションのデプロイメントを簡素化するパッケージ済みのチャートを提供します。Bitnami および Trino リポジトリを Helm 構成に追加します。   helm repo add bitnami https://charts.bitnami.com/bitnami || true helm repo add trino https://trinodb.github.io/charts/ || true データストレージにMinIOを導入する MinIOを初期化する Trino 名前空間内に MinIO を準備します。   kubectl minio init -n trino  MinIOテナントを作成する データ ストレージ用のマルチテナント アーキテクチャを設定します。以下の例では、4 つのサーバー、4 つのストレージ ボリューム、4 GiB の容量を持つ「tenant-1」という名前のテナントを作成します。   kubectl minio tenant create tenant-1 --servers 4 --volumes 4 --capacity 4Gi -n trino  Hive メタストアの設定 Trino は Hive Metastore を使用してテーブル メタデータを保存します。メタデータを管理するために PostgreSQL をデプロイし、Hive Metastore を設定します。  PostgreSQLをインストールする helm upgrade --install hive-metastore-postgresql bitnami/postgresql -n trino -f hive-metastore-postgresql/values.yaml  Hiveメタストアをデプロイする 事前設定された Helm チャートを使用して、Trino 名前空間内に Hive Metastore をデプロイします。   helm upgrade --install my-hive-metastore -n trino -f hive-metastore/values.yaml ./charts/hive-metastore  Kubernetes で MinIO と Trino をデプロイする Trino と MinIO は、大規模なデータセット全体にわたる分散 SQL クエリのための強力な組み合わせを作成します。システムを展開して構成するには、次の手順に従ってください。 テーブルスキーマを保存するために Redis をデプロイする Redis は、クエリ パフォーマンスを向上させるために Trino テーブル スキーマを保持するために使用される高速のインメモリ データ ストアです。Helm チャートを使用して Trino 名前空間にデプロイします。   helm upgrade --install my-redis bitnami/redis -n trino -f redis/values.yaml  Trinoを展開する MinIO やその他のデータ ソースに接続する分散 SQL クエリ エンジンとして Trino をデプロイします。   helm upgrade --install my-trino trino/trino --version 0.7.0 --namespace trino -f trino/values.yaml 展開の検証 Trino 名前空間内のポッドを一覧表示して、すべてのコンポーネントが正しく実行されていることを確認します。   kubectl get pods -n trino セキュリティレビューと調整 必要に応じてセキュリティ設定を確認して調整します。S3 接続の SSL 証明書検証を無効にするには、values.yaml ファイルの additionalCatalogs セクションを次のプロパティで更新します。   hive.s3.ssl.enabled=false テスト MinIO テナント サービスへのポート転送 テナントの MinIO サービスにポート転送し、ローカル アクセスを有効にします。   kubectl port-forward svc/minio -n trino 9443:443  Trino のエイリアスとバケットを作成する  MinIO デプロイメントの資格情報を使用して、テナントのエイリアスを確立します。 1. エイリアスの作成:   mc alias set my-minio https://localhost:9443/ minio_access_key minio_secret_key --insecure    Trinoが使用する新しいバケットを作成します 2. バケットの作成: mc mb my-minio/tiny --insecure ポート転送経由でTrino UIにアクセスする  Trino コーディネーター ポッドの名前を取得します。 1. ポッド名を取得する:   export POD_NAME=$(kubectl get pods --namespace trino -l "app=trino,release=my-trino,component=coordinator" -o jsonpath="{.items[0].metadata.name}")   ローカル ポート 8080 をコーディネーター ポッドに転送します。 2. ポート転送:   kubectl port-forward $POD_NAME 8080:8080    http://127.0.0.1:8080 にアクセスして、ブラウザで Trino UI を使用します。  3. UI にアクセスする:  CLI 経由で Trino をクエリする Trino コーディネーター ポッドにアクセスし、コマンド ライン経由でクエリを開始します。   kubectl exec -it deploy/my-trino-coordinator -n trino -- trino   SHOW CATALOGS;   SHOW SCHEMAS IN minio;  Schema -------------------- default information_schema   CREATE SCHEMA minio.tiny WITH (location = 's3a://tiny/');   CREATE TABLE minio.tiny.customer WITH ( format = 'ORC', external_location = 's3a://tiny/customer/' ) AS SELECT * FROM tpch.tiny.customer;   SELECT * FROM minio.tiny.customer LIMIT 50;   SHOW SCHEMAS IN minio;  Schema -------------------- default information_schema tiny (3 rows)  MinIOバケット内のデータの確認 バケットを作成したら、mc コマンドライン ツールを使用して内容を一覧表示し、データが MinIO に保存されていることを確認します。次のコマンドを使用します。   mc ls my-minio/tiny --insecure とても簡単ですよ！ 最終的な考え 構成の問題、特にセキュリティに関する問題をトラブルシューティングする場合は、各コンポーネントの values.yaml ファイルを徹底的に確認して、適切な設定になっていることを確認してください。  Trino は、特殊なデータベースやオブジェクト ストレージなど、さまざまなデータ レイヤーにわたってクエリを最適化する機能で際立っています。クエリをプッシュダウンして必要なデータのみを取得することで、データ転送を最小限に抑えることを目指しています。これにより、Trino はさまざまなソースのデータセットを結合したり、さらに処理を実行したり、正確な結果を効率的に返したりすることができます。  MinIO は、業界をリードするスケーラビリティとパフォーマンスにより、Trino と非常に相性が良いです。AI/ML と分析全体で大量のワークロードを処理できる MinIO は、Trino クエリなどを簡単にサポートします。最近のベンチマークでは、MinIO はわずか 32 ノードで GET 操作で 325 GiB/秒 (349 GB/秒)、PUT 操作で 165 GiB/秒 (177 GB/秒) という驚異的なパフォーマンスを達成しました。この優れたパフォーマンスにより、MinIO に保存されたデータにいつでもアクセスできる状態が確保され、ボトルネックになることなく、Trino にとって信頼性が高く高性能な選択肢となる MinIO が実現します。  MinIOとTrinoについてご質問がある場合は、お気軽にお問い合わせください。 ！ スラック

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

このオーディオは、ストーリーの元の言語で制作されています。

Kubernetes を使用して MinIO と Trino をデプロイする方法

About Author

コメント

ラベル

この記事は

Related Stories

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps