は、データ集約型のワークロード向けに設計されたクラウドネイティブデータベースです。ANSI SQLをサポートする分散型リレーショナルSQLデータベース管理システムであり、 データの取り込み、トランザクション処理、クエリ処理のスピードが優れています。SingleStore は、リレーショナル、JSON、グラフ、時系列データを保存でき、HTAP などの混合ワークロードや、OLTP と OLAP の両方のユースケースに対応します。SQL クエリをマシン コードにコンパイルし、オンプレミス インストール、パブリック/プライベート クラウド、Kubernetes オペレーター経由のコンテナーなど、さまざまな環境に展開できます。 シングルストア   認識された 最新のデータレイクアーキテクチャ の中に SingleStore は処理レイヤーにぴったりです。このレイヤーには、変換、他のツールへのデータの提供、データ探索、その他のユースケースのための処理エンジンが存在します。SingleStore のような処理レイヤー ツールは、他のツールとうまく連携します。多くの場合、複数の処理レイヤー ツールが同じデータレイクからデータを取り込みます。通常、この設計はツールの特化の場合に実装されます。たとえば、ハイブリッド ベクトル検索と全文検索を備えた SingleStore のような超高速のインメモリ データ処理プラットフォームは、AI ワークロード向けに最適化されています。 生成 AI のユースケース向け。 最新のデータレイクアーキテクチャ 特に 前提条件 このチュートリアルを完了するには、いくつかのソフトウェアをセットアップする必要があります。必要なものの詳細は次のとおりです。 この強力なツールを使用すると、コンテナと呼ばれる標準化されたソフトウェア ユニットにアプリケーションをパッケージ化して実行できます。   Docker エンジン : これはオーケストレーターとして機能し、マルチコンテナ アプリケーションの管理を簡素化します。複雑なアプリケーションを簡単に定義して実行するのに役立ちます。   Docker の作成 : 最初から始める場合は、 インストーラーは、特定のプラットフォーム (Windows、macOS、または Linux) に Docker と Docker Compose の両方をインストールするための便利なワンストップ ソリューションを提供します。これは、個別にダウンロードしてインストールするよりも簡単であることがわかっています。 インストール:   Dockerデスクトップ  Docker Desktop または Docker と Docker Compose の組み合わせをインストールしたら、ターミナルで次のコマンドを実行して、それらの存在を確認できます。   docker-compose --version また、SingleStoreライセンスも必要になります。 。  ここ ライセンス キーとルート パスワードの両方を書き留めておいてください。アカウントにはランダムなルート パスワードが割り当てられますが、SingleStore UI を使用してルート パスワードを変更できます。 はじめる このチュートリアルは リポジトリを任意の場所にクローンします。 このリポジトリ このリポジトリで最も重要なファイルは、SingleStore データベース (   )、MinIO インスタンス (   )、および MinIO サービスに依存する コンテナを含む Docker 環境を記述する です。 singlestore minio mc docker-compose.yaml  mc コンテナには、最初に MinIO がアクセス可能になるまで待機し、MinIO をホストとして追加し、  バケットを作成し、書籍データを含む ファイルをアップロードし、バケット ポリシー パブリックに設定して終了するエントリポイント スクリプトが含まれています。 classic-books books.txt entrypoint  version: '3.7' services: singlestore: image: 'singlestore/cluster-in-a-box' ports: - "3306:3306" - "8080:8080" environment: LICENSE_KEY: "" ROOT_PASSWORD: "" START_AFTER_INIT: 'Y' minio: image: minio/minio:latest ports: - "9000:9000" - "9001:9001" volumes: - data1-1:/data1 - data1-2:/data2 environment: MINIO_ROOT_USER: minioadmin MINIO_ROOT_PASSWORD: minioadmin command: ["server", "/data1", "/data2", "--console-address", ":9001"] mc: image: minio/mc:latest depends_on: - minio entrypoint: > /bin/sh -c " until (/usr/bin/mc config host add --quiet --api s3v4 local http://minio:9000 minioadmin minioadmin) do echo '...waiting...' && sleep 1; done; echo 'Title,Author,Year' > books.txt; echo 'The Catcher in the Rye,JD Salinger,1945' >> books.txt; echo 'Pride and Prejudice,Jane Austen,1813' >> books.txt; echo 'Of Mice and Men,John Steinbeck,1937' >> books.txt; echo 'Frankenstein,Mary Shelley,1818' >> books.txt; /usr/bin/mc cp books.txt local/classic-books/books.txt; /usr/bin/mc policy set public local/classic-books; exit 0; " volumes: data1-1: data1-2: ドキュメント エディターを使用して、プレースホルダーをライセンス キーとルート パスワードに置き換えます。 ターミナル ウィンドウで、リポジトリをクローンした場所に移動し、次のコマンドを実行してすべてのコンテナを起動します。   docker-compose up ブラウザウィンドウを開いて、 ユーザー名「root」とルートパスワードでログインします。    http://localhost:8080/  MinIOをチェック 案内する  MinIO WebUI を起動します。  のユーザー名とパスワードでログインします。 mc コンテナが というバケットを作成し、バケット内にオブジェクトが 1 つあることがわかります。  http://127.0.0.1:9001 minioadmin:minioadmin classic-books  SQLで探索する SingleStoreでSQLエディタに移動し、以下を実行します。 : コマンド   -- Create a new database named 'books' CREATE DATABASE books; -- Switch to the 'books' database USE books; -- Create a table named 'classic_books' to store information about classic books CREATE TABLE classic_books ( title VARCHAR(255), author VARCHAR(255), date VARCHAR(255) ); -- Define a pipeline named 'minio' to load data from an S3 bucket called 'classic-books' -- The pipeline loads data into the 'classic_books' table CREATE PIPELINE IF NOT EXISTS minio AS LOAD DATA S3 'classic-books' CONFIG '{"region": "us-east-1", "endpoint_url":"http://minio:9000/"}' CREDENTIALS '{"aws_access_key_id": "minioadmin", "aws_secret_access_key": "minioadmin"}' INTO TABLE classic_books FIELDS TERMINATED BY ','; -- Start the 'minio' pipeline to initiate data loading START PIPELINE minio; -- Retrieve and display all records from the 'classic_books' table SELECT * FROM classic_books; -- Drop the 'minio' pipeline to stop data loading DROP PIPELINE minio; -- Drop the 'classic_books' table to remove it from the database DROP TABLE classic_books; -- Drop the 'books' database to remove it entirely DROP DATABASE books; この SQL スクリプトは、古典的な書籍に関連するデータを処理するための一連のアクションを開始します。最初に、  という名前の新しいデータベースを作成します。このデータベース内に、タイトル、著者、発行日などの詳細を保持するように設計された というテーブルが作成されます。 books classic_books これに続いて、  というラベルの付いた S3 バケットからデータを抽出し、  テーブルにロードするための というパイプラインが設定されます。このパイプラインのリージョン、エンドポイント URL、認証資格情報などの構成パラメータが定義されます。 classic-books classic_books minio その後、「minio」パイプラインがアクティブ化され、データの取得と入力のプロセスが開始されます。データがテーブルに正常にロードされると、SELECT クエリによって に保存されているすべてのレコードが取得されて表示されます。 classic_books データの抽出と表示が完了したら、  パイプラインが停止して削除され、  テーブルが データベースから削除され、  データベース自体が削除されて、クリーンな状態が確保され、データ管理操作が完了します。このスクリプトを使用すると、SingleStore の MinIO でデータを操作し始めることができます。  minio classic_books books books このスタック上に構築する このチュートリアルでは、オブジェクト ストレージでのデータの保存、処理、クエリの実験を可能にする堅牢なデータ スタックを迅速に設定できます。速度と汎用性で知られるクラウド ネイティブ データベースである SingleStore と MinIO の統合は、最新のデータレイク スタックの重要な基盤となります。 業界のトレンドがストレージとコンピューティングの分離に向かう中、このセットアップにより、開発者は革新的なデータ管理戦略を模索できるようになります。データ集約型アプリケーションの構築、高度な分析の実装、AI ワークロードの実験などに興味がある場合、このチュートリアルは出発点として役立ちます。 このデータスタックを構築し、さまざまなデータセットや構成を試して、データ駆動型アプリケーションの潜在能力を最大限に引き出してください。ご質問やご意見がございましたら、hello@min.ioまでお気軽にお問い合わせいただくか、 。   Slackチャンネル

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

このオーディオは、ストーリーの元の言語で制作されています。

次世代データソリューションの開発: SingleStore、MinIO、最新のデータレイクスタック

About Author

コメント

ラベル

この記事は

Related Stories

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

ワークフローを10倍に向上させる方法: 必須アプリ17選

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

フォーラムからフィードへ: ソーシャルメディアアルゴリズムがデジタルインタラクションを形作る仕組み

デジタルノマドの皆さん、タイの新しい DTV ビザについて知っておくべきこと

ワークフローを10倍に向上させる方法: 必須アプリ17選

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps

次世代データソリューションの開発: SingleStore、MinIO、最新のデータレイク スタック