このビッグ データのストレージと処理の基本的なテクノロジは、Apache Software Foundation のトップレベル プロジェクトです。 デフォルトでは、クラスターに Hadoop をインストールするには、事前構成されたマシン、手動でのパッケージのインストール、およびその他の多くの移動が必要です。ただし、多くの場合、ドキュメントは不完全であるか、単に古くなっています。テクノロジーが進化するにつれて、企業は人気が低下し始めている「エレファント」に代わるものを探しています。 Hadoop は、最初は革新的で価値があり、現在は生産性の停滞期に達するまで、さまざまな段階を経てきました。 この記事では 取って代わる可能性がある他のオプションについて説明します。 、Hadoop が人気を失っている理由と、Hadoop に Hadoop は Hadoop だけではない Hadoop エコシステムは、大規模なデータセットの処理に使用できるツールとサービスのスイートです。これは、HDFS、MapReduce、YARN、および Hadoop Common の 4 つの主要コンポーネントで構成されています。これらのコンポーネントは連携して、データ ストレージ、分析、およびメンテナンスなどの機能を提供します。 Hadoop エコシステムは、次の要素で構成されています。 HDFS: Hadoop 分散ファイル システム YARN: もう 1 つのリソース ネゴシエーター MapReduce: プログラミング ベースのデータ処理 Spark: インメモリ データ処理 PIG、HIVE: データ サービスのクエリ ベースの処理 HBase: NoSQL データベース Mahout、Spark MLLib: 機械学習アルゴリズム ライブラリ Solar、Lucene: 検索とインデックス作成 Zookeeper: クラスターの管理 Oozie: ジョブ スケジューリング Hadoop エコシステムには、上記のコンポーネントに加えて、他のコンポーネントもいくつか含まれています。 Hadoop が衰退しているのはなぜですか? Google トレンドによると、2014 年から 2017 年にかけて Hadoop が最も人気がありました。この期間の後、Hadoop の検索数は減少し始めました。この減少は、最終的な人気の低下を示唆するいくつかの要因により、驚くべきことではありません. 新興テクノロジーとデータ分析に対する新しい市場の需要 Hadoop は、ビッグ データ ストレージのニーズを満たすために作成されました。今日、人々は、より高速な分析、個別の保存と計算、人工知能と機械学習のための AI/ML 機能など、データ管理システムにさらに多くを求めています。 Hadoop は、Redis、Elastisearch、ClickHouse などの他の新しいテクノロジと比較して、ビッグ データ分析のサポートが限定的です。これらのテクノロジーは、大量のデータを分析できることから、ますます人気が高まっています。 急速に成長するクラウド ベンダーとサービス クラウド コンピューティングは、過去 10 年間で急速に進歩し、IBM や HP などの従来のソフトウェア企業を凌駕しています。初期の頃、クラウド ベンダーは Infrastructure as a Service (IaaS) を使用して、世界で最も広く使用されている Hadoop クラスターであると主張する AWS EMR に Hadoop をデプロイしていました。クラウド サービスを使用すると、ユーザーはいつでも簡単にクラスターをスピンアップまたはシャットダウンでき、安全なデータ バックアップ サービスも利用できます。 さらに、クラウド ベンダーは、ビッグ データ シナリオ向けの全体的なエコシステムを作成するためのさまざまなサービスを提供しています。これらには、費用対効果の高いストレージ用の AWS S3、高速なキー値データ アクセス用の Amazon DynamoDB、およびビッグ データを分析するためのサーバーレス クエリ サービスとしての Athena が含まれます。 ますます複雑化する Hadoop エコシステム Hadoop エコシステムは、新しいテクノロジーとクラウド ベンダーの流入によりますます複雑になり、ユーザーがすべてのコンポーネントを使用することが難しくなっています。別の方法は、ビルディング ブロックを使用することです。ただし、これにより複雑さがさらに増します。 上の図は、Hadoop で少なくとも 13 個のコンポーネントが頻繁に使用され、学習と管理が困難であることを示しています。 代替手段は何ですか？ テクノロジー業界は、複雑さやリアルタイム処理の欠如など、Hadoop によって引き起こされる問題に適応しています。これらの問題に対処することを目的とした他のソリューションが登場しました。これらの代替手段は、オンプレミスまたはクラウド インフラストラクチャが必要かどうかに応じて、さまざまなオプションを提供します。 Google ビッグクエリ は、ユーザーがデータベースやインフラストラクチャの管理を気にせずに大量のデータを分析できるように設計されたプラットフォームです。ユーザーは SQL を使用でき、インタラクティブなデータ分析に Google ストレージを利用できます。 Google の BigQuery 大量のデータを処理するために追加のハードウェアに投資する必要はありません。そのアルゴリズムは、標準的なレポートでは識別が困難なデータ内のユーザーの行動パターンを明らかにするのに役立ちます。 BigQuery は MapReduce とシームレスに統合されるため、Hadoop の強力な代替手段となります。 Google は継続的に機能を追加し、BigQuery をアップグレードして、優れたデータ分析エクスペリエンスをユーザーに提供しています。カスタム データセットを簡単にインポートして、Google アナリティクスなどのサービスで使用できるようにしました。 アパッチスパーク は、Hadoop データに使用される人気のある強力な計算エンジンです。 Hadoop からのアップグレードであり、より高速で、使用できるさまざまなアプリケーションをサポートします。 アパッチスパーク Spark は、Hadoop とは別に適用できるツールであり、分析目的でますます人気が高まっています。 Hadoop よりも実用的であるため、多くの企業に適しています。 IBM やその他の企業は、さまざまなデータ ソースを操作できる柔軟性と機能を理由に、これを採用しています。 Spark は、Hadoop の MapReduce より最大 100 倍高速な高速リアルタイム データ処理を可能にするオープンソース プラットフォームです。 Apache Mesos、EC2、Hadoop などのさまざまなプラットフォームで、クラウドまたは専用クラスターから実行できます。これにより、機械学習ベースのアプリケーションに適しています。 スノーフレーク は、倉庫、エンジニアリング、科学、アプリ開発などのデータ サービスを提供するクラウドベースのサービスです。また、リアルタイム データの安全な共有と消費も可能になります。 スノーフレーク クラウド データ ウェアハウスは、クラウドでデータを保存および管理する利点を提供します。 Hadoop は大量のデータを分析するための優れたツールですが、セットアップと使用が難しい場合があります。さらに、データ ウェアハウスに通常関連付けられるすべての機能を提供するわけではありません。 Snowflake を使用すると、Hadoop をオンプレミスまたはクラウドにデプロイする際の難易度とコストを削減できます。ハードウェア、ソフトウェアのプロビジョニング、配布ソフトウェアの認証、構成のセットアップ作業が不要なため、Hadoop が不要になります。 Hadoop に代わるものをいつ検討すべきか? Hadoop は、数多く存在するビッグ データ ソリューションの 1 つです。データのサイズ、複雑さ、および量が増大するにつれて、企業は、パフォーマンス、スケーラビリティ、およびコスト上の利点を提供できる代替手段を模索しています。これらの決定を行う場合、ビッグ データ ソリューションを選択する前に、組織固有のユース ケース、予算、および目標を考慮することが不可欠です。 多くの場合、Hadoop から移行するよりも良い選択肢があるかもしれません。多くのクライアントがプラットフォームに多額の投資を行っているため、新しいプラットフォームに移行してテストするにはコストがかかりすぎます.したがって、プラットフォームを放棄することはできません。ただし、新しいユース ケースとビッグ データ ソリューション コンポーネントについては、代替手段を考慮する必要があります。 総括する Hadoop はただ 1 つのものではなかったため、Hadoop に代わる最良の方法は 1 つではありません。 Hadoop が時代遅れであるという主張を信じるのではなく、テクノロジーから何が必要で、どの部分が要件を満たしていないかを考えてください。 最終的に、Hadoop を使用するか、別のビッグ データ ソリューションに移行するかの決定は、ユース ケースと組織固有のニーズに基づいて行う必要があります。さまざまなテクノロジが提供できるコスト、スケーラビリティ、およびパフォーマンスの利点を考慮することが不可欠です。 慎重な評価と調査により、企業は十分な情報に基づいて、ニーズに最適な選択を行うことができます。
