データの世界は、過去 10 年間で劇的に変化しました。構造化された形式で情報を保存するように設計された従来のデータベースは、さまざまな場所にある複数のサーバーに配置される非構造化データの大規模なウェアハウスに進化しました。少し前まで、私たちは Oracle や IBM のような巨大企業に支配されたモノリシック システムを目にしていました。この種のデータにアクセスする必要があるアナリストやビジネス ユーザーは、管理が非常に困難な動きの遅いシステムを意味していました。 新しいソフトウェア スタックの誕生 システムの複雑さが増すにつれて、組織が複雑なアプリケーションを実行しながら費用対効果を維持するのに役立つ最新のソフトウェア スタックの必要性が最終的に高まりました。オープン ソースの動きは、全文検索用の Elastic Search やモデリング用の PyTorch などの複雑なアプリケーションをまとめるコストを劇的に削減することで、これを支援しました。ソフトウェアの堅牢なパッケージングと操作により、システムの使いやすさ、安定性、および経済性が向上しました。 過去 10 年間に多くの注目を集めてきた (MDS) は、オープン ソースの動きに基づいて構築されており、エンタープライズ データ スタックを構築することを目的としたアイデア、ツール、方法論のコレクションです。 最新のデータ スタック  MDS のスケーリングにおける課題 2010 年代には、MDS 内でオープン ソース ツールが急速に採用されるようになりました。ただし、最初の成功の後、これらに関する多くの組織のイニシアチブは、それらをスケーリングする際に課題に直面しました。 組織やチームが対応しなければならないツール、構成、方法論、相互作用の数による は圧倒的であり、人材の燃え尽きや高い離職率につながります 認知的過負荷 これらのテクノロジに関連する は、信じられないほど急勾配でした。これらのオープンソース ツールのほとんどは、Netflix、Google、Uber などの洗練された組織で構築されたものであり、小規模な展開 (規模の一部) を持つ組織のニーズに必ずしも適しているとは限らないことを理解する必要があります。 学習曲線 この分野でのイノベーションのペースは することも意味していました。より新しく、より優れた、より高速で効率的なツールが現場に登場するペースで、エンジニアは急速に学び、学びを捨てなければなりませんでした。 、新しいテクノロジーの寿命を短く データ サイエンス コミュニティは、いくつかの相反する視点を持つコミュニティであり、その結果、 ではありません。多くの場合、この課題を克服する唯一の方法は構築することですが、これには費用がかかるだけでなく、時間がかかります。 どのアプローチを採用する必要があるか (ビジネスにとって何が最善か) が明確  Gartner などのハイプ サイクルを追跡している場合、 ことを知っても驚くことではありません (おそらく 10 年前よりもはるかに早く終了します)。少し前まで「ホット」と見なされていた Hadoop、NoSQL、ディープ ラーニングなどのテクノロジーは、Gartner のハイプ サイクルのピークをすでに過ぎています。 テクノロジへの投資には終了日がある ポイント 1 と 2 は、業界のストレス レベルを高め、テクノロジーの採用と使用に利用できる人材を制限する上で大きな役割を果たしてきました。 DevOps 分野でも同様の傾向が見られ、開発者の人材の供給が新しいデジタル サービスの需要を満たしていません。  してきました。これは燃え尽き症候群の原因となっており、プロの開発者の平均的なキャリア期間は 20 年未満です。彼は最近、開発者主導のランドスケープの複雑さを深く掘り下げたスレッドを投稿しましたが、彼の主張と MLOps スペースとの間にいくつかの類似点があることに気付かずにはいられません。  Dell Capital の Tyler Jewell は、この問題について非常に声高に主張 ポイント 3 と 4 は、今日のデータ関係者の窮状を浮き彫りにしています。問題を解決するだけでは不十分な場合、彼らは「どのように」進めて問題を解決できるかを理解しようとすることに多くの時間を費やすことになり、何をすべきかについて深く考えることができなくなります。実行する必要がある、または期待される結果。 変化が訪れる… 組織が使用するデータ ツールに変化が見られます。これは、組織の多くがインフラストラクチャのニーズをサードパーティ ベンダーに依存するしかないという認識が高まっているためです。これは、予算の制約だけでなく、データのセキュリティや来歴など、他の制約によるものでもあります。 さらに、企業が運用を中断したりダウンタイムを発生させたりすることなく、あるプロバイダーから別のプロバイダーにワークロードを簡単に移行できるようにする自動化されたプロセスに対する需要が高まっています。これらの影響は、データ管理が成功の鍵となることが多い金融サービスなどの業界 (信用格付け機関など) で見られます。 これらすべてと上記の課題の結果として、コミュニティにはいくつかの進展がありました。 な 組織は を構築する必要性をますます強調しており、データ品質とデータ ガバナンスに重点を置いたツールが登場しています。 、データの信頼 結果に結びつく機械学習とデータ サイエンスのイニシアチブ、および ビジネス モデルがますます重視されています。 特定のビジネス ユース ケースに明示的に対応する 増え続けるコストと複雑さは、機能の拡張、買収、および統合による統合をもたらしています。たとえば、Snowflake は、完全な分析アプリケーション スタックになるためにパートナーのリストを急速に増やしています。 モデルのデプロイ後の複雑さを考慮すると、  などのツールの出現が見られます。これらのツールは、モデルのパフォーマンスを推定し、ドリフトを検出し、反復的なデプロイを通じて本番環境でモデルを改善するのに役立ちます。これは、企業がビジネス、データ、モデルの間のループを閉じる方法だと考えています。 NannyML 人工知能アプリケーションに不可欠な構成要素をまとめるために、新しい組織である が誕生しました。彼らは 構築に取り組んできました。これは、「最新かつ最高」であると主張する多数のツールの導入によって作成されたノイズをかき消し、非テクノロジー企業が迅速にレベルアップできるようにすることを目的としています。 . AI Infrastructure Alliance 、機械学習用の正規スタックの  MDS の定義は、データ製品、アプリ、およびその他の要素を含むように拡張されています。これにより、MDS がフルスタックになります。ターゲット ユーザー (データ サイエンティストとアナリストなど)、スキルの可用性、結果実現までの時間に基づいて領域を分割する とサービスが登場しています。 新しい製品  MDS ユーザー ベースは、分析チームとビジネス ユーザーを含むように拡大しています。これにより、ユーザー エクスペリエンスが向上し、ローコード インターフェイスと自動化が実現します。 そして最後に、基本的に MDS と MLOps スタックの脱構築である「 」などのアプローチの出現が見られます。これらのアプローチは、ビジネスとの関連性だけでなく、ビジネス価値を生み出すために生成されたフィーチャのダウンストリーム消費を強調します。 ポスト モダン スタック な これが意味すること ツールとプラットフォームの統合、よりシンプルなプラットフォーム開発、およびマネージド サービスの使用は、業界全体で起こっています。これは、企業が複雑さに対処する必要があることに起因しています。この空間の一部であることはエキサイティングな時期であり、1 年の間に景観がどのように進化するかを見るのが待ちきれません.  Scribble Data (私が共同設立した会社) では、この進化が起こっていることを痛感しています。私たちは、高度な分析とデータ サイエンスのユース ケースのための機能エンジニアリングという特定の問題に焦点を当てています。この問題空間は、重要性の点で着実に成長し、上記の点と一致する方法で進化してきました。適切なテクノロジー ミックスとソリューション フォーカスにより、ユース ケースごとに 5 倍のタイム トゥ バリュー (TTV) を達成しながら、製品の価値をユース ケースに合わせることができます。 にも掲載 こちら

Stacks

Community Is

Dell

Google

Netflix

Oracle

Target

Uber

YouTube

2022 - Data Science Demon

2022 - HackerNoon Contributor of the Year - Big Data

2022 - HackerNoon Contributor of the Year - Data Privacy

Nominated for 2022 - HackerNoon Contributor of the Year - Big Data

Nominated for 2022 - HackerNoon Contributor of the Year - Data Privacy

Nominated for 2022 - Data Science Demon

このオーディオは、ストーリーの元の言語で制作されています。

長すぎる; 読むには

増大するデータ インフラストラクチャの複雑さ: コストへの影響と今後の展望

増大するデータインフラストラクチャの複雑さ: コストへの影響と今後の展望

About Author

コメント

ラベル

この記事は

Related Stories

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

フロキのヴァルハラがインドのスリランカツアーのアソシエイトスポンサーに加わる