私が最初にデータのキャリアを始めたとき、誰もがデータサイエンティストでした。時間の経過とともに、私たちは差別化し始めた──あなたはデータパイプラインを構築したり、モデルの構築や訓練に焦点を当てたりしましたか? あなたは中断中のペイジャーの任務に就いていた人ですか? それとも、取締役会に出席する時だけに電話をかけていましたか? あなたはデータサイエンティストですか? それとも実際にデータエンジニアですか? 数年が経ち、また別の部門が現れました。あなたはデータエンジニアか分析エンジニアでしたか? あなたはデータパイプラインの維持と最適化に焦点を当てていますか? それともパイプラインの作業は単に終わりに至るための手段であり、ビジネスインテリジェンスダッシュボードにつながりますか? そして今、それは再び起こっています。私たちは、私たちの役割をさらに改良する必要があると伝えられています。私たちは自動化、パフォーマンス、データの品質に焦点を当てていますか? もしそうなら、おめでとうございます―あなたは現在DataOpsエンジニアです。 データを通じてビジネス価値を提供することは常に私たちの仕事の本質でした。自動化は新しい概念ではありません。それは常にデータエンジニアリングの心と魂でした。 したがって、私たちが今、すべてDataOpsエンジニアであるならば、本当の疑問は、私たちはどのようにしてそれで素晴らしいようになるのでしょうか。 DataOpsとは? DataOps は、AI から自動化に至るまで、ビジネスにおけるすべてのイノベーションを駆動し、DataOps は、最終的にデータセンターの正しい位置と中心を求めています。 これは、ソフトウェアエンジニアリングの原則をデータの開発、配信、管理に適用することによって行われます. たとえば、自動的なパフォーマンステストとコードとしてのインフラストラクチャ(IaC)を活用することで、組織はさらにデータ操作を最小限の遅延でビジネス要件を満たすために最適化することができます。 One Possible Bottleneck: Storage That Lags Behind オリジナルタイトル ストレージは他のすべてのものに基づく基盤です。それはあなたのエンジンを供給する燃料であり、あなたのデータパイプラインが処理する原料です。あなたのストレージソリューションがあなたのエンジンの要件に従うことができない場合、あなたはパフォーマンスのボトルネックを経験するでしょう。それは以前述べられていますが、それは繰り返す価値があります:遅いクエリがAIイニシアチブを殺す このボトルネックは、DataOpsチームにとって共通の課題です。我々は高度な分析エンジンに大いに投資し、コードを調整するのに何時間も費やしますが、パフォーマンスを考えると、時にはストレージ層を無視します。我々は、最も最適化されたエンジンでさえ奇跡を起こすことができないことを忘れてしまいます。 DataOps for Excellerating Your Data Initiatives(データオプション) DataOps は、あなたの CV をジャズアップする以上のことを行うことができます; それはまた、あなたの AI プランを加速することができます: 高速オブジェクトストレージは、高帯域幅と低遅延で、さまざまなソース(データベース、ストリーミングプラットフォーム、IoTデバイス)からのデータの吸収を大幅に加速させます。 Faster Data Movement: オブジェクトストレージは、データレイクハウスを構築するのに最適なオプションです。従来のストレージシステムとは異なり、オブジェクトストレージは、オブジェクトストレージがオープンテーブルフォーマットと並んでいるときは、パフォーマンスを損なうことなく、組織が膨大な量の構造化および非構造化データをストレージすることができます。 で、 そして、 強力なコンピューティングエンジンと共に、レイクハウスのアーキテクチャは、スケジュールの進化、タイムトラベル、およびACIDトランザクションなどの不可欠な機能を提供します。 Best Choice for Data Lakehouses:  Apache Icebergについて Delta 湖 ハディ データ転送時間を最小限に抑えることで、高速なオブジェクトストレージはより高速なデータ処理を可能にします. This is critical for AI workloads that involve iterative training and model refinement, where every second saved translates to faster results and faster model development cycles. データ転送時間を最小限に抑えると、毎秒保存すると、より高速な結果とモデル開発サイクルが可能になります。 Reduced Processing Time: スケーラブルなオブジェクトストレージソリューションにより、AIチームはパフォーマンスを損なうことなく増大するデータ量をシームレスに扱うことができ、データパイプラインがデータ需要が増加するにつれて効率的であることを保証します。 Enhanced Scalability: 速度とパフォーマンスの最適化 あなたのストレージインフラストラクチャがスピードとパフォーマンスに最適化されていることを確認するにはどうすればよいですか?以下はいくつかの重要な戦略です。 すべてのストレージソリューションが平等に作成されるわけではありません。高性能オブジェクトストレージのみが、AIおよびその他のデータ密集したワークロードによってそれに課せられる要求を満たすことができます。 Choosing the Right Storage Solution: DataOps Practices Like Data(データのような実践) これは、あなたのホットデータのための貴重なストレージスペースを解放し、分析エンジンが最も頻繁にアクセスする必要があるデータです。 これは、パフォーマンスとコストの節約の両方を最適化するのに役立ちます。 Leveraging Data Lifecycle Management: ライフサイクル管理 ティアリング ライフサイクル管理 ティアリング ストレージのパフォーマンスを継続的にモニタリングし、バッテリーの障害を特定します。ストレージの問題を積極的に解決することで、データパイプラインがスムーズに動作し、分析エンジンがすべてのシリンダーで点火することを保証できます。 Monitoring and Optimization: スマートを選ぶ 高パフォーマンスのインフラストラクチャを選択することで、データパイプラインはあなたがそれらを必要とするときに必要な洞察を提供します。覚えておいてください、正しく実行されたDataOps戦略は、摩擦を取り除き、スピードのために最適化することです。そして成功への旅は、仕事のための適切なストレージソリューションを選択することから始まります。 エンジニアがデータストレージを管理するのに優れているように設計されています. You can request more information on these programs. . トレーニングと認証 ここ トレーニングと認証 ここ 何らかの質問で私たちに届けましょう Slackチャンネルにて こんにちは@min.io こんにちは@min.io

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

Developers do. Download MinIO and see for yourself. 

MinIO

このオーディオは、ストーリーの元の言語で制作されています。

なぜDataOpsはすべての人の仕事になりつつあるのか - そしてそれを優先する方法

About Author

コメント

ラベル

この記事は

Related Stories

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

暗号通貨の成長: 効果的なユーザーペルソナの作成

ユニークなエコシステムを支えるビットコインUTXOのモデル

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

クラウド移行を成功させるための完全ガイド: 戦略とベストプラクティス

暗号通貨の成長: 効果的なユーザーペルソナの作成

ユニークなエコシステムを支えるビットコインUTXOのモデル

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps