過去数年間にわたり、大企業内のデータチームと協力してきた中で、彼らが「DataOps」を試みて失敗したことを教えてくれた多くのデータリーダーに会いました。 パターンは通常同じです。彼らは標準を書き、いくつかのテストを追加し、観測ツールを立ち上げます。プロセスは文書化されます。リリースチェックリストが作成されます。 そしてその後、バックロッグが積み重ね、例外が倍増し、チームはすべてを記憶と長時間で一緒に保つ必要があります。 DataOps は健全な哲学ですが、その哲学だけではチームの仕事をスケールすることはありません DataOps は、その原則がシステムによって実行され、人間の努力に依存していません。 DataOpsがデータのための大胆な新しいオペレーティングモデルを提供 DataOpsは単純な前提に基づいて構築されています:データを製品として扱い、データ配信をソフトウェア配信として扱います。 実際には、DataOpsは、ソフトウェアチームが苦労して学んだことから直接得ている。 手動リリースではなく自動構築と展開 テストはデフォルトであり、英雄的な努力ではない。 生産における観測性ではなく、死後の考古学 Controls baked into delivery, not bolted on after the fact. コントロールは、事実の後にボルトされていません。 組織が閉じこもる場所は、システムが成長し変化するにつれてプロセスを継続することです。 Where DataOps Breaks Down in Practice(DataOpsが実践で崩壊する場所) DataOpsと闘うほとんどの組織は、データチームが維持するための野心的なベストプラクティスとしてその原則を扱うため、失敗します。 いくつかの共通のパターンが現れます: 準拠なしの基準 チームは、締め切りが到達するまで、条約、文書要求事項、およびリリース手続きの命名について合意します。 テストはカバーなしで、いくつかの重要なパイプラインがテストを受け、残りは「私たちはそれに戻ります」と受け取ります。 ダッシュボードは存在し、火災を警告しますが、それらを監視し、それに反応する十分な能力はありませんので、チームはまだ怒った下流ユーザーから失敗について聞いています。 ループタイムコントロールなしの統治 ポリシーは書かれているが、執行は、人々がそれを適用することを覚えていることに依存する。 これは怠惰ではありません。データチームはこれまで以上に努力していますが、手動プロセスは作業量を増やすことで、パイプライン、チーム、依存性が拡大するにつれてその努力を維持することは難しくなります。 自動化はDataOpsの規律を強化する 人々が「自動化」を聞くとき、彼らはしばしば文書を生成する仕事、パイプラインをスカウトする助手、またはチケットを作成するマクロを想像する。 オペレーション・オートメーションは、デフォルトの行動として、信頼性の高いシステムを構築、テスト、デプロイ、観察、および制御することによって、方程式を変更します。 DataOps オートメーションは、規律を執行可能にする機能のセットです。 実践的には、こんな感じです: 1) ファーストクラスのワークフローとしてのデータ製品配信 パイプラインを一括プロジェクトとして扱うのではなく、バージョン化、ドキュメンタリー化、所有、および環境を通じて促進される、耐久性の高い、再利用可能な配達物としてパッケージ化します。 2) データ変更のための自動 CI/CD スケジュールの更新、トランスフォーメーションの論理、依存性の更新、インフラストラクチャの変更は、毎回再発明することなく、一貫したリリースパスを通過します。 3)行動に結びつく継続的な観察 単に「見ることができるか?」ではなく、「それがいつ変わるか、そして悪いデータの配送を止めるゲートを持っているか?」 4)ランタイムにおける統治の執行 ポリシーはコントロールとなり、品質ゲート、ポリシーゲート、監査トラック、コンプライアンスチェックは毎日自動的に実行されます。 自動化がデータチームの仕事をどのように変えるか 自動化のキニカルな考え方は、人間をボトルネックとして扱っていることだ。 ほとんどのデータオルグでは、本当のボトルネックは、才能ある人々が貴重な時間を未熟な仕事に費やしているということです:リターン、消防、バックフィールド、手動の検証、リリース調整、ポリシーチェックリスト。 これらのタスクが自動化されると、データチームは、データ製品の設計、ビジネスモデリング、信頼性の向上、複雑さを減らすなどのビジネスを実際に動かす作業により多くの時間を費やすことができます。 DataOps Was Always About Operations - So Operationalize It (DataOpsは常に操作についてでした。 最初から、DataOpsは規律、繰り返し性、そしてデータ配信への信頼をもたらすことを目的としていました - 完璧な世界の理論ではなく、実行の現実として。 自動化は、データオプションを一連の原則から、システムが毎日実施する定義されたプロセスに変え、基準が圧力に耐え、ガバナンスが変化に追いつき、信頼が期待するよりも測定できるものになることを保証します。 チームがあなたのデータに依存してAIを構築し実行するとき、データがどのように振る舞うかについて曖昧さの余地はありません。 それは常にDataOpsの約束であり、自動化はそれを現実にするための鍵です。 この記事は、HackerNoonのビジネスブログプログラムに掲載されました。 この記事は、HackerNoonのビジネスブログプログラムに掲載されました。 この記事はHackerNoonの記事に掲載されました。 . Business Blogging Program ビジネスブログプログラム ビジネスブログプログラム
