あなたのコンピュータが故障し、あなたの携帯電話が凍結し、あなたのNetflixが動作を停止します。それはかなり失望します。今、あなたのデータシステム全体が故障しているビジネスを運営することを想像してください。 企業は、システムが故障したときに重大な現金を失う。 大企業は、物事が壊れるときに1時間あたり30万ドルを失うことがあります。ある企業はさらに損失を失います。それは誰かがそれを消すまで燃え続けるお金の火のようなものです。 Gartnerによると、ITのダウンタイムの平均コストは1分あたり5600ドルです。 これは、企業がデータベースを変更する必要があるときにさらに悪化します。あなたがまだそこに住んでいる間に家を改装するのと同じように考えてください。ほとんどの場合、あなたは最初に移動しなければなりません。 狂ったお金が消えてしまう。 最近の統計によると、組織の44%が今や1時間のダウンタイムコストを100万ドル以上と見積もっている。 Kumar Sai Sankar Javvaji は毎日この悪夢に直面していました. 彼はデータエンジニアとして大規模なオンライン小売業者に雇われました. 彼は膨大な量のクライアントデータのシームレスな流れを維持する責任を持っていました. しかし、そのデータがどのように組織されているかを更新する必要があるたびに、すべてが止まらなければならなかった。 ブレークポイントは、通常のアップデートだったはずの時でした。会社は顧客情報の保存方法を変更して新しい機能を追加したかった。彼らのシステムは何時間もシャットダウンせずに変更を処理できませんでした。顧客はショッピングできませんでした。 働くものを作る 彼はこの混乱にうんざりしました。彼は座って、まったく異なる何かを構築しました。彼の新しいシステムはデータベースの変更に対処し、何も閉じることなくできます。もう緊急会議はありません。 彼のソリューションには、3つの部分があり、それらは共に動作した。第一に、新しい構造を作成しながら古いデータを保存する自動テーブルバージョニング。第二に、複数のプロセスの歴史情報を同時にコピーするスマートパラレルバックフィーリング。第三に、新しいバージョンと古いバージョンが並んで動作するようにするロールアップデート。 開発者がデータベース構造を変更する必要があったとき、彼のシステムは自動的に現在のバージョンを保存し、スナップショットを撮るようにします。その後、古いバージョンと共に新しいバージョンを作成します。 テクニカルセットアップでは、Delta Lakeのトランザクション機能と自ら書いたカスタムスケジュールソフトウェアを使用しました。システムはデータベースの変更をリアルタイムで監視し、完全な履歴を保持し、何も失われなかったため、異なるバージョンが平和的に共存させました。複数の処理エンジンは同時に異なるセクションにデータをコピーし、すべてをスムーズに動作させました。彼のフレームワークはすべてを自動的に管理しました。開発者がスケジュールの変更を展開したとき、システムは影響を受けたデータ構造を発見し、新しいバージョンを作成し、並行して歴史データをコピーし始めました。すべての接続されたシステムとデータパイプラインはシームレスに更新されました。すべては全体 システムは、通常、失敗を引き起こす複雑なエッジケースを巧妙に管理し、データベースの矛盾する変更に対処し、データ型の不一致を解決し、異なるテーブルバージョンの間の接続を維持しました。 すべてをシャットダウンする代わりに、新しいデータベースバージョンは古いバージョンと共に動作することができた。新しいデータは更新された構造を通して流れ、古い歴史的なデータの検索は正常に動作し続けた。 すべてがより良いものに変わる 彼のシステムはすべてのソフトウェアリリースに不可欠となりました。エンジニアリングチームは、複雑なメンテナンスウィンドウを計画したり、物事を壊すことを心配することなく、データベース構造を迅速に変更することができます。 慎重な連携の時間を要する課題は、現在自動的に起こります。現在のシステムを維持する代わりに、新しい機能を作成するためのエンジニアリングの時間を自由にしました。 会社のリーダーシップは、彼の仕事がどれほど大きな取引であるかを認識し始め、組織全体の他のデータプロジェクトに影響を与え始めました。 「伝統的なシステムは、スケジュールの変更を緊急事態のように扱う」とKumar Sai Sankar Javvaji氏は説明します。「すべてが止まり、チームは手動でプロセスを更新し、ビジネスオペレーションはシステムをオンラインに戻すために我々がレースしている間に苦しみます。 他のエンジニアリングチームは彼の成功に注目し始めました。彼のデザインアイデアは、複数のプロジェクトでデータアーキテクチャの決定に影響を与え始めました。生産環境におけるデータベースの変更に対処するための新しい基準が現れました。 データベース管理者は、彼のシステムが日々の作業をどのように変えたかを好みました。以前は、データベースの変更は、慎重な計画、長いメンテナンスウィンドウ、およびデータが正しく維持されていることを確認するための継続的なモニタリングを必要としていました。 もっと大きな画像 彼の仕事は、組織がデータシステムについて考える方法の大きな変化を示しています。古代のデータエンジニアリングは、慎重な計画と手作業を通じて変化を乗り越えることができるシステムを構築することに焦点を当てています。 彼のシステムは、それらを制限するのではなく、ビジネスのニーズに適応するプロアクティブなインフラストラクチャへの進化を表しています. This matches broader industry trends towards zero downtime deployment strategies and continuous integration practices that have transformed software development. データ量が伸び続け、ビジネス要件が急速に変化するにつれて、データインフラが真に適応性の高い未来に向かうためのソリューションとして、テクノロジーは、慎重な設計と自動化されたプロセスによって、データチームは、動作の頭痛ではなく革新の燃料として変化を採用するシステムを構築することができることを示しています。 彼の影響は、直ちに技術的実装を超えました。組織の他のチームは、インフラの問題に対処し、反応的な消防ではなく、積極的な自動化の文化を育成し始めました。 現在、彼のシステムは企業が行うすべてのソフトウェアアップデートの一部となっています。チームは物事を壊すことを心配することなく自信を持って変更を推し進めることができます。 「このシステムは、データパイプラインのメンテナンスについて考える方法を変えました」とKumar Sai Sankar Javvaji氏は反省します。「スケジュールの変化を恐れる代わりに、チームはビジネス価値を推進する機能を構築することに焦点を当てることができます。 同じような頭痛を抱えている他のデータエンジニアは、彼が作ったものから学ぶことができます。彼の手法は、データベースの変更を迫る災害として見るのではなく、それらを容易に管理するシステムを作成することができます。 Kumar Sai Sankar Javvajiの仕事は何か重要なことを証明しています:最高の革新は、実際に重要な実際の問題を修正することから来ています。

This story contains new, firsthand information uncovered by the writer.

このオーディオは、ストーリーの元の言語で制作されています。

テクノロジーの最も高価な問題の1つを修正した男

About Author

コメント

ラベル

この記事は

Related Stories

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

タップして稼ぐ：テレグラムはソラナより先に次の100億人の暗号通貨ユーザーを獲得する可能性がある

HackerNoon ライティングコンテストで優勝したいですか? #crypto-api コンテスト優勝者のおすすめはこちら

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps