エネルギーネットワーク、工業施設、または物流コントロールルームを考えると、毎秒が重要な場所では、データは動きを止めることはありませんが、洞察力とは異なる話です。Messy ETLパイプライン、散らばったデータフォーマット、そして遅いオーケストラは、実際のアナリティクスを手に入れる時点で、実際のアクションウィンドウはすでになくなっていることを意味します。 Python、SQL、PySpark、Airflow、Terraform、およびトップレベルのデータ倉庫ツールで鋭いスキルを身に付けたPurvaは、データを紛らわすだけでなく、生態系を構築します。彼女は散らばった混乱した入力を、リアルなアクションに備えた固体プラットフォームに変換します。彼女のプレーブックは?彼女はデータの観測性、パイプラインのアイデンパワー、および緊密なメタデータラインを前面と中心に置いており、チームは数字を信頼し、迅速に行動することができます。 彼女は、ログからテレメトリー、およびドキュメントベースの資産まですべてを処理するために構築された分散分析プラットフォームの改修を率いる。彼女はそれをパッチアップするだけでなく、並行処理に調整されたAirflow DAGsをリリースし、自動化されたデータスケジュールのチェックでレイアウトしました。報酬は巨大でした:エンド-to-エンドデータの遅延が60%以上減少しました。しかし、それは単なるスピードではありませんでした。新しい役割ベースのアクセス制御とダイナミックなメタデータタグ化により、半テラバイト以上のオペレーティングデータは、地域に関係なく、即座に検索可能で監査可能になりました。500人以上のエンジニアとフィールドユーザーは、突然、彼らが必要とするものを手 Purvaのリーダーシップは単なるパイプラインをはるかに超えています。彼女はシステム信頼性エンジニアリングにも深く関わっています。分散制御ソフトウェアから10万以上のテストレコードを掘り下げている間、彼女は無監督の学習を使用して欠陥クラスタリングモデルを構築しました。それは繰り返しの失敗をゼロにし、品質保証を強化するのに役立ちました。結果は?リリース後の欠陥は30%減少しました。そしてすべてはJenkinsと直接CI/CDパイプラインに接続され、各ビルドは自動回帰テストの新しいラウンドを得ました。 顔認識とコンピュータビジョンにおける彼女の仕事は、実用的なイノベーションのための同じドライブを示しています。GPUメモリがほとんどないハードウェアで、彼女は、適応型機能抽出、PCA、Kメインクラスターを組み合わせた複数の段階の顔認識システムを組み合わせました。 彼女は、加速計とエッジ処理を使用して、IoTベースの占領検出モデルを構築し、95%の検出精度を達成しました。 Even during her time at the University of Houston, Texas, Purva was already thinking a step ahead.  彼女のアプローチの中心は、単純なアイデアです:データを再生可能にし、ユーザーの手にパワーを置くこと。彼女が触れるすべてのプラットフォームは、自動ソースからターゲットへの検証、厳格なデータ契約、APIの最初の設計を受け、ダウンストリームチームが迅速に接続できるようにします。 彼女の同僚は彼女を尊敬するだけでなく、彼女の仕事を「意図的な建築」と表現します。システムのアーキテクターが言ったように、「彼女のパイプラインは機能的なだけでなく、観測可能なために作られています。 Purvaのキャリア全体は、脆弱で混沌としたデータ環境を安定した、スケーラブルなシステムに変えるための長いパターンです。彼女は、連邦化されたデータ層、クラスターキーとマイクロパーティシングで調節されたSnowflakeパフォーマンス、そしてTerraformで自動化されたクラウドインフラストラクチャを設計しています。 彼女に何が最も重要かを尋ねて、彼女は躊躇しない。 「データエンジニアリングはパイプラインに関するものではなく、信頼に関するものであり、我々が構築するシステムは、あらゆるアナリスト、データサイエンティスト、および利害関係者に対し、あらゆる規模で彼らに支えられる決定を下すことを可能にすべきである。

This story contains new, firsthand information uncovered by the writer.

このオーディオは、ストーリーの元の言語で制作されています。

From Chaos to Clarity: The Engineering Mindset Behind Purva Desaiのデータプラットフォーム

About Author

コメント

ラベル

この記事は

Related Stories

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

ユニークなエコシステムを支えるビットコインUTXOのモデル

目に見えない層: ユーザーインタビューがかけがえのない資産である理由

AI の力を解き放つ。最先端技術の体系的レビュー: 概要と序論

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

ユニークなエコシステムを支えるビットコインUTXOのモデル

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps