Dans les endroits où chaque seconde compte – pensez aux réseaux énergétiques, aux usines industrielles ou aux salles de contrôle de la logistique – les données ne s’arrêtent jamais de bouger. Mais la compréhension? C’est une autre histoire. Les pipelines ETL, les formats de données dispersés et l’orchestration lente signifient souvent qu’au moment où vous obtenez réellement l’analyse, la véritable fenêtre d’action est déjà passée. Armée de compétences puissantes en Python, SQL, PySpark, Airflow, Terraform et outils de stockage de données de haut niveau, Purva ne se contente pas de déchirer les données, elle construit des écosystèmes. Elle transforme les entrées dispersées et gênantes en plates-formes solides prêtes à l'action dans le monde réel. Elle a mené la révision d'une plate-forme d'analyse distribuée construite pour gérer tout, des journaux à la télémétrie et des actifs fondés sur des documents. Elle n'a pas simplement mis en place un patch-up, elle l'a reconstruit, en déployant des DAG Airflow ajustés pour le traitement parallèle et la couverture dans des contrôles automatisés pour les schémas de données en évolution. Le bénéfice était énorme: la latence des données de bout en bout a chuté de plus de 60%. Mais ce n'était pas seulement une question de vitesse. Avec le nouveau contrôle d'accès basé sur des rôles et le tagage dynamique des métadonnées, plus d'un demi-terabyte de données opérationnelles est devenu instantanément recherchable Le leadership de Purva va bien au-delà des pipelines. Elle est aussi profonde dans l'ingénierie de la fiabilité des systèmes. Tout en creusant plus de 100 000 dossiers de test provenant du logiciel de contrôle distribué, elle a construit un modèle de clustering de défauts en utilisant l'apprentissage non supervisé. Il a réduit les défauts récurrents et a contribué à renforcer l'assurance qualité. Le résultat? Les défauts post-release ont diminué de 30%. Et tout s'est connecté directement au pipeline CI/CD avec Jenkins, de sorte que chaque construction a reçu un nouveau cycle de tests de régression automatisés. Moins de défauts, moins de temps d'arrêt et des économies sérieuses pour Son travail sur la reconnaissance faciale et la vision informatique montre la même motivation pour l'innovation pratique. Avec le matériel qui avait à peine assez de mémoire GPU pour passer, elle a mis en place un système de reconnaissance faciale en plusieurs étapes - combinant l'extraction de fonctionnalités adaptées, le PCA et le cluster de moyens K. Il a atteint une précision de 93%, mais à une fraction du coût informatique habituel. Elle a construit un modèle de détection d'occupation basé sur l'IoT à l'aide d'accéléromètres et de traitement de bord, atteignant une précision de détection de 95%. Even during her time at the University of Houston, Texas, Purva was already thinking a step ahead.  Au cœur de son approche se trouve une idée simple : rendre les données reproductibles et mettre l’énergie dans les mains des utilisateurs. Chaque plate-forme qu’elle touche reçoit une validation source-à-cible automatisée, des contrats de données stricts et une conception API-first afin que les équipes en aval puissent se connecter rapidement. Elle utilise Docker et Kubernetes pour containeriser les pipelines, assurant que ce qui fonctionne dans le développement fonctionne aussi bien dans la production. Ses pairs ne la respectent pas seulement - ils décrivent son travail comme "architecture avec intention".Comme l'a dit un architecte de systèmes, "ses pipelines ne sont pas seulement fonctionnelles - elles sont construites pour l'observation. Toute la carrière de Purva est un long modèle de transformation d'environnements de données fragiles et chaotiques en systèmes stables et évolutifs.Elle a conçu des couches de données fédérées, des performances de Snowflake ajustées avec des clés de cluster et de micro-partitionnement, et une infrastructure cloud automatisée avec Terraform.Où qu'elle se trouve, elle trouve des moyens d'accroître l'efficacité et de rendre l'analyse plus facile, juste à la croisée du cloud et des données. Demandez-lui ce qui est le plus important, et elle n’hésite pas : « L’ingénierie des données ne concerne pas les pipelines, mais la confiance.Les systèmes que nous construisons devraient permettre à chaque analyste, scientifique des données et partie prenante de prendre des décisions qu’ils peuvent supporter, à n’importe quelle échelle.

This story contains new, firsthand information uncovered by the writer.

Cet audio est produit dans la langue originale de l'histoire !

Du Chaos à la clarté : la mentalité d’ingénierie derrière les plateformes de données de Purva Desai

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Boostez votre productivité avec ces 18 outils de développement 🚀🔥

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Boostez votre productivité avec ces 18 outils de développement 🚀🔥

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps