在每秒都很重要的地方 - 比如能源电网、工业厂房或物流控制室 - 数据永远不会停止移动,但洞察力? 这是另一个故事。 混乱的ETL管道,散布的数据格式和缓慢的管制往往意味着,当你真正获得分析时,行动的真正窗口已经消失了。 凭借Python,SQL,PySpark,Airflow,Terraform和顶级数据仓库工具的尖锐技能,Purva不仅仅是对数据进行争论,而且还建立了生态系统。她将分散的、混乱的输入转化为实时行动的固体平台。 她领导了一个分布式分析平台的翻新,用于处理从日志到远程测量和基于文档的资产的一切。她不仅修补了它,还重新构建了它,并在自动化检查中部署了兼并处理的Airflow DAG,并在自动化检查中层次化了不断变化的数据方案。收益是巨大的:端到端数据延迟减少了60%以上,但不仅仅是速度。随着新的基于角色的访问控制和动态元数据标签,超过一半的运营数据在任何地区都可以立即搜索和审核。 Purva 的领导力远远超出了管道。她在系统可靠性工程方面也非常深入。在从分布式控制软件中挖掘超过 100,000 个测试记录的同时,她使用无监督学习构建了一个故障集群模型。它减少了反复故障,并有助于加强质量保证。结果?发布后缺陷下降了 30%;所有这些都与 Jenkins 直接连接到 CI/CD 管道中,因此每个构建都获得了新一轮自动回归测试。 她在面部识别和计算机视觉领域的工作显示了实用创新的同一动力. 由于硬件几乎没有足够的GPU内存,她组建了一个多阶段的面部识别系统 - 结合适应性功能提取,PCA和K手段集群。 她使用加速计和边缘处理构建了基于物联网的占用检测模型,获得了95%的检测准确度。 Even during her time at the University of Houston, Texas, Purva was already thinking a step ahead.  她的方法的核心是一个简单的想法:使数据可重复并将电力放在用户手中。她触摸的每个平台都获得自动源到目标验证,严格的数据合同和API-first设计,以便下游团队能够快速插入。 她的同龄人不仅尊重她,他们将她的工作描述为“有意的架构” 正如一个系统架构师所说:“她的管道不仅功能,而且是为了可观察性而建造的。 Purva 的整个职业生涯是将脆弱、混乱的数据环境转化为稳定、可扩展的系统的一个漫长的模式,她设计了联邦化数据层,调整了 Snowflake 性能,使用集群密钥和微分区,以及使用 Terraform 自动化云基础设施。 问她最重要的是什么,她毫不犹豫: “数据工程不是关于管道的,而是关于信任的,我们构建的系统应该使每个分析师,数据科学家和利益相关者能够做出任何规模的决策。

This story contains new, firsthand information uncovered by the writer.

該音頻是用故事的原始語言製作的！

从混乱到清晰:Purva Desai数据平台背后的工程思维

About Author

註釋

標籤

这篇文章刊登在

Related Stories

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

架构师指南：构建 AI/ML 数据湖参考架构

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

想赢得 HackerNoon 写作比赛吗？以下是 #crypto-api 比赛获奖者的推荐

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

架构师指南：构建 AI/ML 数据湖参考架构

释放人工智能的力量。前沿技术的系统评价：摘要与介绍

想赢得 HackerNoon 写作比赛吗？以下是 #crypto-api 比赛获奖者的推荐

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps