En lugares onde cada segundo conta - pensemos en redes de enerxía, plantas industriais ou salas de control de loxística - os datos nunca deixan de moverse. Pero a visión é outra historia. Pipelines ETL mesías, formatos de datos dispersos e orquestración lenta adoitan significar que cando realmente obtés a análise, a verdadeira ventá para a acción xa desapareceu. Armada con habilidades afiadas en Python, SQL, PySpark, Airflow, Terraform e ferramentas de almacenamento de datos de última xeración, Purva non só disputa datos, senón que constrúe ecosistemas. Transforma entradas dispersas e confusas en plataformas sólidas listas para a acción do mundo real. Tomou un dos seus proxectos destacados. Liderou a revisión dunha plataforma de análise distribuída construída para xestionar todo, desde rexistros ata telemetría e activos baseados en documentos. Non só o patchou, senón que o reconstruíu, lanzando DAGs de Airflow axustados para procesamento paralelo e estratificación en comprobacións automatizadas para esquemas de datos en evolución. A recompensa foi enorme: a latencia de datos de fin a fin caeu en máis de 60%. Pero non era só sobre velocidade. Con novos controles de acceso baseados en funcións e etiquetado dinámico de metadatos, máis de medio terabyte de datos operativos convertéronse instantaneamente en buscables e audibles, independentemente da rexión. Máis de 500 enxeñeiros e usuarios de campo de súpeto tiveron o que precisaban ao O liderado de Purva vai moito máis aló das pipelines. Ela tamén ten unha profunda experiencia en enxeñaría de fiabilidade do sistema. Mentres exploraba máis de 100.000 rexistros de probas de software de control distribuído, construíu un modelo de agrupación de defectos usando aprendizaxe non supervisada. Cerouse en fallos recorrentes e axudou a reforzar a garantía de calidade. O resultado? os defectos post-lanzamento caeron en 30%. E todo se conectou directamente á pipeline CI / CD con Jenkins, de xeito que cada construción recibiu unha nova rolda de probas de regresión automatizada. Menos defectos, menos tempo de inactividade e aforros serios para operacións críticas. O seu traballo en recoñecemento de rostros e visión por ordenador mostra o mesmo impulso para a innovación práctica.Con hardware que apenas tiña suficiente memoria de GPU para pasar por ela, montou un sistema de recoñecemento de rostros en varias etapas, combinando a extracción de recursos adaptativos, PCA e clustering de K-means. Atopou unha precisión do 93% pero a unha fracción do custo computacional habitual. Construíu un modelo de detección de ocupación baseado en IoT usando acelerómetros e procesamento de bordo, alcanzando unha precisión de detección de 95%. Que o traballo inicial na fusión de sensores e inferencia de bordos? Even during her time at the University of Houston, Texas, Purva was already thinking a step ahead.  No centro do seu enfoque está unha idea sinxela: facer que os datos sexan reproducibles e poñer a enerxía nas mans dos usuarios. Cada plataforma que toca recibe validación automatizada de orixe a destino, contratos de datos estritos e deseño de API para que os equipos de baixo nivel poidan conectarse rapidamente.Usa Docker e Kubernetes para containerizar tuberías, asegurándose de que o que funciona no desenvolvemento funciona tan ben na produción. Os seus compañeiros non só a respectan - describen o seu traballo como "arquitectura con intención".Como un arquitecto de sistemas dixo, "Os seus gasodutos non son só funcionais - están construídos para a observación. Cada DAG, cada API, cada rexistro conta unha historia sobre a saúde do sistema. Toda a carreira de Purva é un longo patrón de converter ambientes de datos fráxiles e caóticos en sistemas estables e escalables.Deseñou capas de datos federadas, o rendemento de Snowflake axustado con chaves de agrupación e micro-partición, e a infraestrutura de nube automatizada con Terraform.Onde queira que vaia, atopa formas de aumentar a eficiencia e facer que a análise sexa máis fácil, xusto na encrucillada de nube e datos. Pregúntalle que é o máis importante, e non dubida: Os sistemas que construímos deben capacitar a cada analista, científico de datos e partes interesadas para tomar decisións que poden soportar, a calquera escala.

This story contains new, firsthand information uncovered by the writer.

Este audio está producido na lingua orixinal da historia!

Do caos á claridade: a mentalidade de enxeñaría detrás das plataformas de datos de Purva Desai

About Author

COMENTARIOS

Etiquetas colgantes

ESTE ARTIGO FOI PRESENTADO EN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Web3 Community!

HackerNoon Decoded 2024: Celebrating Our Science Community!

Coñece R Systems: HackerNoon empresa da semana

HackerNoon Decoded 2024: Celebrating Our Tech Companies Community!

HackerNoon Decoded 2024: Celebrating Our Web3 Community!

HackerNoon Decoded 2024: Celebrating Our Science Community!

Coñece R Systems: HackerNoon empresa da semana

HackerNoon Decoded 2024: Celebrating Our Tech Companies Community!

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps