No cenário evolutivo da tecnologia, a integração de tubulações de dados em tempo real e computação de borda está reformulando a forma como as lojas de tijolo e mortar operam. Durante o seu mandato na Grocery Outlet, Hanumanthaiah desempenhou um papel importante na gestão do canal de dados de vendas em tempo real, passando das lojas para o armazém de dados na nuvem - AWS Redshift. Ele também contribuiu para o projeto de transformação digital que migrou os dados da AWS Redshift para o Google BigQuery Lakehouse. Além disso, um aspecto significativo do trabalho e transformação digital de Hanumanthaiah envolveu a integração de sistemas SAP na nova arquitetura de dados. Ele meticulosamente mapeou dados do SAP HANA para mais de 300 tabelas de armazém de dados, garantindo que a transição de sistemas legados como AS400 para sistemas baseados em SAP não perturbou o fluxo de informações críticas de negócios. Uma das realizações notáveis neste processo foi o desenvolvimento de um framework ELT (Extract, Load, Transform) adaptado para a migração de armazém de dados. Este framework facilitou o gerenciamento eficiente de Change Data Capture (CDC) da SAP, um método essencial para a replicação de dados em tempo real. Ao otimizar o processo CDC, Hanumanthaiah alcançou uma economia de custos substancial de US $ 10.000 na cobrança do Google BigQuery. Isto foi conseguido redesenhando como os dados CDC eram processados, reduzindo as varreduras de dados desnecessárias e melhorando o desempenho da consulta. Além de poupar custos, Hanumanthaiah abordou os desafios colocados pelo modelo de dados SAP HANA altamente normalizado. Perguntas de cálculo de processos complexos eram propensas a timeouts na camada de middleware, afetando o desempenho de aplicações críticas. Através de esforços persistentes de otimização, ele melhorou o desempenho da consulta. A experiência de Hanumanthaiah também se estendeu à integração de dados de comércio eletrônico. Ele modelou dados da SAP para atender aos requisitos de fornecedores de comércio eletrônico, como Doordash, Instacart, Uber Eats e a App Grocery Outlet. Esta integração foi vital para expandir a pegada digital da empresa e garantir que as plataformas online tivessem acesso a dados precisos e atempados. Falando de integração, ele também desenvolveu uma estrutura ELT repetível para o pipeline CDAP e acelerou o desenvolvimento de pipelines para suportar mais de 600 tabelas em menos de 8 semanas. Além disso, ele foi fundamental na construção de relatórios de alto impacto, como análises de Margem de Vendas, aproveitando os novos sistemas de origem e desenvolvendo um quadro para rastrear se o SAP SLT, um ELT da SAP, falha em replicar dados para o Google Cloud. Isso incluiu definir procedimentos operacionais padrão (SOP) e recuperação de desastres. Além das implementações técnicas, Hanumanthaiah colaborou com fornecedores técnicos para otimizar o uso de recursos na nuvem. Ele ajustou as configurações do MicroStrategy VLDB (Very Large Database) para o AWS Redshift, alcançando uma melhoria de 15% no tempo de execução de consultas. Refletindo sobre os desafios enfrentados durante esses projetos, Hanumanthaiah enfatiza a importância de construir conectores capazes de gerenciar CDCs ao replicar dados do SAP HANA para armazéns de dados baseados em nuvem ou lagoas. Ele sugere que, na ausência de tais conectores, empregar um banco de dados de nuvem de transações intermediário pode ser eficaz. Hanumanthaiah também observa que a construção de pipelines em tempo real pode se tornar complexa quando se trata de dados de alta velocidade. ele defende testes minuciosos de conectores e tecnologias de interface sob cargas grandes simuladas para garantir a confiabilidade. Em resumo, as contribuições de Suhas Hanumanthaiah para a integração de pipelines de dados em tempo real e computação de borda no varejo levaram a melhorias operacionais na Grocery Outlet Inc. Seu trabalho exemplifica como a arquitetura de dados está passando por uma transformação moderna, melhorando a experiência do cliente. Esta história foi distribuída como um lançamento por Kashvi Pandey sob o Programa de Blogagem de Negócios da HackerNoon. Esta história foi distribuída como um lançamento por Kashvi Pandey sob o Programa de Blogagem de Negócios da HackerNoon.
