기술의 진화하는 풍경에서, 실시간 데이터 파이프라인과 가장자리 컴퓨팅의 통합은 벽돌 가게가 작동하는 방식을 재구성하고 있습니다.이 점진적인 진화에 적극적으로 참여하는 것은 Grocery Outlet Inc.의 운영 효율성에 적극적으로 영향을 미치는 데이터 아키텍처 인 Suhas Hanumanthaiah입니다. 그가 Grocery Outlet에서 근무하는 동안 Hanumanthaiah는 매장에서 클라우드 데이터 창고 - AWS Redshift로 전환하는 실시간 판매 데이터 파이프라인을 관리하는 데 중요한 역할을했습니다. 그는 또한 AWS Redshift 데이터를 Google BigQuery Lakehouse로 마이그레이션 한 디지털 변환 프로젝트에 기여했습니다.이 전환은 1TB의 비용을 줄이기 위해 읽기 쿼리를 최적화했습니다. 또한 Hanumanthaiah의 작업과 디지털 변혁의 중요한 측면은 SAP 시스템을 새로운 데이터 아키텍처에 통합하는 것이었습니다. 그는 SAP HANA의 데이터를 300개가 넘는 데이터 창고 테이블로 세심하게 매핑하여 AS400과 같은 기존 시스템에서 SAP 기반 시스템으로의 전환이 중요한 비즈니스 정보의 흐름을 방해하지 않도록했습니다. 이 과정에서 주목할만한 성과 중 하나는 데이터 창고 마이그레이션을 위해 맞춤형 ELT(Extract, Load, Transform) 프레임워크 개발이었습니다.이 프레임워크는 실시간 데이터 복제에 필수적인 방법인 SAP의 Change Data Capture (CDC)를 효율적으로 처리하는 것을 촉진했습니다.CDC 프로세스를 최적화함으로써 Hanumanthaiah는 Google BigQuery 청구에서 $10,000의 상당한 비용 절감을 달성했습니다.이 작업은 CDC 데이터가 어떻게 처리되는지, 불필요한 데이터 스캔을 줄이고 쿼리 성능을 개선함으로써 이루어졌습니다. 비용 절감 외에도 Hanumanthaiah는 높은 표준화된 SAP HANA 데이터 모델의 도전을 해결했습니다.Complex process calculation queries were prone to timeouts in the middleware layer, affecting the performance of critical applications.Through persistent optimization efforts, he improved query performance. Hanumanthaiah의 전문 지식은 eCommerce 데이터 통합에도 확장되었습니다. 그는 Doordash, Instacart, Uber Eats 및 Grocery Outlet 앱과 같은 eCommerce 공급 업체의 요구 사항을 충족시키기 위해 SAP의 데이터를 모델링했습니다.이 통합은 회사의 디지털 발자국을 확장하고 온라인 플랫폼이 정확하고 신속한 데이터에 액세스 할 수 있도록 필수적이었습니다. 또한, 그는 판매 마진 분석과 같은 높은 영향 보고서를 구축하고, 새로운 소스 시스템을 활용하고, SAP의 ELT인 SAP SLT가 데이터를 Google 클라우드에 복제하지 못하는 경우를 추적하는 프레임워크를 개발하는 데 중요한 역할을했습니다.이로 인해 표준 운영 절차(SOP) 및 재해 복구를 정의했습니다. 기술적 구현 외에도 Hanumanthaiah는 기술 공급 업체와 협력하여 클라우드 리소스 사용을 최적화했습니다. 그는 AWS Redshift의 MicroStrategy VLDB (Very Large Database) 설정을 최적화하여 쿼리 실행 시간을 15% 향상시켰습니다. Hanumanthaiah는 이러한 프로젝트에서 직면한 도전에 반영하여, SAP HANA에서 데이터를 클라우드 기반 데이터 창고 또는 호수로 복제할 때 CDC를 관리할 수 있는 커넥터를 구축하는 것이 중요하다는 것을 강조합니다. 그는 이러한 커넥터가 없으면 중간 트랜잭션 클라우드 데이터베이스를 사용하는 것이 효과적 일 수 있다고 제안합니다.이 접근 방식은 실시간 애플리케이션이 클라우드 트랜잭션 시스템에 의존하는 것을 허용하며, 호수는 집계된 비즈니스 보고를 위한 저장소 역할을합니다. Hanumanthaiah는 또한 실시간 파이프라인을 구축하는 것이 고속 데이터를 처리할 때 복잡해질 수 있다고 지적합니다. 그는 신뢰성을 보장하기 위해 시뮬레이션된 대량 부하에서 커넥터 및 인터페이스 기술에 대한 철저한 테스트를 옹호합니다.또한 복제 기술은 종종 본래 오류 추적이 부족하여 강력한 모니터링 및 테스트의 필요성을 강조합니다. 요약하자면, 소매에서 실시간 데이터 파이프라인과 에지 컴퓨팅을 통합하는 Suhas Hanumanthaiah의 기여는 Grocery Outlet Inc.의 운영 개선을 이끌었습니다. 이 이야기는 HackerNoon의 비즈니스 블로그 프로그램에 의해 Kashvi Pandey가 발표 한 릴리스로 배포되었습니다. 이 이야기는 HackerNoon의 비즈니스 블로그 프로그램에 의해 Kashvi Pandey가 발표 한 릴리스로 배포되었습니다.
