В развивающемся технологическом ландшафте интеграция трубопроводов с данными в режиме реального времени и вычислений на краю переоформляет то, как работают кирпичные магазины. Активно участвует в этой постепенной эволюции Сухас Ханумантайя, архитектор данных, который активно работал над влиянием на оперативную эффективность Grocery Outlet Inc. Во время своего пребывания в Grocery Outlet Ханумантай сыграл важную роль в управлении потоком данных о продажах в режиме реального времени, переходя от магазинов к хранилищу облачных данных — AWS Redshift. Он также внес свой вклад в проект цифровой трансформации, который мигрировал данные AWS Redshift в Google BigQuery Lakehouse. Кроме того, значительный аспект работы и цифровой трансформации Hanumanthaiah включал интеграцию систем SAP в новую архитектуру данных. он тщательно отобразил данные SAP HANA на более чем 300 таблиц складов данных, гарантируя, что переход от старых систем, таких как AS400, к системам на базе SAP не прерывал поток критической бизнес-информации. Одним из замечательных достижений в этом процессе стала разработка ELT (Экстракт, Загрузка, Трансформация) для миграции складов данных. Эта рамка облегчила эффективную обработку Change Data Capture (CDC) от SAP, метод, необходимый для репликации данных в реальном времени. Оптимизировав процесс CDC, Hanumanthaiah достиг значительной экономии в размере $10 000 в Google BigQuery. Это было достигнуто путем перепроектирования того, как CDC обрабатывались данные, сокращения ненужных сканирований данных и улучшения производительности запросов. В дополнение к экономии затрат, Hanumanthaiah ответил на вызовы, возникающие из-за высоконормализованной модели данных SAP HANA. Запросы по вычислению сложных процессов подвергались временным отключениям в среднем слое программного обеспечения, что повлияло на производительность критических приложений. Он моделировал данные SAP для удовлетворения требований поставщиков электронной коммерции, таких как Doordash, Instacart, Uber Eats и App Grocery Outlet. Эта интеграция была жизненно важна для расширения цифрового отпечатка компании и обеспечения того, чтобы онлайн-платформы имели доступ к точным и своевременным данным. Кроме того, он сыграл важную роль в создании отчетов с высоким воздействием, таких как анализ маржи продаж, использование новых исходных систем и разработка рамок для отслеживания того, не удастся ли SAP SLT, ELT от SAP, воспроизвести данные в Google Cloud. Помимо технических внедрений, Hanumanthaiah сотрудничал с техническими поставщиками для оптимизации использования облачных ресурсов. Он улучшил настройки MicroStrategy VLDB (Very Large Database) для AWS Redshift, достигнув 15% улучшения времени выполнения запросов. Размышляя о вызовах, стоящих перед этими проектами, Ханумантай подчеркивает важность создания разъемов, способных управлять CDC при воспроизведении данных из SAP HANA в облачные хранилища данных или озеры. Он предполагает, что при отсутствии таких разъемов использование посреднической транзакционной облачной базы данных может быть эффективным. Этот подход позволяет приложениям в режиме реального времени полагаться на облачную транзакционную систему, в то время как озерный дом служит хранилищем для агрегированной бизнес-отчетности. Hanumanthaiah также отмечает, что строительство трубопроводов в режиме реального времени может стать сложным при работе с высокоскоростными данными.Он выступает за тщательное тестирование разъемов и технологий интерфейса под симулированными большими нагрузками для обеспечения надежности.Кроме того, он указывает на то, что технологиям репликации часто не хватает врожденного отслеживания ошибок, подчеркивая необходимость сильного мониторинга и тестирования. Подводя итог, вклад Сухаса Ханумантхая в интеграцию трубопроводов с данными в режиме реального времени и вычислений в розничной торговле привел к оперативным улучшениям в Grocery Outlet Inc. Его работа иллюстрирует, как архитектура данных претерпевает современную трансформацию, улучшая опыт клиентов. Эта история была распространена как релиз Кашви Панди в рамках Программы бизнес-блогов HackerNoon. Эта история была распространена как релиз Кашви Панди в рамках Программы бизнес-блогов HackerNoon.
