Jak rozproszone bazy danych zasilają aplikacje biznesowe o znaczeniu krytycznym: studium przypadku z Amey Banarse

W miarę jak świat staje się coraz bardziej cyfrowy, firmy z różnych branż — od handlu detalicznego po finanse i motoryzację — muszą obsługiwać ogromne ilości danych. Niezależnie od tego, czy zarządzasz katalogami produktów, przetwarzasz dane telemetryczne czy obsługujesz transakcje finansowe, możliwość zarządzania danymi w czasie rzeczywistym i skalowania ich w wielu regionach ma kluczowe znaczenie dla globalnych operacji.

Jednym z ekspertów, który przewodzi w rozwiązywaniu tych problemów z zarządzaniem danymi, jest Amey Banarse, inżynier rozwiązań z ponad dziesięcioletnim doświadczeniem w technologiach rozproszonych baz danych. Amey wykorzystuje swoją wiedzę specjalistyczną do rozwiązywania złożonych problemów z danymi, obniżania kosztów i poprawy wydajności.

Jego praca zaowocowała udaną współpracą z przedsiębiorstwami z listy Fortune 500, w tym globalnymi instytucjami finansowymi, takimi jak Wells Fargo i Fiserv, dużymi sprzedawcami detalicznymi, takimi jak Kroger, oraz firmami motoryzacyjnymi, m.in. General Motors, co uczyniło go prominentną postacią w tej dziedzinie.

Wyzwania zarządzania danymi w erze cyfrowej

Koordynacja dużych ilości informacji stanowi wyjątkowe wyzwanie we współczesnym świecie. Przełomy technologiczne, takie jak analityka w czasie rzeczywistym i uczenie maszynowe, przyniosły ogromne korzyści, ale te postępy wprowadzają również nowe przeszkody, takie jak potrzeba dostępu o niskim opóźnieniu i utrzymywania spójnej dostępności danych w różnych regionach.

Amey Banarse dzieli się swoimi spostrzeżeniami na temat pokonywania tych wyzwań i historią, która doprowadziła go do stania się ekspertem w tej dziedzinie.

P: Amey, co zainspirowało Cię do podjęcia kariery w inżynierii rozwiązań technicznych?

A : Moja podróż rozpoczęła się od uzyskania tytułu magistra na University of Pennsylvania w 2010 roku. Zacząłem karierę jako starszy konsultant ds. analizy danych w Gemini Systems w Nowym Jorku, gdzie skupiłem się na platformach analizy danych w sektorze usług finansowych. Współpraca z klientami o dużym znaczeniu, takimi jak New York Stock Exchange (NYSE), w celu opracowywania rozwiązań i praca nad projektami o dużym wpływie, rozbudziła moją pasję do zarządzania danymi. To podczas współpracy z Financial Industry Regulatory Authority (FINRA) naprawdę dostrzegłem krytyczne znaczenie solidnej architektury danych. Dziś, jako uznany lider myśli w branży danych, łączę głęboką wiedzę specjalistyczną w zakresie systemów rozproszonych i aplikacji transakcyjnych w chmurze z zaangażowaniem w promowanie innowacji w zakresie danych przedsiębiorstwa. Mam zaszczyt uczestniczyć w wiodących forach, takich jak Forbes Technology Council, dzieląc się spostrzeżeniami poprzez pisanie, prezentacje i przywództwo myślowe. Moje wystąpienia na prestiżowych konferencjach, takich jak AWS ReInvent, VMWare Explore i SpringOne, odzwierciedlają moje zaangażowanie w kształtowanie dyskursu branżowego, od nowoczesnych architektur danych po strategie danych przedsiębiorstwa, pomagając organizacjom w pełni wykorzystać potencjał ich zasobów danych.

P: Z jakimi wyzwaniami muszą się zmierzyć branże, które muszą stawić czoła rosnącemu zapotrzebowaniu na przetwarzanie danych w czasie rzeczywistym?

A : Dzisiejsze firmy, zwłaszcza w sektorach i rozwijających się branżach, takich jak handel detaliczny, motoryzacja i finanse, muszą zarządzać ogromnymi wolumenami danych w czasie rzeczywistym, zapewniając jednocześnie bezpieczeństwo i skalowalność. Wyzwania obejmują radzenie sobie ze skokami ruchu w okresach szczytowych, utrzymywanie integralności danych w rozproszonych geograficznie systemach i zapewnianie spójnej wydajności. Niezajęcie się tymi problemami może prowadzić do wąskich gardeł, niespójności danych i nieefektywności operacyjnej, które znacząco wpływają na doświadczenia klientów i przychody.

P: Czy możesz podzielić się swoim podejściem do rozwiązywania tych problemów przy użyciu technologii rozproszonych baz danych?

A : Zdecydowanie. Wykorzystuję technologie takie jak yugabytedb , który zapewnia możliwość obsługi transakcji o wysokiej przepustowości, utrzymania silnej spójności i obsługi wdrożeń w wielu regionach. Skupiam się na projektowaniu architektury danych, która integruje rozproszone bazy danych z platformami natywnymi dla chmury, zapewniając dostępność i niezawodność danych w czasie rzeczywistym w różnych lokalizacjach. Współpracując z zespołami inżynierów, wdrażam rygorystyczne testy w symulowanych warunkach dużego ruchu i dostrajam systemy w celu uzyskania optymalnej wydajności.

P: Czy mógłby Pan opowiedzieć o konkretnym projekcie, w którym wdrożyliście te rozwiązania?

A : Jednym z godnych uwagi projektów był projekt globalnego sprzedawcy detalicznego zarządzającego ponad 300 milionami produktów. Potrzebowali skalowalnego systemu, aby zapewnić dostęp do danych w czasie rzeczywistym w okresach szczytowych zakupów i upewnić się, że nie będzie przestojów w trakcie ofert i dni wprowadzania produktów na rynek. Kierowałem zespołem i wdrożyłem skalowalne rozwiązanie architektoniczne przy użyciu YugabyteDB, co nie tylko obniżyło całkowity koszt posiadania o ponad 10 milionów dolarów, ale także zapewniło spójne, wydajne operacje w krytycznych sezonach zakupowych. To rozwiązanie zapewnia bezproblemowe doświadczenie klienta końcowego w szczycie sezonu świątecznego, co zwiększa lojalność klientów i rozpoznawalność marki sprzedawcy detalicznego.

P: Czy mógłby Pan opowiedzieć o konkretnym projekcie, w którym wdrożyliście te rozwiązania?

A : Jednym z godnych uwagi projektów był projekt globalnego sprzedawcy detalicznego zarządzającego ponad 300 milionami produktów. Potrzebowali skalowalnego systemu, aby zapewnić dostęp do danych w czasie rzeczywistym w okresach szczytowych zakupów i upewnić się, że nie będzie przestojów w trakcie ofert i dni wprowadzania produktów na rynek. Kierowałem zespołem i wdrożyłem skalowalne rozwiązanie architektoniczne przy użyciu YugabyteDB, co nie tylko obniżyło całkowity koszt posiadania o ponad 10 milionów dolarów, ale także zapewniło spójne, wydajne operacje w krytycznych sezonach zakupowych. To rozwiązanie zapewnia bezproblemowe doświadczenie klienta końcowego w szczycie sezonu świątecznego, co zwiększa lojalność klientów i rozpoznawalność marki sprzedawcy detalicznego.

P: Pracowałeś również z General Motors. Z jakimi wyzwaniami się mierzyli i jak im pomogłeś?

A: Platforma samochodów połączonych General Motors odgrywa kluczową rolę w obsłudze nowych usług firmy poprzez zbieranie i wykorzystywanie danych z ponad 20 milionów pojazdów podłączonych Platforma obsługuje takie funkcje, jak śledzenie stanu pojazdu, zdalne uruchamianie i raportowanie stanu drogi za pośrednictwem aplikacji mobilnych GM i OnStar. Jednak istniejąca baza danych zasilająca tę platformę, Apache Cassandra, stawała się wąskim gardłem. Powodowało to wysokie koszty operacyjne, ograniczoną skalowalność i problemy z wydajnością, zwłaszcza w okresach szczytowego zapotrzebowania. Współpracowałem ściśle z ich kierownictwem technicznym, aby przeprojektować architekturę systemu, która może przetwarzać ogromne ilości danych telemetrycznych w czasie rzeczywistym, utrzymywać spójność i skalować się wydajnie. Kierowałem również migracją z Apache Cassandra do YugabyteDB. Ta migracja spowodowała dziesięciokrotną poprawę skalowalności i wydajności, umożliwiając systemowi obsługę do trzech milionów zapisów na sekundę przy jednoczesnym znacznym zmniejszeniu powierzchni sprzętowej i kosztów operacyjnych. Ta transformacja pozwoliła GM ulepszyć swoje usługi pojazdów podłączonych i zapewnić klientom lepsze wrażenia.

P: Czy możesz podać przykład, w jaki sposób pomogłeś klientowi z branży usług finansowych zmodernizować jego systemy danych?

A : Znaczącym przypadkiem była współpraca z kierownictwem technicznym dużej firmy świadczącej usługi finansowe podczas migracji ze starszego komputera mainframe IBM DB2 do nowoczesnego, skalowalnego systemu w celu obsługi pulpitu nawigacyjnego portfolio detalicznego. Prowadząc przejście na YugabyteDB, ustanowiłem odporną architekturę, która nie tylko obniżyła całkowity koszt posiadania, ale także poprawiła doświadczenia klienta końcowego. Udana migracja umożliwiła wdrożenie użytkowników na żywo, tworząc elastyczny i niezawodny system obsługujący przyszły wzrost. Umożliwiło to firmie osiągnięcie jej głównych celów, czyli migracji z komputera mainframe i wykorzystania baz danych natywnych dla chmury, które można wdrażać w architekturach chmurowych i hybrydowych. Pomogło to również w zwiększeniu produktywności — zamiast być spowalnianym przez czekanie na dostarczanie i konserwację DB2 na komputerze mainframe, zespół aplikacji może szybko wdrożyć YugabyteDB w dowolnym miejscu, a system automatycznie skaluje się w razie potrzeby.

P: Twoje osiągnięcia w tej dziedzinie są imponujące. Co motywuje Cię do dalszego przekraczania granic?

A : Motywuje mnie wpływ, jaki skalowalne rozwiązania platform danych mogą mieć na aplikacje o znaczeniu krytycznym, które napędzają firmy i społeczeństwo. Kierowanie głośnymi projektami w imieniu YugabyteDB, takimi jak projektowanie skalowalnej platformy dla wydarzenia streamingowego Super Bowl 2024, było niezwykle satysfakcjonujące. Możliwość dostarczania wysokiej jakości strumieniowego przesyłania danych ponad 125 milionom widzów podkreśla znaczenie skalowalnych, odpornych systemów we współczesnym, połączonym świecie.

P: Jak widzisz przyszłość zarządzania danymi?

A : Wierzę, że pomysłowość inżynierów rozwiązań technicznych, takich jak ja, jest kluczowa dla lepiej połączonego świata. W miarę rozwoju branż i wzrostu zapotrzebowania na dane w czasie rzeczywistym, opracowywanie innowacyjnych rozwiązań, które umożliwiają organizacjom efektywne skalowanie, jest niezbędne. Moim celem jest przewodzenie tej zmianie, zapewnienie, że firmy będą mogły stawić czoła wyzwaniom związanym z danymi i odnieść sukces dzięki inteligentnym strategiom zarządzania danymi.

Zdolność Amey'a Banarse'a do projektowania skalowalnych, odpornych systemów pozwoliła tym firmom na modernizację i obsługę danych w czasie rzeczywistym na niespotykaną dotąd skalę. Jego wiedza specjalistyczna w zakresie technologii rozproszonych baz danych kształtuje przyszłość zarządzania danymi i toruje drogę organizacjom do rozwoju w coraz bardziej zorientowanym na dane krajobrazie.