Każde przedsiębiorstwo prowadzące Snowflake lub BigQuery zna to uczucie: miesięczny rachunek przybywa, jest on o 40% wyższy niż oczekiwano, a nikt nie może dokładnie wyjaśnić, dlaczego. zespoły danych spędzają 10+ godzin tygodniowo na ręcznym modyfikowaniu magazynów zamiast budowy rurociągów. Ido Arieli Noga, dyrektor generalny i współzałożyciel , spędził ponad 12 lat żyjąc w tym cyklu, najpierw zarządzając dużą skalą środowisk danych w rządzie, a następnie jako szef danych w Lightico, gdzie oglądał Snowflake koszty spiralę z pierwszej ręki. Juki W tym wywiadzie dowiemy się, dlaczego domyślne podejście do skalowania infrastruktury danych jest zepsute, co obciążenia robocze ery AI robią dla budżetów w chmurze i jak przemysł musi przemyśleć zarządzanie kosztami danych od podstaw. Cześć Ido, witamy w naszej serii "Behind the Startup". pracowałeś w rządzie, DevOps, architekturze danych, a ostatecznie szef danych w Lightico. Ishan Pandey: Mój zespół spędzał 60% swojego czasu na infrastrukturze - rozmiarach magazynów, kosztach przeciwpożarowych, dostosowywaniu zapytań, które nie powinny wymagać dostosowania. Ido Arieli Noga: Wiedziałem, że problem można rozwiązać. Widziałem, że został zrealizowany w DevOps - firmy takie jak Spot.io zbudowały autonomiczną optymalizację dla infrastruktury chmury i działała. To samo nie istniało dla platform danych. Więc dotarłem do Yakira Daniela, współzałożyciela Spot.io, zaproponowałem mu pomysł na dane, a on natychmiast go uzyskał. Rozmawiałeś z ponad 400 zespołami danych w Snowflake, BigQuery i Databricks. Ishan Pandey: Ta sama frustracja, niezależnie od platformy. Inżynierowie wiedzą, że przepłacają. Mogą to zobaczyć. Ale naprawa wymaga ciągłego audytu - magazyn po magazynie, obciążenie robocze po obciążeniu roboczym i nikt nie ma przepustowości do tego. Ido Arieli Noga: Platformy same dają Ci ograniczone opcje. Możesz zmienić rozmiar magazynu, ale to jest proste narzędzie. 
 
 Prawdziwa optymalizacja odbywa się na poziomie zapytania - każde zapytanie ma różne wymagania obliczeniowe, różne wzorce równoległości, różne terminy. Nie można tego rozwiązać, przesuwając przełącznik. Potrzebujesz czegoś, co patrzy na każde zapytanie indywidualnie i podejmuje właściwą decyzję w czasie rzeczywistym. Prawdziwa optymalizacja odbywa się na poziomie zapytania - każde zapytanie ma różne wymagania obliczeniowe, różne wzorce równoległości, różne terminy. Nie można tego rozwiązać, przesuwając przełącznik. Potrzebujesz czegoś, co patrzy na każde zapytanie indywidualnie i podejmuje właściwą decyzję w czasie rzeczywistym. Ponad 200 dostawców w tej przestrzeni zazwyczaj dodaje więcej pulpitów.Lipka jest czymś, co działa - nieustannie, na poziomie zapytania, bez dotykania kodu użytkownika. Rozprzestrzenianie się magazynu, nadużywanie automatów, rozprzestrzenianie się klastrów - różne platformy, ten sam problem. Ishan Pandey: Provisioning jest łatwy. Right-sizeing jest trudny. Zespół potrzebuje obliczyć dla nowego przypadku użytkowania, obrócić coś do góry, i idzie dalej. nikt nie audytuje wykorzystania w dziesiątkach zasobów na bieżąco - obciążenie pracy zmienia się co miesiąc. Ido Arieli Noga: Widzimy to konsekwentnie: na Snowflake 40% zapytań o średnie magazyny mogło być wykonywanych na bardzo małych. Na BigQuery rezerwacje automatów są rutynowo 3-4x rzeczywistego zapotrzebowania. Mówisz o szybkim czasie do wartości. Jak wygląda typowe wdrożenie i gdzie jest ono krótkie? Ishan Pandey: Siedzimy między aplikacją a platformą danych na poziomie połączenia. Widzimy każde zapytanie w czasie rzeczywistym – rozmiar, złożoność, równoczesność, wzorzec historyczny i kierujemy go do odpowiednio dużej obliczeniowej. Ido Arieli Noga: Szybkość uderzenia zależy od tego, jak dużo przestrzeni głowy istnieje w większości środowisk. Większość rachunków jest znacznie nadmiernie zaopatrzona od pierwszego dnia. 
 
 Angel Studios był na żywo w 54 minuty z wymianą strun łączności i widział 60% redukcji kosztów. Angel Studios był na żywo w 54 minuty z wymianą strun łączności i widział 60% redukcji kosztów. Tam, gdzie również nie działa: zespoły, które już zainwestowały znaczne pieniądze w optymalizację ręczną, bardzo nieregularne obciążenia robocze bez stabilnych wzorców lub środowiska, w których większość kosztów to przechowywanie lub transfer danych, a nie obliczenia. Twój cennik to odsetek rzeczywistych oszczędności - bez oszczędności, bez opłat.To rzadkość w SaaS przedsiębiorstwa. Ishan Pandey: Pochodzi z przekonania. jeśli produkt działa, dostosowanie do oszczędności jest uczciwe. jeśli nie działa dla określonego środowiska, nie powinniśmy pobierać opłat. Ido Arieli Noga: Z CFO, rozmowa jest prosta. Prowadzimy 30-dniowy pilot bez żadnych kosztów. Jeśli nie generujemy oszczędności, nie ma faktury. To całkowicie eliminuje ryzyko oceny. Najtrudniejszą częścią jest zazwyczaj zamówienia - niektóre zespoły finansowe nie mają czystego pojemnika dla SaaS opartego na wynikach. Eksperyment AI tworzy nową wersję starego problemu odpadów komputerowych. Ishan Pandey: Obciążenia robocze AI są eksploracyjne i często porzucane. Zespół prowadzi eksperyment, kończy lub zostaje anulowany, a komputer nadal działa. Ido Arieli Noga: Warstwa świadoma obciążenia pracy zmienia obliczenia. zespoły mogą podnosić obciążenia pracy bez zwykłego niepokoju kosztów, ponieważ wiedzą, że infrastruktura dostosowuje się. To brzmi nieznacznie, ale usuwa prawdziwy punkt tarcia - przestajesz pytać "czy możemy sobie na to pozwolić?" i zacznij pytać "co się z tego uczymy?" Daje również przywództwu danych rzeczywistą widoczność, dokąd zmierza wydatek na sztuczną inteligencję - według zespołu, rodzaju obciążenia pracą, wyniku. Dla szefa danych zajmującego się nieprzewidywalnymi rachunkami i inżynierów zatrzymujących się w pracy w podczerwieni - trzy rzeczy do audytu w tym tygodniu, na dowolnej platformie. Ishan Pandey: Po pierwsze, wykorzystanie obliczeniowe przez okno czasowe. Większość środowisk ma znaczną pustkę obliczeniową w godzinach poza szczytem. Szybko znaleźć, szybko naprawić. Ido Arieli Noga: Po drugie, poziom zasobów w porównaniu z rzeczywistym zapotrzebowaniem na zapytanie. Trzydzieści dni historii zapytań, zgrupowanych według przydzielonego poziomu obliczeniowego. Trzecie, zasoby zawsze dostępne bez aktywnego obciążenia. magazyny, klastry lub rezerwacje gniazd, które nigdy nie są całkowicie zawieszone - zazwyczaj błędnie skonfigurowane lub utrzymywane na żywo przez proces w tle. Rozszerzasz się poza Snowflake na BigQuery i Databricks. Ishan Pandey: Wizją jest zjednoczona warstwa optymalizacji na wszystkich głównych platformach danych - nie narzędzie Snowflake, nie narzędzie kosztów. Ido Arieli Noga: Obecnie uruchamianie platformy danych bez warstwy optymalizacji oznacza poleganie na inżynierach do robienia czegoś, co powinno być zautomatyzowane. Infrastruktura danych jest teraz podstawową infrastrukturą biznesową. Narzędzia wokół niej muszą się do tego dopasować. Nie zapomnij polubić i podzielić się historią!

This story contains new, firsthand information uncovered by the writer.

Hot off the press! This story contains factual information about a recent event.

Between Two Computer Monitors: This story includes an interview between the writer and guest/interviewee. 

Winner of Noonies 2020 for the award Hacker Noon Contributor of the Year - DATA.

2020 - Hacker Noon Contributor of the Year in DATA

Read My Stories

Ten dźwięk jest produkowany w oryginalnym języku historii!

CEO Yuki na temat optymalizacji kosztów danych: dlaczego Twój Snowflake i Bill BigQuery jest 40% i rośnie z powodu AI

About Author

UWAGI

ZAWIEŚĆ TAGI

ARTYKUŁ TEN ZOSTAŁ PREZENTOWANY W

Related Stories

Everything You Need to Know About HackerNoon’s Proof of Usefulness Hackathon

Meet Mezo: HackerNoon Company of the Week

How Blockman Built Web3 Credibility at Scale — And How Your Brand Can Too

Meet AIOZ Network: HackerNoon Company of the Week

Everything You Need to Know About HackerNoon’s Proof of Usefulness Hackathon

Meet Mezo: HackerNoon Company of the Week

How Blockman Built Web3 Credibility at Scale — And How Your Brand Can Too

Meet AIOZ Network: HackerNoon Company of the Week

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps