Enhver virksomhed, der kører Snowflake eller BigQuery, kender følelsen: den månedlige regning ankommer, det er 40% højere end forventet, og ingen kan forklare nøjagtigt hvorfor. Data teams bruger 10+ timer om ugen til manuelt at ændre lagre i stedet for at bygge rørledninger. Ido Arieli Noga, administrerende direktør og medstifter af , tilbragte over 12 år lever inde i denne cyklus, først styrer store datamiljøer i regeringen, så som Head of Data på Lightico, hvor han så Snowflake omkostninger spiral første hånd. Yuki I dette interview undersøger vi, hvorfor den standardtilgang til skalering af datainfrastruktur er brudt, hvad AI-æraens arbejdsbyrder gør for cloudbudgetter, og hvordan branchen skal genoverveje dataomkostningsstyring fra bunden. Hej Ido, velkommen til vores "Behind the Startup" serie. Du har arbejdet i regeringen, DevOps, dataarkitektur og til sidst Head of Data på Lightico. Ishan Pandey: Mit team brugte 60% af deres tid på infrastruktur - lagerstørrelse, omkostningsbrandbekæmpelse, tuning af forespørgsler, der ikke burde have brug for tuning. Ido Arieli Noga: Jeg vidste, at problemet var løseligt. Jeg havde set det gjort i DevOps - virksomheder som Spot.io byggede selvstændig optimering til cloud-infrastruktur, og det fungerede. Det samme eksisterede ikke for dataplatforme. Så jeg nåede ud til Yakir Daniel, medstifter af Spot.io, skubbede ham ideen anvendt til data, og han fik det straks. Du har talt med mere end 400 data teams på tværs af Snowflake, BigQuery og Databricks. Ishan Pandey: Den samme frustration, uanset platform. Ingeniører ved, at de betaler for meget. De kan se det. Men det kræver løbende auditering - lager efter lager, arbejdsbyrde efter arbejdsbyrde, og ingen har båndbredde til det. Ido Arieli Noga: De platforme selv giver dig begrænsede muligheder.Du kan ændre størrelsen på et lager, men det er et blunt instrument. 
 
 Virkelig optimering sker på forespørgselsniveauet - hver forespørgsel har forskellige beregningskrav, forskellige samtidige mønstre, forskellige timing. Du kan ikke løse det ved at flytte en rulle. Virkelig optimering sker på forespørgselsniveauet - hver forespørgsel har forskellige beregningskrav, forskellige samtidige mønstre, forskellige timing. Du kan ikke løse det ved at flytte en rulle. De 200+ leverandører i dette rum tilføjer for det meste flere dashboards. gapet er noget, der virker - kontinuerligt, på forespørgselsniveauet, uden at røre brugerkoden. Lagerspredning, misbrug af slots, klusterproliferation - forskellige platforme, det samme problem. Ishan Pandey: Provisionering er let. Right-sizeing er svært. Et team har brug for at beregne for en ny brugssituation, spin noget op, og bevæger sig videre. Ingen auditerer udnyttelsen på tværs af snesevis af ressourcer løbende - arbejdsbyrden skifter hver måned alligevel. Ido Arieli Noga: Vi ser det konsekvent: På Snowflake kunne 40% af mellemlagerforespørgsler have kørt på ekstra-små. På BigQuery er slotreservationer rutinemæssigt 3-4x den faktiske efterspørgsel. Ingeniørerne er ikke uagtsomme - det er bare ikke et problem, der kan håndteres manuelt i skala. Du taler om hurtig tid-til-værdi. Hvad ser en typisk implementering ud, og hvor falder den kort? Ishan Pandey: Vi sidder mellem applikationen og dataplattformen på forbindelsesniveauet. Vi ser hver forespørgsel i realtid - størrelse, kompleksitet, samtidighed, historisk mønster og ruter den til passende beregningsstørrelse. Ido Arieli Noga: Hastigheden af påvirkning kommer fra, hvor meget hovedrum der findes i de fleste miljøer. De fleste konti er betydeligt overforsynede fra dag ét. 
 
 Angel Studios var live på 54 minutter med en forbindelse string swap og så 60% omkostningsreduktion. Tenable skåret omkostninger 33% og genvundet 25% af engineering tid i to uger. Angel Studios var live på 54 minutter med en forbindelse string swap og så 60% omkostningsreduktion. Tenable skåret omkostninger 33% og genvundet 25% af engineering tid i to uger. Hvor det også ikke fungerer: Teams, der allerede har investeret meget i manuel optimering, meget uregelmæssige arbejdsbelastninger uden stabile mønstre, eller miljøer, hvor størstedelen af omkostningerne er lagring eller dataoverførsel i stedet for beregning. Din prissætning er en procentdel af de faktiske besparelser - ingen besparelser, ingen gebyr. Det er sjældent i enterprise SaaS. Hvorfor, og hvordan lander det med CFO'er? Ishan Pandey: Det kom fra overbevisning. Hvis produktet virker, er afstemt på besparelser ærlig. Hvis det ikke virker for et bestemt miljø, bør vi ikke opkræve. Ido Arieli Noga: Med CFO'er er samtalen enkel. Vi kører en 30-dages pilot uden omkostninger. Hvis vi ikke genererer besparelser, er der ingen faktura. Det fjerner evalueringsrisiko helt. Den sværeste del er normalt indkøb - nogle finansieringsteams har ikke en ren bucket til resultatbaseret SaaS. Men når de forstår det, gør det aftalen lettere at godkende. AI-eksperimentering skaber en ny version af det gamle computing affaldsproblem. Ishan Pandey: AI-arbejdsbelastninger er udforskende og ofte forladt. Et team kører et eksperiment, det afsluttes eller bliver aflyst, og computeren fortsætter med at køre. Ido Arieli Noga: Et arbejdslastbevidst lag ændrer beregningen. Teams kan spinne arbejdslast op uden den sædvanlige omkostningsangst, fordi de ved, at infrastrukturen justerer. Det lyder mindre, men det fjerner et reelt friktionspunkt - du stopper med at spørge "kan vi råd til at køre dette?" og begynder at spørge "hvad lærer vi af dette?" Det giver også data lederskab reel synlighed i, hvor AI udgifter går - efter team, type arbejdsbelastning, resultat. For en datachef, der beskæftiger sig med uforudsigelige regninger, og ingeniører, der sidder fast på infraarbejde - tre ting at auditere i denne uge, på enhver platform. Ishan Pandey: For det første har de fleste miljøer betydelig tomme computere under off-peak timer. Hurtig at finde, hurtig at rette. Ido Arieli Noga: For det andet er ressource-niveauet sammenlignet med den faktiske forespørgsel efterspørgsel. 30 dages forespørgselshistorik, grupperet efter tildelt beregningsniveau. Hvis mere end 30% af forespørgslerne kører langt under deres niveau kapacitet, har du et problem med størrelsen. Tredje, altid-på-ressourcer med ingen aktiv arbejdsbyrde. Lagerhuse, klynger eller slotreservationer, der aldrig helt suspenderes - normalt forkert konfigureret eller holdt i live af en baggrundsproces. Du udvider ud over Snowflake til BigQuery og Databricks. Ishan Pandey: Visionen er et ensartet optimeringslag på tværs af alle store dataplatforme - ikke et Snowflake-værktøj, ikke et omkostningsværktøj. Ido Arieli Noga: Lige nu, kører en data platform uden et optimering lag betyder at stole på ingeniører til at gøre noget, der skal automatiseres. Fem år fra nu, der vil se det samme, som manuel server provisioning ser ud i dag - ikke forkert, bare unødvendigt. Datainfrastrukturen er nu kerneforretningsinfrastrukturen. Værktøjet omkring den skal matche det. Glem ikke at kunne lide og dele historien!

This story contains new, firsthand information uncovered by the writer.

Hot off the press! This story contains factual information about a recent event.

Between Two Computer Monitors: This story includes an interview between the writer and guest/interviewee. 

Winner of Noonies 2020 for the award Hacker Noon Contributor of the Year - DATA.

2020 - Hacker Noon Contributor of the Year in DATA

Read My Stories

Denne lyd er produceret på historiens originalsprog!

Yuki CEO på Data Cost Optimization: Hvorfor din Snowflake og BigQuery Bill er 40% & stigende på grund af AI

About Author

KOMMENTARER

HÆNG TAGS

DENNE ARTIKEL BLEV PRÆsenterET I

Related Stories

Meet IONOS: HackerNoon Company of the Week

Meet Bright Data: HackerNoon Company of the Week

Meet Surfshark: HackerNoon Company of the Week

Avoid These Mistakes to Monetize Internet Products Profitably

Meet IONOS: HackerNoon Company of the Week

Meet Bright Data: HackerNoon Company of the Week

Meet Surfshark: HackerNoon Company of the Week

Avoid These Mistakes to Monetize Internet Products Profitably

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps