Any enterprise running Snowflake or BigQuery knows the feeling: ang monthly bill arrives, it’s 40% higher than expected, and no one can explain exactly why. Data teams are spending 10+ hours a week manually resizing warehouses instead of building pipelines. Finance is demanding predictability, engineering is demanding performance, and the default response, spin up another warehouse, throw more compute on it, and that just compounds the problem! Ido Arieli Noga, ang CEO at co-founder ng Sa loob ng higit sa 12 taon na nag-iisa sa ilalim ng cycle na ito, nagsisimula ang pag-manage ng larong-scale data environments sa pamahalaan, pagkatapos ay bilang Head of Data sa Lightico kung saan siya nakikita Snowflake gastos spiral first-hand. ang yuki Sa interview na ito, tumuturo namin kung bakit ang default approach sa pag-scale ng data infrastructure ay nararamdaman, kung ano ang mga workloads ng era ng AI ay gumagawa sa mga budget ng cloud, at kung paano ang industriya ay kinakailangan upang baguhin ang data cost governance mula sa bundok. Hi Ido, welcome to our "Behind the Startup" series. Ikaw ay nagtatrabaho sa pamahalaan, DevOps, data architecture, at sa katapusan ang Head of Data sa Lightico. Ito ay isang malalaking paraan. Ano ang pinagsasama ang mga puntos upang bumuo ng Yuki? Ishan Pandey: Ang papel ng Head of Data ay ang punto ng pag-iisip. Ang aking team ay gumagamit ng 60% ng kanilang oras sa infrastructure - storage size, cost firefighting, tuning mga queries na hindi kailangang kailangan ng tuning. Ido Arieli Noga: Alam ko na ang problema ay solvable. Nakita ko na ito ginawa sa DevOps - mga kumpanya tulad ng Spot.io ay binuo ng autonomous optimization para sa cloud infrastructure at ito ay gumagana. Ang parehong bagay ay hindi magagamit para sa data platforms. Kaya nakipag-ugnayan ko sa Yakir Daniel, co-founder ng Spot.io, inihahanda sa kanya ang ideya na ginagamit sa data, at siya ay umabot sa kanya. Ang pag-uusap na ito ay naging ang aming unang investor at isang malakas na validator. At pagkatapos ay lumikha namin ito. Ikaw ay nagsasalita sa higit sa 400 data teams sa lahat ng Snowflake, BigQuery, at Databricks. Ano ang common thread? Ishan Pandey: Ang parehong frustration, kahit na ang platform. Ang mga engineers alam na sila ay overpaying. sila ay makikita ito. Ngunit ang paghahatid nito ay nangangailangan ng katapusan na auditing - warehouse sa pamamagitan ng warehouse, workload sa pamamagitan ng workload at walang tao ay may bandwidth para sa ito. Ido Arieli Noga: Ang mga platform na mismo ay nagbibigay sa iyo ng limitasyon ng mga pagpipilian. Maaari mong i-re-size ang isang warehouse, ngunit ito ay isang tapat na instrumento. 
 
 Ang tunay na pag-optimize ay nangyayari sa antas ng query - ang bawat query ay may iba't ibang mga kinakailangan sa pag-calculate, iba't ibang pattern ng concurrency, iba't ibang timing. Hindi mo maaaring i-solve na ito sa pamamagitan ng paglipat ng isang slider. Kailangan mo ng isang bagay na makikita sa bawat query individually at gawin ang parehong infrastructure decision sa real-time. Ang tunay na pag-optimize ay nangyayari sa antas ng query - ang bawat query ay may iba't ibang mga kinakailangan sa pag-calculate, iba't ibang pattern ng concurrency, iba't ibang timing. Hindi mo maaaring i-solve na ito sa pamamagitan ng paglipat ng isang slider. Kailangan mo ng isang bagay na makikita sa bawat query individually at gawin ang parehong infrastructure decision sa real-time. Ang 200+ vendors sa space na ito ay karaniwang sumali ng higit pang mga dashboards. Ang gap ay isang bagay na gumagana - continuously, sa level ng query, nang walang pag-atake ng user code. Warehouse spread, abuso ng slot, cluster proliferation - iba pang mga platform, parehong problema. Ishan Pandey: Ang provisioning ay madali. Right-sizeing ay mahirap. Ang isang team ay kailangang i-calculate para sa isang bagong kaso ng paggamit, i-spin ang isang bagay, at pumunta sa itaas. Walang sinusuri ang paggamit sa pagitan ng duties ng mga resource sa isang katapusan - ang workload ay lumipat sa bawat buwan kahit na. Ido Arieli Noga: Tingnan namin ito patuloy: sa Snowflake, 40% ng mga query sa medium-storage ay maaaring mag-execute sa extra-small. Sa BigQuery, mga reservasyon ng slot ay rutinong 3-4x ang tunay na pangangailangan. Ang mga engineers ay hindi nangangailangan - ito ay hindi lamang isang problema na maaaring i-track manually sa scale. Ano ang isang tipikal na pag-implementasyon, at kung saan ito ay short? Ishan Pandey: Nakita namin ang lahat ng mga query sa real-time — size, complexity, concurrency, historical pattern, at i-route ito sa parehong-size compute. Ido Arieli Noga: Ang rate ng impact ay dumating mula sa kung gaano karamihan ng headroom ay mayroon sa karamihan ng mga environment. Ang karamihan ng mga account ay significantly overprovisioned mula sa araw-araw. 
 
 Ang Angel Studios ay live sa 54 minuto na may isang connection string swap at nakita ang 60% na reduction ng gastos. Tenable cut costs 33% at reclaimed 25% ng engineering time sa dalawang linggo. Ang Angel Studios ay live sa 54 minuto na may isang connection string swap at nakita ang 60% na reduction ng gastos. Tenable cut costs 33% at reclaimed 25% ng engineering time sa dalawang linggo. Sa mga lugar na ito ay hindi gumagana: mga team na nag-invest ng malaki sa manual na optimization, mataas na irregular na workloads na walang stabilong mga pattern, o mga environment kung saan ang karamihan ng gastos ay storage o data transfer hindi computing. Ang iyong mga presyo ay isang porsyento ng mga tunay na pagbabayad - walang mga pagbabayad, walang mga bayad. Ito ay karaniwang sa enterprise SaaS. Bakit, at kung paano ito ay dumating sa CFOs? Ishan Pandey: Ito ay dumating mula sa pananampalataya. Kung ang produkto ay gumagana, ang pag-align sa savings ay katotohanan. Kung ito ay hindi gumagana para sa isang tiyak na kapangyarihan, hindi natin dapat magbayad. Ido Arieli Noga: Sa mga CFO, ang pag-uusap ay simpleng. Naglalaro kami ng isang 30-araw na piloto nang walang gastos. Kung hindi namin lumikha ng mga savings, walang invoice. Ito ay binubuo ng risk ng pag-evaluation na ganap na. Ang mas malakas na bahagi ay karaniwang procurement - ang ilang mga team ng finance ay hindi magkaroon ng isang clean bucket para sa outcome-based SaaS. Ngunit kapag sila ay malaman ito, ito ay gumagawa ng transaksyon na mas madaling ipatupad. Ang eksperimento ng AI ay lumikha ng isang bagong bersyon ng old computing waste problem. Paano nagbabago ang mga bagay? Ishan Pandey: Ang mga workloads ng AI ay exploratory at karaniwang na-abandon. Ang isang team ay gumagana ng isang eksperimento, ito ay nagsisimula o inalis, at ang computing ay patuloy na gumagana. Multiply na sa paglipas ng mga dacian ng mga team at ang mga compounds ng waste ay mabilis. Ido Arieli Noga: Ang isang layer na awareness ng workload ay nagbabago ang kalkulusyon. Ang mga team ay maaaring i-spin up workloads nang walang karaniwang gastos ang pag-aayos dahil alam nila na ang infrastructure ay mag-adjust. Ito ay tinatawag na minor, ngunit ito ay binubuo ng isang tunay na punto ng friction - ikaw ay humihingi ng pag-asa "can we afford to run this?" at magsimula na mag-asawa "Ano ang makikita natin mula sa ito?" Nagbibigay ito rin ng data leadership ng tunay na visibility sa kung saan ang gasto ng AI ay pumunta - sa pamamagitan ng team, uri ng workload, outcome. That's what makes it a governance layer, hindi lamang isang cost tool. Para sa isang Head of Data na nagtatrabaho sa unpredictable bills at mga engineer na natagpuan sa infrared na trabaho - tatlong bagay upang audited na linggo na ito, sa anumang platform. Ishan Pandey: Ang mga ito ay nagtatagumpay sa pamamagitan ng time window.Most environments have significant idle computing during off-peak hours.Fast to find, fast to fix. Ido Arieli Noga: Sa ikalawang, resource tier vs. actual query demand. Thirty days of query history, grouped by allocated compute tier. Kung higit sa 30% ng mga query ay gumagana na mas mababa sa kapasidad ng kanilang tier, mayroon kang isang problema sa size. Ang third, always-on na mga resource na walang active workload. Warehouses, clusters, o slot reservations na hindi na ganap na-suspende - karaniwang napaka-configured o namatay sa pamamagitan ng isang background na proseso. Ikaw ay nag-expanding sa loob ng Snowflake sa BigQuery at Databricks. Nasaan ang kategorya na ito? Ishan Pandey: Ang visyon ay isang unified layer ng optimization sa lahat ng mga pangunahing platform ng data - hindi isang Snowflake tool, hindi isang cost tool. Ido Arieli Noga: Ang analogy sa auto-scaling ay nagtatrabaho. Sa ngayon, mag-execute ng isang data platform nang walang isang layer ng optimization ay nangangahulugan na tumingin sa mga engineer upang gawin ang isang bagay na dapat na automatized. Lima taon mula ngayon na ito ay makikita na ang parehong paraan na ang manual na server provisioning ay nakikita ngayon - hindi kailangang, lamang hindi kinakailangan. Ang pagbabago ay nagsisimula na. Data infrastructure ay ngayon ang core business infrastructure. Ang tooling sa paligid nito ay kailangan upang matugunan na ito. Huwag kang gagaw ng pasiya na nagmamadali!

This story contains new, firsthand information uncovered by the writer.

Hot off the press! This story contains factual information about a recent event.

Between Two Computer Monitors: This story includes an interview between the writer and guest/interviewee. 

Winner of Noonies 2020 for the award Hacker Noon Contributor of the Year - DATA.

2020 - Hacker Noon Contributor of the Year in DATA

Read My Stories

Ang audio na ito ay ginawa sa orihinal na wika ng kuwento!

Yuki CEO sa Data Cost Optimization: Bakit ang iyong Snowflake at BigQuery Bill ay 40% at Nakatakda dahil sa AI

About Author

MGA KOMENTO

HANG TAGS

ANG ARTIKULONG ITO AY IPINAKITA SA

Related Stories

Encrypted Instant Messaging Recommendations January 2017

How I deployed my spark document classification(Logistic Regression) model/s as a standalone app…

Getting intimate with Ethereum tokens

Hosting a DNS domain on the blockchain

Encrypted Instant Messaging Recommendations January 2017

How I deployed my spark document classification(Logistic Regression) model/s as a standalone app…

Getting intimate with Ethereum tokens

Hosting a DNS domain on the blockchain

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps