Cada empresa que executa Snowflake ou BigQuery coñece a sensación: a factura mensual chega, é 40% máis alta do esperado, e ninguén pode explicar exactamente por que. equipos de datos están a gastar 10+ horas por semana manualmente cambiando almacéns en lugar de construír gasodutos. Ido Arieli Noga, CEO e cofundador de , pasou máis de 12 anos vivindo dentro deste ciclo, primeiro xestionando ambientes de datos a gran escala no goberno, despois como Xefe de Datos en Lightico onde viu Snowflake custos espiral de primeira man. Xuízo Nesta entrevista, exploramos por que o enfoque predeterminado para a escalación da infraestrutura de datos está roto, o que as cargas de traballo da era da IA están a facer cos orzamentos de nube e como a industria necesita repensar a gobernanza de custos de datos desde o principio. Ola Ido, benvido á nosa serie "Behind the Startup".Vostede traballou no goberno, DevOps, arquitectura de datos e, finalmente, o xefe de datos en Lightico. Ishan Pandey: O papel do Xefe de Datos foi o punto de inflexión.O meu equipo estaba a gastar o 60% do seu tempo en infraestruturas - tamaño de almacén, custo de loita contra incendios, axuste de consultas que non deberían ter necesitado axuste. Ido Arieli Noga: Eu sabía que o problema era solucionable. Vin que estaba feito en DevOps - empresas como Spot.io construíron a optimización autónoma para a infraestrutura de nube e funcionou. O mesmo non existía para as plataformas de datos. Entón cheguei a Yakir Daniel, cofundador de Spot.io, e puxenlle a idea aplicada aos datos, e inmediatamente o conseguiu. Esa conversación converteuse no noso primeiro investidor e un forte validador. Falei con máis de 400 equipos de datos en Snowflake, BigQuery e Databricks. Ishan Pandey: A mesma frustración, independentemente da plataforma. Os enxeñeiros saben que están sobrepagando. Pódense ver. Pero fixalo require auditoría continua - almacén por almacén, carga de traballo por carga de traballo e ninguén ten ancho de banda para iso. Ido Arieli Noga: As propias plataformas danche opcións limitadas.Podes redimensionar un almacén, pero iso é un instrumento sinxelo. 
 
 A optimización real ocorre no nivel de consulta - cada consulta ten diferentes requisitos de computación, diferentes patróns de concorrencia, diferentes tempos. Non pode resolver iso movendo un deslizador. Necesitas algo que mire cada consulta individualmente e tome a decisión de infraestrutura correcta en tempo real. A optimización real ocorre no nivel de consulta - cada consulta ten diferentes requisitos de computación, diferentes patróns de concorrencia, diferentes tempos. Non pode resolver iso movendo un deslizador. Necesitas algo que mire cada consulta individualmente e tome a decisión de infraestrutura correcta en tempo real. Os máis de 200 provedores neste espazo xeralmente engaden máis dashboards.A lacuna é algo que actúa - continuamente, no nivel de consulta, sen tocar o código do usuario. Espazo de almacén, mal uso de tragamonedas, proliferación de clusters - diferentes plataformas, o mesmo problema. Ishan Pandey: Provisionar é doado. O tamaño correcto é difícil. Un equipo necesita calcular para un novo caso de uso, xirar algo e seguir adiante. Ninguén audita a utilización de decenas de recursos de forma continua - a carga de traballo cambia cada mes de calquera xeito. Ido Arieli Noga: Vémolo de forma consistente: en Snowflake, o 40% das consultas de almacén medio poderían ter sido executadas en extra-pequenos. En BigQuery, as reservas de tragamonedas son rutineiramente 3-4x a demanda real. Os enxeñeiros non son descoidados - simplemente non é un problema que sexa tratable manualmente a escala. Como é unha implantación típica, e onde queda curta? Ishan Pandey: Sentámonos entre a aplicación e a plataforma de datos no nivel de conexión. Vemos cada consulta en tempo real - tamaño, complexidade, concorrencia, patrón histórico e encamiñámola a unha computadora de tamaño adecuado. Ido Arieli Noga: A velocidade de impacto provén da cantidade de cabeceira existente na maioría dos ambientes. A maioría das contas están significativamente sobreprovisionadas desde o primeiro día. 
 
 Angel Studios estaba en directo en 54 minutos cun intercambio de cordas de conexión e viu unha redución de custos do 60%. Tenable reduciu os custos do 33% e recuperou o 25% do tempo de enxeñaría en dúas semanas. Angel Studios estaba en directo en 54 minutos cun intercambio de cordas de conexión e viu unha redución de custos do 60%. Tenable reduciu os custos do 33% e recuperou o 25% do tempo de enxeñaría en dúas semanas. Onde non funciona tamén: equipos que xa investiron moito en optimización manual, cargas de traballo altamente irregulares sen patróns estables, ou ambientes onde a maior parte do custo é almacenamento ou transferencia de datos en vez de computación. O seu prezo é unha porcentaxe do aforro real - ningún aforro, ningún cargo. que é raro en SaaS empresarial. Ishan Pandey: Veu da convicción.Se o produto funciona, aliñar os aforros é honesto.Se non funciona para un ambiente específico, non deberíamos estar cargando. Ido Arieli Noga: Con CFOs, a conversación é sinxela. Realizamos un piloto de 30 días sen ningún custo. Se non xeramos aforros, non hai factura. Isto elimina completamente o risco de avaliación. A parte máis difícil é xeralmente a contratación - algúns equipos financeiros non teñen un cubo limpo para SaaS baseado en resultados. Pero unha vez que o entenden, o acordo é máis fácil de aprobar. A experimentación con IA está a crear unha nova versión do vello problema de residuos informáticos. Ishan Pandey: As cargas de traballo de IA son exploratorias e moitas veces abandonadas.Un equipo executa un experimento, remata ou queda cancelado, e a computación continúa funcionando. Ido Arieli Noga: Unha capa consciente da carga de traballo cambia o cálculo. Os equipos poden aumentar as cargas de traballo sen a ansiedade do custo habitual porque saben que a infraestrutura se axusta. que soa menor, pero elimina un punto de fricción real - deixas de preguntar "podemos darnos permiso para executar isto?" e comeza a preguntar "que aprendemos disto?" Tamén dá ao liderado de datos unha visibilidade real de onde vai o gasto de IA - por equipo, tipo de carga de traballo, resultado. Para un xefe de datos que trata de facturas imprevisibles e enxeñeiros atrapados no traballo infra - tres cousas para auditar esta semana, en calquera plataforma. Ishan Pandey: Primeiro, utilización computacional por ventá de tempo. A maioría dos ambientes teñen computación significativa durante as horas de pico. Rápido para atopar, rápido para arranxar. Ido Arieli Noga: Segundo, nivel de recursos vs demanda de consulta real. Trinta días de historial de consultas, agrupados por nivel de computación asignado. Se máis do 30% das consultas están a executarse ben por baixo da capacidade da súa capa, ten un problema de tamaño. Terceiro, sempre en recursos sen carga de traballo activa. Almacéns, aglomerados ou reservas de slots que nunca se suspenden completamente - xeralmente mal configurados ou mantidos vivos por un proceso de fondo. residuos puros, fixables rapidamente. Estás expandindo máis alá de Snowflake a BigQuery e Databricks. Ishan Pandey: A visión é unha capa de optimización unificada en todas as principais plataformas de datos - non unha ferramenta Snowflake, non unha ferramenta de custo. Ido Arieli Noga: Agora mesmo, executar unha plataforma de datos sen unha capa de optimización significa confiar en enxeñeiros para facer algo que debería ser automatizado. Cinco anos a partir de agora que vai ollar o mesmo como provisioning servidor manual parece hoxe - non errado, só innecesario. O cambio xa está a suceder.Infraestrutura de datos é agora a infraestrutura de negocio principal.As ferramentas ao seu redor deben coincidir con iso. Non esquezas gustar e compartir a túa historia!

This story contains new, firsthand information uncovered by the writer.

Hot off the press! This story contains factual information about a recent event.

Between Two Computer Monitors: This story includes an interview between the writer and guest/interviewee. 

Winner of Noonies 2020 for the award Hacker Noon Contributor of the Year - DATA.

2020 - Hacker Noon Contributor of the Year in DATA

Read My Stories

Este audio está producido na lingua orixinal da historia!

O CEO de Yuki sobre a optimización de custos de datos: por que a túa folla de neve e a conta de BigQuery son 40% e aumentan debido á IA

About Author

COMENTARIOS

Etiquetas colgantes

ESTE ARTIGO FOI PRESENTADO EN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Tech Companies Community!

Coñece R Systems: HackerNoon empresa da semana

HackerNoon Decoded 2024: Celebrating Our Writing Community!

HackerNoon Decoded 2024: Celebrating Our Society Community!

HackerNoon Decoded 2024: Celebrating Our Tech Companies Community!

Coñece R Systems: HackerNoon empresa da semana

HackerNoon Decoded 2024: Celebrating Our Writing Community!

HackerNoon Decoded 2024: Celebrating Our Society Community!

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps