Toda empresa que executa Snowflake ou BigQuery conhece o sentimento: a fatura mensal chega, é 40% maior do que o esperado, e ninguém pode explicar exatamente por que. equipes de dados estão gastando 10+ horas por semana manualmente modificando armazéns em vez de construir gasodutos. finanças está exigindo previsibilidade, engenharia está exigindo desempenho, e a resposta padrão, girando outro armazém, jogando mais computação nele, e isso simplesmente complica o problema! Ido Arieli Noga, CEO e co-fundador da , passou mais de 12 anos vivendo dentro deste ciclo, primeiro gerenciando ambientes de dados em grande escala no governo, depois como Chefe de Dados na Lightico, onde ele assistiu Snowflake custos espiral em primeira mão. Yuki Nesta entrevista, exploramos por que a abordagem padrão para a escalação da infraestrutura de dados está quebrada, o que as cargas de trabalho da era da IA estão fazendo com os orçamentos da nuvem e como a indústria precisa repensar a governação de custos de dados do zero. Olá Ido, bem-vindo à nossa série "Behind the Startup".Você trabalhou no governo, DevOps, arquitetura de dados e, eventualmente, chefe de dados na Lightico. Ishan Pandey: Minha equipe estava gastando 60% de seu tempo em infraestrutura - tamanho de armazém, custo de combate a incêndios, ajuste de consultas que não deveriam ter precisado de ajuste. Ido Arieli Noga: Eu sabia que o problema era resolvível. Eu tinha visto isso feito em DevOps - empresas como Spot.io construíram otimização autônoma para a infraestrutura de nuvem e funcionou. A mesma coisa não existia para plataformas de dados. Então eu cheguei a Yakir Daniel, co-fundador de Spot.io, colocou-lhe a ideia aplicada aos dados, e ele imediatamente conseguiu. Essa conversa se transformou em nosso primeiro investidor e um forte validador. Você já conversou com mais de 400 equipes de dados em Snowflake, BigQuery e Databricks. Ishan Pandey: A mesma frustração, independentemente da plataforma. Os engenheiros sabem que estão pagando demais. Eles podem vê-lo. Mas consertá-lo requer auditorias contínuas - armazém por armazém, carga de trabalho por carga de trabalho e ninguém tem largura de banda para isso. Ido Arieli Noga: As próprias plataformas dão-lhe opções limitadas.Você pode redimensionar um armazém, mas isso é um instrumento simples. 
 
 A otimização real ocorre no nível de consulta - cada consulta tem requisitos de computação diferentes, padrões de concorrência diferentes, tempos diferentes. Você não pode resolver isso movendo um deslizador. Você precisa de algo que olhe para cada consulta individualmente e tome a decisão de infraestrutura certa em tempo real. A otimização real ocorre no nível de consulta - cada consulta tem requisitos de computação diferentes, padrões de concorrência diferentes, tempos diferentes. Você não pode resolver isso movendo um deslizador. Você precisa de algo que olhe para cada consulta individualmente e tome a decisão de infraestrutura certa em tempo real. Os mais de 200 fornecedores neste espaço geralmente adicionam mais painéis.A lacuna é algo que funciona - continuamente, no nível de consulta, sem tocar no código do usuário. Espalhamento de armazém, uso indevido de slots, proliferação de clusters - plataformas diferentes, o mesmo problema. Ishan Pandey: Provisionar é fácil. Dimensionar a direita é difícil. Uma equipe precisa calcular para um novo caso de uso, girar algo e seguir em frente.Ninguém audita a utilização de dezenas de recursos em uma base contínua - a carga de trabalho muda a cada mês de qualquer forma. Ido Arieli Noga: Vemos isso consistentemente: no Snowflake, 40% das consultas de armazém médio poderiam ter sido executadas em armazém extra-pequeno. No BigQuery, as reservas de slots são rotineiramente 3-4x a demanda real. Os engenheiros não são descuidados - não é apenas um problema que é tratável manualmente em escala. Você está falando de tempo rápido para o valor. Como é uma implantação típica, e onde ela fica curta? Ishan Pandey: Estamos sentados entre o aplicativo e a plataforma de dados no nível de conexão.Vemos cada consulta em tempo real - tamanho, complexidade, concorrência, padrão histórico e o roteamos para computação de tamanho apropriado.Não há alterações de código porque não estamos tocando consultas. Ido Arieli Noga: A velocidade de impacto vem de quanto espaço de cabeça existe na maioria dos ambientes. A maioria das contas é significativamente sobreprovisionada a partir do primeiro dia. 
 
 Angel Studios foi ao vivo em 54 minutos com uma troca de cordas de conexão e viu 60% de redução de custos. Angel Studios foi ao vivo em 54 minutos com uma troca de cordas de conexão e viu 60% de redução de custos. Onde também não funciona: equipes que já investiram muito em otimização manual, cargas de trabalho altamente irregulares sem padrões estáveis, ou ambientes onde a maior parte do custo é armazenamento ou transferência de dados em vez de computação. Seu preço é uma porcentagem da poupança real - nenhuma poupança, nenhuma taxa. Isso é raro em SaaS corporativo. Ishan Pandey: Ele veio de convicção.Se o produto funciona, alinhando-se com a poupança é honesto.Se não funciona para um ambiente específico, não devemos estar cobrando. Ido Arieli Noga: Com os CFOs, a conversa é simples. Nós executamos um piloto de 30 dias sem nenhum custo. Se não gerarmos poupanças, não há fatura. Isso elimina completamente o risco de avaliação. A parte mais difícil é geralmente a aquisição - algumas equipes de financiamento não têm um balde limpo para o SaaS baseado em resultados. Mas uma vez que eles entendem isso, torna o acordo mais fácil de aprovar. A experimentação de IA está criando uma nova versão do velho problema de desperdício de computação. Ishan Pandey: As cargas de trabalho de IA são exploratórias e muitas vezes abandonadas. Uma equipe executa um experimento, termina ou é cancelada, e o computador continua funcionando. Ido Arieli Noga: Uma camada consciente da carga de trabalho altera o cálculo.As equipes podem aumentar as cargas de trabalho sem a ansiedade de custo habitual porque sabem que a infraestrutura se ajusta.Isso soa menor, mas remove um verdadeiro ponto de atrito - você pára de perguntar "podemos nos dar ao luxo de executar isso?" e começa a perguntar "o que aprendemos com isso?" Ele também dá visibilidade real à liderança de dados para onde os gastos com IA estão indo - por equipe, tipo de carga de trabalho, resultado. Para um chefe de dados lidando com contas imprevisíveis e engenheiros presos em infra-trabalho - três coisas para auditar esta semana, em qualquer plataforma. Ishan Pandey: Primeiro, utilização de computação por janela de tempo. A maioria dos ambientes tem computação sem tempo significativo durante as horas de pico. Rápido para encontrar, rápido para corrigir. Ido Arieli Noga: Segundo, nível de recursos versus demanda de consulta real. Trinta dias de histórico de consulta, agrupados por nível de computação alocado. Se mais de 30% das consultas estiverem sendo executadas bem abaixo da capacidade de seu nível, você tem um problema de dimensionamento. Terceiro, recursos sempre disponíveis sem carga de trabalho ativa. Armazéns, aglomerados ou reservas de slots que nunca são totalmente suspensas - geralmente erroneamente configuradas ou mantidas vivas por um processo de fundo. Você está expandindo além de Snowflake para BigQuery e Databricks. Ishan Pandey: A visão é uma camada de otimização unificada em todas as principais plataformas de dados - não uma ferramenta Snowflake, não uma ferramenta de custo. Ido Arieli Noga: Atualmente, executar uma plataforma de dados sem uma camada de otimização significa confiar em engenheiros para fazer algo que deve ser automatizado. Cinco anos a partir de agora que vai olhar da mesma forma que o provisionamento de servidor manual parece hoje - não errado, apenas desnecessário. A mudança já está acontecendo.Infraestrutura de dados é agora a infraestrutura de negócios principal.As ferramentas em torno dela precisam corresponder a isso. Não se esqueça de gostar e compartilhar a história!

This story contains new, firsthand information uncovered by the writer.

Hot off the press! This story contains factual information about a recent event.

Between Two Computer Monitors: This story includes an interview between the writer and guest/interviewee. 

Winner of Noonies 2020 for the award Hacker Noon Contributor of the Year - DATA.

2020 - Hacker Noon Contributor of the Year in DATA

Read My Stories

Este áudio é produzido no idioma original da história!

CEO Yuki sobre otimização de custos de dados: por que seu Snowflake e BigQuery Bill é 40% e cresce devido à IA

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

De fóruns a feeds: como os algoritmos de mídia social moldam a interação digital

Aumente sua produtividade com estas 18 ferramentas para desenvolvedores 🚀🔥

Liberando o poder da IA. Uma revisão sistemática de técnicas de ponta: resumo e introdução

Criando produtos criptográficos centrados no usuário: a importância do feedback do cliente

De fóruns a feeds: como os algoritmos de mídia social moldam a interação digital

Aumente sua produtividade com estas 18 ferramentas para desenvolvedores 🚀🔥

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps