Каждое предприятие, управляющее Snowflake или BigQuery, знает это ощущение: ежемесячный счет приходит, он на 40% выше, чем ожидалось, и никто точно не может объяснить, почему. команды данных тратят 10+ часов в неделю на ручное переоборудование складов, а не на строительство трубопроводов. Идо Ариэли Нога, генеральный директор и соучредитель , провел более 12 лет, живу в этом цикле, сначала управляя масштабными средами данных в правительстве, а затем в качестве руководителя данных в Lightico, где он смотрел, как Snowflake стоит спираль из первых рук. Юки В этом интервью мы исследуем, почему нарушается стандартный подход к масштабированию инфраструктуры данных, что рабочие нагрузки эпохи ИИ делают для облачных бюджетов, и как отрасли нужно переосмыслить управление затратами на данные с нуля. Здравствуйте Идо, добро пожаловать в нашу серию "За стартапом".Вы работали в правительстве, DevOps, архитектуре данных и, в конечном счете, начальник управления данными в Lightico. Ishan Pandey: Моя команда тратила 60% своего времени на инфраструктуру - размещение склада, затраты на борьбу с пожарами, настройку запросов, которые не должны были нуждаться в настройке. Ido Arieli Noga: Я знал, что проблема может быть решена. Я видел, что это сделано в DevOps - компании, такие как Spot.io, построили автономную оптимизацию для облачной инфраструктуры, и это сработало. То же самое не существовало для платформ данных. Так что я обратился к Якиру Даниэлю, сооснователю Spot.io, поставил ему идею, применимую к данным, и он сразу получил ее. Вы разговаривали с более чем 400 командами данных по Snowflake, BigQuery и Databricks. Ishan Pandey: То же самое разочарование, независимо от платформы. Инженеры знают, что они переплачивают. Они могут это видеть. Но для его исправления требуется постоянный аудит - склад по складу, рабочая нагрузка по рабочей нагрузке, и никто не имеет для этого пропускной способности. Ido Arieli Noga: Сами платформы дают вам ограниченные варианты.Вы можете изменить размер склада, но это простой инструмент. 
 
 Реальная оптимизация происходит на уровне запроса – у каждого запроса разные вычислительные требования, разные парадигмы совпадения, разные сроки. Вы не можете решить это, переместив слайдер. Вам нужно что-то, что смотрит на каждый запрос индивидуально и делает правильное решение инфраструктуры в реальном времени. Реальная оптимизация происходит на уровне запроса – у каждого запроса разные вычислительные требования, разные парадигмы совпадения, разные сроки. Вы не можете решить это, переместив слайдер. Вам нужно что-то, что смотрит на каждый запрос индивидуально и делает правильное решение инфраструктуры в реальном времени. Более 200 поставщиков в этом пространстве в основном добавляют больше панелей. Пробел - это то, что действует - непрерывно, на уровне запроса, не касаясь кода пользователя. Распространение складов, злоупотребление слотами, распространение кластеров - разные платформы, одна и та же проблема. Ishan Pandey: Провизионирование легко. Правый размер сложно. Команда нуждается в вычислении для нового случая использования, поворачивает что-то вверх и продолжает. Никто не проверяет использование десятков ресурсов на постоянной основе - рабочая нагрузка меняется каждый месяц. Ido Arieli Noga: Мы видим это последовательно: на Snowflake 40% запросов на средние склады могли быть выполнены на чрезвычайно малых. На BigQuery резервации игровых автоматов регулярно в 3-4 раза превышают реальный спрос. Как выглядит типичное развертывание, и где оно сокращается? Ishan Pandey: Мы сидим между приложением и платформой данных на уровне соединения.Мы видим каждый запрос в реальном времени — размер, сложность, параллель, историческую закономерность и направляем его в соответствующий размер вычисления. Ido Arieli Noga: Скорость воздействия зависит от того, сколько головной комнаты существует в большинстве сред. Большинство счетов значительно переработаны с первого дня. 
 
 Angel Studios была в живых за 54 минуты с подключением смены струн и увидела снижение затрат на 60%. Tenable сократила затраты на 33% и вернула 25% инженерного времени за две недели. Angel Studios была в живых за 54 минуты с подключением смены струн и увидела снижение затрат на 60%. Tenable сократила затраты на 33% и вернула 25% инженерного времени за две недели. Там, где это также не работает: команды, которые уже вложили большие средства в ручную оптимизацию, очень нерегулярные нагрузки без стабильных шаблонов или среды, где большая часть затрат приходится на хранение или передачу данных, а не на вычисление. Ваше ценообразование - это процент фактических сбережений - никаких сбережений, никаких сборов.Это редкость в корпоративном SaaS. Почему и как это приземляется с финансовыми директорами? Ishan Pandey: Это произошло из убеждения.Если продукт работает, согласование с экономией честно.Если он не работает для определенной среды, мы не должны взимать плату. Ido Arieli Noga: С финансовыми директорами разговор прост. Мы управляем 30-дневным пилотом без затрат. Если мы не генерируем сбережения, то нет счета-фактуры. Это полностью устраняет риск оценки. Тяжелейшая часть обычно заключается в закупках - некоторые финансовые команды не имеют чистой баки для SaaS, основанной на результатах. Эксперименты с ИИ создают новую версию старой проблемы с вычислительными отходами. Ishan Pandey: Рабочие нагрузки ИИ являются исследовательскими и часто брошенными. Команда проводит эксперимент, он заканчивается или отменяется, а вычислительная система продолжает работать. Ido Arieli Noga: Рабочий слой, осведомленный о нагрузке, изменяет расчет. Команды могут увеличивать нагрузки без привычного тревоги из-за затрат, потому что они знают, что инфраструктура корректируется. Это звучит незначительно, но это снимает реальную точку трения - вы перестаете спрашивать: «Можем ли мы позволить себе это?» и начинаете спрашивать: «Что мы из этого узнаем?» Это также дает лидерству данных реальную видимость того, куда идет расход ИИ - по команде, типу рабочей нагрузки, результату. Для руководителя данных, занимающегося непредсказуемыми счетами, и инженеров, застрявших в инфраработе - три вещи, которые нужно проверить на этой неделе, на любой платформе. Ishan Pandey: Во-первых, вычислительное использование по часовому окну.Большинство сред имеют значительную неработоспособность вычислений во время вне пиковых часов. Ido Arieli Noga: Во-вторых, уровень ресурсов по сравнению с фактическим спросом на запрос. Тридцать дней истории запросов, сгруппированных по выделенному уровню вычислений. Если более 30% запросов работают значительно ниже их емкости уровня, у вас есть проблема с размером. В-третьих, всегда доступные ресурсы без активной рабочей нагрузки. склады, кластеры или резервы слотов, которые никогда полностью не приостанавливаются — обычно неправильно настроены или сохраняются в живых в результате фонового процесса. Вы расширяетесь за пределы Snowflake до BigQuery и Databricks. Ishan Pandey: Видение - это единый уровень оптимизации на всех основных платформах данных - не инструмент Snowflake, не инструмент затрат. Ido Arieli Noga: В настоящее время, запуск платформы данных без уровня оптимизации означает полагаться на инженеров для того, чтобы сделать что-то, что должно быть автоматизировано.Пять лет спустя это будет выглядеть так же, как и ручное обеспечение серверов сегодня - не неправильно, просто ненужно. Переход уже происходит.Инфраструктура данных теперь является основной бизнес-инфраструктурой. Не забудьте понравиться и поделиться историей!

This story contains new, firsthand information uncovered by the writer.

Hot off the press! This story contains factual information about a recent event.

Between Two Computer Monitors: This story includes an interview between the writer and guest/interviewee. 

Winner of Noonies 2020 for the award Hacker Noon Contributor of the Year - DATA.

2020 - Hacker Noon Contributor of the Year in DATA

Read My Stories

Этот звук создан на языке оригинала истории!

CEO Юки по оптимизации затрат на данные: почему ваш снегопад и бигкуэри-счет на 40% и растут из-за ИИ

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Рост криптовалют: создание эффективных образов пользователей

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Хотите выиграть конкурс HackerNoon? Вот что рекомендуют победители конкурса #crypto-api

Утечка информации о системе Claude Sonnet 3.5: судебно-медицинский анализ

Рост криптовалют: создание эффективных образов пользователей

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Хотите выиграть конкурс HackerNoon? Вот что рекомендуют победители конкурса #crypto-api

Утечка информации о системе Claude Sonnet 3.5: судебно-медицинский анализ

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps