Электронное письмо поступило в 3:47 вечера в пятницу. «Наша аналитическая панель занимает 4 минуты, чтобы загрузить. Пользователи жалуются. Мы тратили $8,000 в месяц на базу данных, которая в основном делала математику на таблицах. Мой босс задавал вопрос, который каждый инженер боится: «Что, если бы мы просто... использовали другую базу данных?» Легко ли? какой из них? В эти выходные я сделал список: 
 
 
 
 
 
 
 
 
 ClickHouse (все говорят, что это быстро) DuckDB (Новая Горькость) PostgreSQL (что мы используем сейчас) Snowflake (что используют наши конкуренты) TimescaleDB (кто-то на Reddit рекомендовал его) MongoDB (потому что почему бы и нет) Elasticsearch (у нас уже есть) MySQL (просто чтобы увидеть, как плохо это может быть) Затем я сделал то, что сделал бы любой разумный человек: я решил проверить их все с теми же данными и посмотреть, что случилось. Вот эта история. Набор: один и тот же вопрос, восемь разных ответов Представьте, что вам нужно было пересчитать каждый красный автомобиль, проехавший мимо вашего дома в прошлом месяце. Вы могли бы: 
 
 
 
 Запишите его в записной книжке, как они проходят (как традиционная база данных) Снимайте фотографии каждого автомобиля и сортируйте их позже (как базу документов) Просто подсчитайте красные и игнорируйте все остальное (например, базу данных колонн-магазина). Но какой самый быстрый? какой самый дешевый? какой разрывается, когда ваш сосед начинает парковать 50 красных автомобилей на вашей улице? Мне нужно было знать. Я захватил 6 месяцев реальных данных электронной коммерции из нашего склада: The Dataset: 
 
 
 
 
 847 миллионов индивидуальных покупок 120 миллионов уникальных клиентов 450 000 товаров Около 180 ГБ сырых данных Пять простых вопросов, которые задает каждая аналитическая панель: The Test: 
 
 
 
 
 
 Сколько денег мы зарабатывали каждый день? Какие были наши 10 лучших продуктов в этом месяце? Какие клиенты тратят больше всего? Какая средняя стоимость заказа по странам? Показать полную историю покупок клиента Такие вопросы, которые звучат просто, пока у вас не будет 847 миллионов строк. Понедельник утром: загрузка данных Первый сюрприз: не все едят данные одинаково. Потребовалось 4 часа, чтобы загрузить все.Как смотреть, как краска сушится, но краска - это цифры. PostgreSQL Он сжал данные настолько, что 180 ГБ стали 23 ГБ. Я проверил три раза, чтобы убедиться, что ничего не хватает. ClickHouse Он даже не хотел «загружать» данные. Он просто... прочел его прямо из файлов. «Почему перемещать его?» он казался спрашивать. DuckDB 11 часов. одиннадцать часов. Я начал нагрузку перед сном, и она все еще шла на завтрак. MongoDB Я загрузил файлы, и он сказал: "Спасибо, я вернусь к вам." Затем он сделал некоторую обработку на фоне, что я не мог видеть. Snowflake Стоимость до сих пор: $ 47 в вычислительное время только для перемещения данных. Вторник: Первое желание «Сколько денег мы зарабатывали каждый день?» Добавьте все покупки; группируйте их по дате. Results: 
 
 
 
 
 
 
 
 
 ClickHouse: 0,3 секунды DuckDB: 0,4 секунды PostgreSQL: 43 секунды TimescaleDB: 12 секунд MongoDB: 2 минуты, 17 секунд (потом разбился) Снегопад: 1,8 секунды Эластичный поиск: 8 секунд MySQL: я остановил его через 5 минут Позвольте мне поставить это в перспективе. PostgreSQL — база данных, которую мы в настоящее время используем — заняла столько времени, сколько потребовалось для микроволновки. MongoDB пришлось думать об этом дольше моего перерыва на кофе, а затем полностью отказаться. Но вот где становится интересно. Скрытые расходы Скорость – это не все.Иногда самый быстрый автомобиль имеет худший газовый пробег. Я запустил каждый запрос 100 раз и измерил, сколько это действительно стоило: PostgreSQL: 
 
 
 
 Время поиска: 43 секунды Стоимость за запрос: $0.02 Месячная стоимость (100 запросов / день): $60 ClickHouse: 
 
 
 
 Время поиска: 0,3 секунды Стоимость за запрос: $0.03 Месячная стоимость (100 запросов / день): $90 Долгожданный клик был по запросу, даже если он был в 140 раз быстрее? дороже Это как сравнивать Prius с Ferrari — Ferrari быстрее, но он пьет газ. DuckDB: 
 
 
 
 Время поиска: 0,4 секунды Стоимость за запрос: $0.00 Ежемесячная стоимость: $0 (идет на сервере приложений, который у нас уже есть) Это изменило все. Среда: сложные вопросы «Покажите мне историю покупок конкретного клиента» требовало просмотреть все 847 миллионов строк, чтобы найти, возможно, 50 покупок. Вот где появились различия . Странный Test: Find customer #8472's purchases 
 
 
 
 
 ClickHouse: 0.9 секунды (сканировано все, найдено 47 покупок) PostgreSQL: 0.2 секунды (имел индекс, прыгнул прямо к ним) DuckDB: 1.2 секунды (сканировано все как в ClickHouse) MongoDB: 0.1 секунды (создано для этого) PostgreSQL — «медленная» база данных — только что выиграла. Потому что иногда правильный инструмент не самый быстрый во всем. Четверг: когда все сломалось Я хотел посмотреть, что происходит, когда вы нажимаете эти системы слишком сильно. Так что я сделал что-то глупое: я выполнил все пять запросов одновременно, по 50 раз каждый. Пропорционально замедлился. 43 секунды стали 3 минутами. PostgreSQL: Все еще 0.3 секунды за запрос. Просто сгорел через CPU, как будто это было бесплатно. ClickHouse: Провалился.Только что полностью умер. Оказывается, когда вы запускаете его в своем приложении, он разделяет ресурсы со всем остальным. . DuckDB: Всего Он заплатил мне 12 долларов за 10 минут работы, а затем отправил мне веселый e-mail о «советах по оптимизации расходов на вычисление». Snowflake: Я, честно говоря, не уверен, что он делал.Запросы были запущены, но результаты казались... неправильными?Как это было падать данные?Я никогда не задумывался. MongoDB: Пятница: часть, о которой никто не говорит Знаете ли вы, что никто не упоминает в этих блогах «Сравнение баз данных»? на содержание . Наша команда DevOps уже знает об этом.Стоимость обучения: $0. PostgreSQL: Мне пришлось выучить совершенно новый язык запросов.Документация словно была переведена с русского языка кем-то, кто раздражался на меня.Стоимость обучения: вероятно, $10 000, если мы нанимаем эксперта. ClickHouse: Прочитайте документы за 2 часа. Постройте прототип за один день. Стоимость обучения: в основном нет. DuckDB: Звонил продажи три раза, чтобы понять наш счёт. все еще не на 100% уверен, как их ценообразование работает. Snowflake: Чему я действительно научился После двух недель тестирования, вот что я понял: Нет «лучшей» базы данных Это все равно, что спросить: «Какой автомобиль лучший?» Это вы: 
 
 
 
 
 Перемещение одного человека через город? (велосипед) Переехать с семьей? → Возможен переезд 40 человек (автобус) Перемещение 500 человек? (самолет) Разные профессии требуют разных инструментов. Колонные магазины действительно волшебны (для некоторых вещей) ClickHouse и DuckDB хранилища данных Вместо того чтобы . Колонна Роу Представьте себе таблицу с миллионом строк. Если вы хотите добавить одну колонку, вам совсем не нужно смотреть на другие колонки. Для запросов «добавить все продажи» это в 100-1000 раз быстрее. Для запросов "покажите мне все о клиенте #8472", это на самом деле медленнее. Скорость стоит денег (иногда) ClickHouse запускал наши простые запросы быстрее, чем я мог мигать, но он также использовал 16 ядер процессора для этого. DuckDB был почти таким же быстрым, но работал внутри нашего существующего приложения. Реальная стоимость – это не база данных Это время, которое проводит ваша команда: 
 
 
 
 Учиться это Дебютировать его Объясните своему начальнику, почему законопроект поднялся PostgreSQL был «медленным» в наших совокупных запросах, но он был достаточно быстрым, и наша команда уже знала, как его использовать. Иногда «достаточно хорошо и знакомо» бьет «совершенно и запутанно». Что я на самом деле сделал Помните этот счет в $8000/месяц? Я не заменил базу данных. Вместо этого я: 
 
 
 
 Оставьте PostgreSQL для транзакционных вещей (аккаунты пользователей, заказы, каталог продуктов) Добавлено DuckDB для аналитической панели (работает рядом с нашим приложением, нет новой инфраструктуры) Предварительно рассчитывали дорогостоящие запросы один раз в час (хранили результаты, быстро обслуживали) Новая ежемесячная стоимость: $8,100 ($100 для сервера DuckDB) Время загрузки панели: 4 минуты → 0,8 секунды Реакция босса: «Почему мы этого не сделали раньше?» Ответ инженера: «Потому что иногда вам нужно проверить восемь баз данных, чтобы выяснить, что вам нужно только 0,2 из одной». Фактические цифры бенчмарка (для нервов) Если вы хотите сырые данные, вот что я измерил: Запрос 1: Ежедневная агрегация доходов (847М рядов → 180 результатов) ClickHouse:     0.31s  ($0.03/query)  
DuckDB:         0.42s  ($0.00/query)
Snowflake:      1.80s  ($0.12/query)
TimescaleDB:   12.00s  ($0.02/query)
PostgreSQL:    43.00s  ($0.02/query)
Elasticsearch:  8.00s  ($0.04/query)
MySQL:        300.00s+ (stopped it)
MongoDB:      137.00s  (then crashed)
 Вопрос 2: Топ 10 продуктов по доходам ClickHouse:     0.28s
DuckDB:         0.51s
Snowflake:      2.10s
PostgreSQL:    67.00s
TimescaleDB:   18.00s
 Запрос 3: Поиск клиентов (Найти 1 из 47 покупок клиента) MongoDB:        0.11s  (indexed)
PostgreSQL:     0.23s  (indexed)
MySQL:          0.31s  (indexed)
ClickHouse:     0.94s  (full scan)
DuckDB:         1.18s  (full scan)
TimescaleDB:    0.41s  (indexed)
 Время загрузки данных (180 ГБ) DuckDB:          0m  (reads files directly)
ClickHouse:     47m  (compressed to 23 GB)
MySQL:          89m
TimescaleDB:   142m
PostgreSQL:    238m
Snowflake:     ???  (async, took ~30m but unclear)
MongoDB:       687m  (11+ hours)
 Эффективность хранения данных (180 ГБ) ClickHouse:     23 GB  (87% compression)
DuckDB:        180 GB  (0%, reads source files)
PostgreSQL:    340 GB  (89% overhead - indexes)
MongoDB:       520 GB  (189% overhead)
Snowflake:      41 GB  (77% compression)
TimescaleDB:    89 GB  (51% overhead)
 Заключение Для агрегирования миллионов строк используйте хранилище столбцов (ClickHouse/DuckDB). Для поиска конкретных записей используйте строчный магазин с индексами (PostgreSQL/MongoDB). Для всего: используйте оба и перестаньте пытаться сделать одну базу данных сделать все. То, что никто не говорит вам о базах данных: лучший не самый быстрый.Это тот, который ваша команда может фактически использовать, не позвонив вам в 3 утра.

Read My Stories

Этот звук создан на языке оригинала истории!

Я провел две недели, тестируя 8 баз данных с одним и тем же вопросом - вот что на самом деле произошло

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Хотите выиграть конкурс HackerNoon? Вот что рекомендуют победители конкурса #crypto-api

Valhalla Флоки станет ассоциированным спонсором индийского тура по Шри-Ланке

Невидимые слои: почему интервью с пользователями являются незаменимым активом

Утечка информации о системе Claude Sonnet 3.5: судебно-медицинский анализ

Хотите выиграть конкурс HackerNoon? Вот что рекомендуют победители конкурса #crypto-api

Valhalla Флоки станет ассоциированным спонсором индийского тура по Шри-Ланке

Невидимые слои: почему интервью с пользователями являются незаменимым активом

Утечка информации о системе Claude Sonnet 3.5: судебно-медицинский анализ

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps