O correo electrónico chegou ás 3:47 p.m. nun venres. "O noso panel de análise leva 4 minutos para cargar.Os usuarios están queixándose.Podemos arranxar isto?" Estabamos gastando $ 8.000 ao mes nunha base de datos que estaba basicamente facendo matemáticas en follas de cálculo. O meu xefe fixo a pregunta que todos os enxeñeiros temen: "E se só ... usásemos unha base de datos diferente?" É moi sinxelo.¿Cal é? Esta fin de semana fixemos unha lista: 
 
 
 
 
 
 
 
 
 ClickHouse (todo o mundo di que é rápido) DuckDB (a nova hotness) PostgreSQL (o que estamos a usar agora) Snowflake (o que os nosos competidores usan) TimescaleDB (alguén en Reddit recomendou) MongoDB (por que non) Elasticsearch (xa o temos) MySQL (só para ver o mal que pode ser) Entón fixen o que calquera persoa razoable faría: decidín probar todos eles cos mesmos datos e ver o que pasou. Esta é esa historia. A mesma pregunta, oito respostas diferentes Imaxina que necesitas contar cada coche vermello que pasou pola túa casa o mes pasado. Ti poderías: 
 
 
 
 Escribe-lo nun caderno de notas como pasan (como unha base de datos tradicional) Tome fotos de cada coche e ordenalos máis tarde (como unha base de datos de documentos) Só hai que contar os vermellos e ignorar todo o demais (como unha base de datos de columnas). Cada método funciona.Pero cal é o máis rápido?Cal é o que custa menos?Cal rompe cando o seu veciño comeza a aparcar 50 coches vermellos na súa rúa? Tiña que saber. Eu saquei 6 meses de datos de comercio electrónico real do noso almacén: The Dataset: 
 
 
 
 
 847 millóns de eventos de compra individual 120 millóns de clientes únicos 450 millóns de produtos Aproximadamente 180 GB de datos brutos Cinco preguntas sinxelas que cada panel de análise pregunta: The Test: 
 
 
 
 
 
 Canto diñeiro gañamos cada día? Cales foron os nosos 10 mellores produtos este mes? Que clientes gastan máis? Cal é o noso valor medio de pedido por país? Mostra-me o historial completo de compras dun cliente O tipo de preguntas que soan sinxelas ata que ten 847 millóns de liñas para mirar a través. Luns pola mañá: descarga de datos Primeira sorpresa: non todos comen datos do mesmo xeito. Tardou 4 horas en cargar todo.Como ver a pintura seca, pero a pintura é números. PostgreSQL rematou en 47 minutos. Comprimiu os datos tanto que 180 GB converteuse en 23 GB. Comprobei tres veces para asegurarme de que non faltaba nada. ClickHouse Nin sequera quería "cargar" os datos. Só ... le-lo directamente dos arquivos. "Por que movelo?" parecía preguntar. DuckDB Tardou 11 horas. once horas. Comecei a carga antes de durmir, e aínda estaba indo para o almorzo. MongoDB Eu subín os arquivos, e dixo, "Grazas, vou volver a ti." Entón fixo algún procesamento no fondo que eu non podía ver. Snowflake Custo ata agora: $ 47 en tempo de cálculo só para mover os datos. Martes: A primeira petición “Canto diñeiro gañamos cada día?” Esta é a pregunta máis sinxela posible. engade todas as compras; agrupa-las por data. Results: 
 
 
 
 
 
 
 
 
 ClickHouse: 0,3 segundos DuckDB: 0,4 segundos PostgreSQL: 43 segundos TimescaleDB: 12 segundos MongoDB: 2 minutos, 17 segundos (entón caeu) Bandeira de neve: 1,8 segundos Elasticsearch: 8 segundos MySQL: Parouno despois de 5 minutos Déixeme poñer isto en perspectiva. PostgreSQL - a base de datos que estamos a usar actualmente - levou o tempo necesario para microondas un burrito. MongoDB tivo que pensar sobre iso máis tempo que a miña pausa de café, entón desistiu por completo. Pero aquí é onde se fai interesante. Os custos ocultos A velocidade non é todo, ás veces o coche máis rápido ten o peor quilometraxe de gas. Executei cada consulta 100 veces e medín o que realmente custaba: PostgreSQL: 
 
 
 
 Tempo de solicitude: 43 segundos Custo por solicitude: $0.02 Custo mensual (100 consultas / día): $ 60 ClickHouse: 
 
 
 
 Tempo de solicitude: 0,3 segundos Custo por solicitude: $0.03 Custo mensual (100 consultas / día): $ 90 Xa está aquí: ClickHouse por consulta, aínda que fose 140 veces máis rápido? máis caro É como comparar un Prius a un Ferrari: o Ferrari é máis rápido, pero bebe gas. DuckDB: 
 
 
 
 Tempo de solicitude: 0,4 segundos Custo por solicitude: $0.00 Custo mensual: $ 0 (executa no servidor de aplicacións que xa temos) Isto cambiou todo. Sábado: Preguntas complexas "Mostra-me o historial de compras dun cliente específico" requiriu mirar a través de todas as 847 millóns de liñas para atopar quizais 50 compras. Aquí é onde se atopan as diferenzas . Estraño Test: Find customer #8472's purchases 
 
 
 
 
 Clash of Clans: 0.9 segundos (escaneado todo, atoparon 47 compras) PostgreSQL: 0.2 segundos (ten un índice, saltou dereito a eles) DuckDB: 1.2 segundos (escaneado todo como ClickHouse) MongoDB: 0.1 segundos (construído para iso) PostgreSQL - a base de datos "lenta" - acaba de gañar. Porque ás veces a ferramenta correcta non é a máis rápida en todo. Xoves: cando todo se rompe Quería ver o que acontece cando empuxas estes sistemas demasiado. Entón fixen algo estúpido: executei as cinco consultas ao mesmo tempo, 50 veces cada unha. Atrasouse proporcionalmente. 43 segundos convertéronse en 3 minutos. PostgreSQL: Aínda 0.3 segundos por consulta. Só queimado a través da CPU como se fose libre. ClickHouse: Accidente. Acabo de morrer completamente. Resulta, cando o executas dentro da túa aplicación, comparte recursos con todo o demais. . DuckDB: todo Custoume $ 12 por 10 minutos de traballo.Entón me enviou un e-mail alegre sobre "consellos de optimización de custos de cálculo". Snowflake: As consultas estaban a executarse, pero os resultados parecían... equivocados? MongoDB: Sexta feira: O que ninguén fala Sabes o que ninguén menciona nesas publicacións de blog "Comparativa de bases de datos"? O mantemento. O noso equipo de DevOps xa o sabe. Custo da formación: $0. PostgreSQL: Tiven que aprender un novo idioma de consulta.A documentación sentíase como se fose traducida do ruso por alguén que se molestou comigo.Custo da formación: probablemente $10k se contratamos un experto. ClickHouse: Ler os documentos en 2 horas. Construír un prototipo nun día. Custo de adestramento: basicamente ningún. DuckDB: Chamado vendas tres veces para entender a nosa factura. aínda non 100% seguro de como o seu prezo funciona. Snowflake: O que realmente aprendín Despois de dúas semanas de probas, aquí está o que descubrín: Non hai unha base de datos "mellor" É como preguntar: "Cal é o mellor vehículo?" Vostede é: 
 
 
 
 
 Trasladar unha persoa a través da cidade? Trasladar unha familia? Transporte de 40 persoas (bus) Viaxar 500 persoas? (avión) Diferentes tarefas requiren diferentes ferramentas. As tendas de columnas son verdadeiramente máxicas (para certas cousas) ClickHouse e DuckDB almacenan datos por en vez de por . unha columna Rúa Imaxina unha folla de cálculo cun millón de liñas. Se queres engadir unha columna, non tes que mirar as outras columnas en absoluto. Para as consultas "Adicionar todas as vendas", isto é 100-1000x máis rápido. Para as consultas "mostra-me todo sobre o cliente #8472", é realmente máis lento. A velocidade custa diñeiro (ás veces) ClickHouse estaba executando as nosas consultas sinxelas máis rápido do que eu podería piscar, pero tamén estaba usando 16 núcleos de CPU para facelo. DuckDB era case tan rápido como a nosa aplicación existente. sen novos servidores. sen novos custos. O custo real non é a base de datos É o tempo que o teu equipo gasta: 
 
 
 
 Aprendendo a Debuxar iso Explicar ao seu xefe por que a factura subiu PostgreSQL foi "lento" nas nosas consultas agregadas, pero foi rápido o suficiente e o noso equipo xa sabía como usalo. Ás veces "bastante bo e familiar" bate "perfecto e confuso". O que realmente fixen Lembrades aquela factura de 8.000 €/mes? Non substituímos a base de datos. En lugar diso, eu: 
 
 
 
 Manteña PostgreSQL para as cousas transaccionais (contas de usuario, pedidos, catálogo de produtos) Engadido DuckDB para o panel de análise (executa xunto á nosa aplicación, sen nova infraestrutura) Pre-calculado as consultas caras unha vez por hora (almacenou os resultados, serviu-los rápido) Novo custo mensual: $ 8.100 ($ 100 para o servidor DuckDB) Tempo de carga do dashboard: 4 minutos → 0,8 segundos A reacción do xefe: "Por que non fixemos isto antes?" A resposta do enxeñeiro: "Porque ás veces necesitas probar oito bases de datos para descubrir que só precisas 0,2 de unha". Os números de referencia actuais (para os nerds) Se queres os datos brutos, aquí está o que medín: Pregunta 1: Agregación diaria de ingresos (847M liñas → 180 resultados) ClickHouse:     0.31s  ($0.03/query)  
DuckDB:         0.42s  ($0.00/query)
Snowflake:      1.80s  ($0.12/query)
TimescaleDB:   12.00s  ($0.02/query)
PostgreSQL:    43.00s  ($0.02/query)
Elasticsearch:  8.00s  ($0.04/query)
MySQL:        300.00s+ (stopped it)
MongoDB:      137.00s  (then crashed)
 Pregunta 2: Top 10 produtos por ingresos ClickHouse:     0.28s
DuckDB:         0.51s
Snowflake:      2.10s
PostgreSQL:    67.00s
TimescaleDB:   18.00s
 Pregunta 3: Busca de clientes (atopa 1 de 47 compras de clientes) MongoDB:        0.11s  (indexed)
PostgreSQL:     0.23s  (indexed)
MySQL:          0.31s  (indexed)
ClickHouse:     0.94s  (full scan)
DuckDB:         1.18s  (full scan)
TimescaleDB:    0.41s  (indexed)
 Tempo de carga de datos (180 GB) DuckDB:          0m  (reads files directly)
ClickHouse:     47m  (compressed to 23 GB)
MySQL:          89m
TimescaleDB:   142m
PostgreSQL:    238m
Snowflake:     ???  (async, took ~30m but unclear)
MongoDB:       687m  (11+ hours)
 Capacidade de almacenamento (180 GB) ClickHouse:     23 GB  (87% compression)
DuckDB:        180 GB  (0%, reads source files)
PostgreSQL:    340 GB  (89% overhead - indexes)
MongoDB:       520 GB  (189% overhead)
Snowflake:      41 GB  (77% compression)
TimescaleDB:    89 GB  (51% overhead)
 Conclusión Para agregar millóns de liñas, use unha tenda de columnas (ClickHouse/DuckDB). Para atopar rexistros específicos: use unha tenda de liñas con índices (PostgreSQL/MongoDB). Para todo: use os dous e deixe de tentar facer que unha base de datos faga todo. A cousa que ninguén che di sobre as bases de datos: o mellor non é o máis rápido.É o que o teu equipo pode realmente usar sen chamarche ás 3 da mañá.

Read My Stories

Este audio está producido na lingua orixinal da historia!

Pasei dúas semanas probando 8 bases de datos coa mesma pregunta - Aquí está o que realmente pasou

About Author

COMENTARIOS

Etiquetas colgantes

ESTE ARTIGO FOI PRESENTADO EN

Related Stories

HackerNoon Decoded 2024: Celebrating Our Science Community!

HackerNoon Decoded 2024: Celebrating Our Writing Community!

HackerNoon Decoded 2024: Celebrating Our Society Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

HackerNoon Decoded 2024: Celebrating Our Science Community!

HackerNoon Decoded 2024: Celebrating Our Writing Community!

HackerNoon Decoded 2024: Celebrating Our Society Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps