El correo electrónico llegó a las 3:47 p.m. un viernes. "Nuestro panel de análisis tarda 4 minutos en cargar.Los usuarios se quejan. ¿Podemos arreglar esto?" Estábamos gastando $8.000 al mes en una base de datos que básicamente estaba haciendo matemáticas en hojas de cálculo. Mi jefe hizo la pregunta que todos los ingenieros temen: “¿Qué pasaría si... usásemos una base de datos diferente?” Es fácil, ¿cuál de ellos? Este fin de semana hice una lista: 
 
 
 
 
 
 
 
 
 ClickHouse (todo el mundo dice que es rápido) DuckDB (la nueva resistencia) PostgreSQL (lo que estamos usando ahora) Snowflake (lo que nuestros competidores usan) TimescaleDB (alguien en Reddit lo recomendó) MongoDB (por qué no) Elasticsearch (ya lo tenemos) MySQL (sólo para ver lo malo que puede ser) Luego hice lo que cualquier persona razonable haría: decidí probarlos todos con los mismos datos y ver lo que pasó. Esta es esa historia. La misma pregunta, ocho respuestas diferentes Piensa de esta manera: Imagina que necesitabas contar cada coche rojo que pasaba por tu casa el mes pasado. Usted puede: 
 
 
 
 Escribirlo en un cuaderno a medida que pasan (como una base de datos tradicional) Tome fotos de cada coche y ordenarlas más tarde (como una base de datos de documentos) Basta con contar los rojos y ignorar todo lo demás (como una base de datos de la tienda de columnas) Pero ¿cuál es el más rápido? ¿cuál cuesta menos? ¿cuál se rompe cuando tu vecino empieza a aparcar 50 coches rojos en tu calle? Necesitaba saber. He extraído 6 meses de datos de comercio electrónico real de nuestro almacén: The Dataset: 
 
 
 
 
 847 millones de compras individuales 120 millones de clientes únicos 450.000 productos Aproximadamente 180 GB de datos en bruto Cinco preguntas simples que cada panel de análisis hace: The Test: 
 
 
 
 
 
 ¿Cuánto dinero ganamos todos los días? ¿Cuáles fueron nuestros 10 mejores productos este mes? ¿Qué clientes gastan más? ¿Cuál es nuestro valor medio de pedido por país? Mostrar el historial completo de compras de un cliente El tipo de preguntas que suenan simples hasta que tienes 847 millones de líneas para mirar. Lunes por la mañana: descarga de datos Primera sorpresa: no todos comen datos de la misma manera. Se tomó 4 horas para cargar todo. como ver la pintura seca, pero la pintura es números. PostgreSQL terminado en 47 minutos. comprimió los datos tanto que 180 GB se convirtió en 23 GB. ClickHouse Ni siquiera quería "cargar" los datos. sólo... leerlo directamente de los archivos. "¿Por qué moverlo?" parecía preguntar. DuckDB Tardó 11 horas. 11 horas. Comenzé la carga antes de acostarme, y todavía iba al desayuno. MongoDB Yo subí los archivos, y dijo, "Gracias, voy a volver a ti." Luego hizo algún procesamiento en el fondo que no podía ver. Snowflake Costo hasta ahora: $ 47 en tiempo de cálculo solo para mover los datos. Martes: La primera petición “¿Cuánto dinero ganamos todos los días?” Esta es la pregunta más simple posible. agregue todas las compras; agruparlas por fecha. Results: 
 
 
 
 
 
 
 
 
 ClickHouse: 0.3 segundos DuckDB: 0.4 segundos PostgreSQL: 43 segundos TimescaleDB: 12 segundos MongoDB: 2 minutos, 17 segundos (entonces se estrelló) Flechas de nieve: 1,8 segundos Elasticsearch: 8 segundos MySQL: Lo detuve después de 5 minutos Déjame poner esto en perspectiva. ClickHouse respondió en el tiempo que le tomó a pisar. PostgreSQL -la base de datos que estábamos usando actualmente- tomó el tiempo necesario para microondas un burrito. MongoDB tuvo que pensar en ello durante más tiempo que mi pausa de café, y luego renunció por completo. Pero aquí es donde se hace interesante. Los costos ocultos La velocidad no es todo.A veces el coche más rápido tiene el peor kilómetro de gas. He ejecutado cada consulta 100 veces y he medido lo que realmente cuesta: PostgreSQL: 
 
 
 
 Tiempo de búsqueda: 43 segundos Precio por solicitud: $0.02 Costos mensuales (100 consultas / día): $ 60 ClickHouse: 
 
 
 
 Tiempo de búsqueda: 0.3 segundos Precio por solicitud: $0.03 Costos mensuales (100 consultas / día): $ 90 La casa de Clickhouse fue por consulta, aunque fuese 140 veces más rápido? Más caro Es como comparar un Prius con un Ferrari: el Ferrari es más rápido, pero bebe gas. DuckDB: 
 
 
 
 Tiempo de búsqueda: 0.4 segundos Precio por solicitud: $0.00 Precio mensual: $0 (se ejecuta en el servidor de aplicaciones que ya tenemos) Esto cambió todo. Sábado: Las preguntas más complejas "Mostrarme el historial de compras de un cliente específico" requería mirar a través de todas las 847 millones de líneas para encontrar quizás 50 compras. Aquí es donde surgen las diferencias . extraña Test: Find customer #8472's purchases 
 
 
 
 
 ClickHouse: 0.9 segundos (scanó todo, encontró 47 compras) PostgreSQL: 0.2 segundos (tenía un índice, saltó derecho a ellos) DuckDB: 1.2 segundos (escaneado todo como ClickHouse) MongoDB: 0.1 segundos (construido exactamente para esto) PostgreSQL – la base de datos “lenta” – acaba de ganar. Porque a veces la herramienta correcta no es la más rápida en todo. Jueves: Cuando todo se rompió Quería ver lo que sucede cuando empujas estos sistemas demasiado duro. Así que hice algo estúpido: corrí todas las cinco consultas al mismo tiempo, 50 veces cada una. Desaceleró proporcionalmente. 43 segundos se convirtieron en 3 minutos. Predecible. PostgreSQL: Aún 0.3 segundos por consulta. sólo quemado a través de la CPU como si fuera gratis. ClickHouse: Se estrelló. acaba de morir por completo. Resulta, cuando lo ejecutas dentro de tu aplicación, comparte recursos con todo lo demás. . DuckDB: todo Me cobró $ 12 por 10 minutos de trabajo.Después me envió un e-mail alegre sobre "tipos de optimización de costes de cálculo". Snowflake: Las consultas se estaban ejecutando, pero los resultados parecían... equivocados? ¿Como si estuviera dejando caer los datos? MongoDB: Viernes: La parte de la que nadie habla ¿Sabes lo que nadie menciona en esos mensajes de blog de "Comparación de bases de datos"? El mantenimiento . Nuestro equipo de DevOps ya lo sabe. Costos de formación: $0. PostgreSQL: Tuve que aprender un nuevo lenguaje de consulta.La documentación se sintió como si fuera traducida del ruso por alguien que se molestó conmigo. ClickHouse: Lea los documentos en 2 horas. Construye un prototipo en un día. Coste de entrenamiento: básicamente ningún. DuckDB: Llamó a las ventas tres veces para entender nuestra factura.Todavía no 100% seguro de cómo funciona su precio. Snowflake: Lo que realmente aprendí Después de dos semanas de pruebas, aquí está lo que descubrí: No hay una base de datos "mejor" Es como preguntar: “¿Cuál es el mejor vehículo?” Usted es: 
 
 
 
 
 ¿Movimiento de una persona a través de la ciudad? ¿Mover una familia? ¿Con 40 personas en autobús? ¿Movimiento de 500 personas? Diferentes trabajos requieren diferentes herramientas. Las tiendas de columnas son verdaderamente mágicas (para ciertas cosas) ClickHouse y DuckDB almacenan datos por En lugar de por . Columna Rojo Imagínese una hoja de cálculo con un millón de líneas.Si desea agregar una columna, no necesita mirar a las otras columnas en absoluto. Para las consultas "Añadir todas las ventas", esto es 100-1000 veces más rápido. Para las consultas "mostrarme todo sobre el cliente #8472", en realidad es más lento. La velocidad cuesta dinero (a veces) ClickHouse estaba ejecutando nuestras consultas sencillas más rápido de lo que podía flash, pero también estaba utilizando 16 núcleos de CPU para hacerlo. DuckDB era casi tan rápido pero funcionaba dentro de nuestra aplicación existente. sin nuevos servidores. sin nuevos costos. El costo real no es la base de datos Es el tiempo que su equipo gasta: 
 
 
 
 Aprenderlo Debugando el Explicar a su jefe por qué la factura subió PostgreSQL fue "lento" en nuestras consultas agregadas, pero fue lo suficientemente rápido. A veces "bastante bueno y familiar" gana "perfecto y confuso". Lo que realmente hice ¿Recuerdas esa factura de 8.000 dólares al mes? No he cambiado la base de datos. En su lugar, I: 
 
 
 
 Mantenga PostgreSQL para las transacciones (cuentas de usuario, pedidos, catálogo de productos) Se añadió DuckDB para el panel de análisis (se ejecuta justo al lado de nuestra aplicación, sin nueva infraestructura) Pre-calculado las consultas caras una vez por hora (almacena los resultados, los sirve rápidamente) Nuevo costo mensual: $ 8.100 ($ 100 para el servidor DuckDB) Tiempo de carga del Dashboard: 4 minutos → 0,8 segundos La reacción del jefe: "¿Por qué no lo hicimos antes?" La respuesta del ingeniero: "Porque a veces necesitas probar ocho bases de datos para averiguar que sólo necesitas 0,2 de una". Números de referencia actuales (para los nerds) Si quieres los datos crudos, aquí está lo que he medido: Pregunta 1: Agregación de ingresos diarios (847M filas → 180 resultados) ClickHouse:     0.31s  ($0.03/query)  
DuckDB:         0.42s  ($0.00/query)
Snowflake:      1.80s  ($0.12/query)
TimescaleDB:   12.00s  ($0.02/query)
PostgreSQL:    43.00s  ($0.02/query)
Elasticsearch:  8.00s  ($0.04/query)
MySQL:        300.00s+ (stopped it)
MongoDB:      137.00s  (then crashed)
 Pregunta 2: Top 10 de productos por ingresos ClickHouse:     0.28s
DuckDB:         0.51s
Snowflake:      2.10s
PostgreSQL:    67.00s
TimescaleDB:   18.00s
 Pregunta 3: Busca de clientes (Encontrar 1 de 47 compras de clientes) MongoDB:        0.11s  (indexed)
PostgreSQL:     0.23s  (indexed)
MySQL:          0.31s  (indexed)
ClickHouse:     0.94s  (full scan)
DuckDB:         1.18s  (full scan)
TimescaleDB:    0.41s  (indexed)
 Tiempo de carga de datos (180 GB) DuckDB:          0m  (reads files directly)
ClickHouse:     47m  (compressed to 23 GB)
MySQL:          89m
TimescaleDB:   142m
PostgreSQL:    238m
Snowflake:     ???  (async, took ~30m but unclear)
MongoDB:       687m  (11+ hours)
 Capacidad de almacenamiento (180 GB) ClickHouse:     23 GB  (87% compression)
DuckDB:        180 GB  (0%, reads source files)
PostgreSQL:    340 GB  (89% overhead - indexes)
MongoDB:       520 GB  (189% overhead)
Snowflake:      41 GB  (77% compression)
TimescaleDB:    89 GB  (51% overhead)
 Conclusión Para agregar millones de líneas, utilice un almacén de columnas (ClickHouse/DuckDB). Para encontrar registros específicos: use una tienda de líneas con índices (PostgreSQL/MongoDB). Para todo: use ambos y deje de tratar de hacer que una base de datos haga todo. Lo que nadie te dice sobre las bases de datos: La mejor no es la más rápida.Es la que tu equipo puede usar sin llamarte a las 3 de la mañana.

Read My Stories

Este audio es producido en el idioma original de la historia!

Pasé dos semanas probando 8 bases de datos con la misma pregunta - Aquí está lo que realmente pasó

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Telegram: el puente de Crypto Island hacia el continente

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Telegram: el puente de Crypto Island hacia el continente

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps