이메일은 금요일 오후 3시 47분에 도착했습니다. "우리의 분석 대시보드는 로드하는 데 4 분이 소요됩니다.사용자가 불평하고 있습니다.우리는 이것을 고칠 수 있습니까?" 우리는 기본적으로 태블릿에서 수학을하는 데이터베이스에 매월 $8,000을 지출하고있었습니다. 내 상사는 모든 엔지니어가 두려워하는 질문을 던졌습니다 : "우리가 단지 다른 데이터베이스를 사용한다면 어떨까요?" 쉬워요 ᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏᄏ 그 주말, 나는 목록을 만들었습니다 : 
 
 
 
 
 
 
 
 
 ClickHouse (모두 빠르다고 한다) DuckDB (The New Hotness)에 대한 리뷰 보기 PostgreSQL (우리가 지금 사용하고있는 것) Snowflake (우리의 경쟁자가 사용하는 것) TimescaleDB (Reddit에서 추천 한 사람) MongoDB (왜 안되는지) Elasticsearch (우리는 이미 그것을 가지고 있습니다) MySQL (단지 그것이 얼마나 나쁜지 보려면) 그런 다음 나는 모든 합리적인 사람이 할 수있는 일을했습니다 : 나는 동일한 데이터로 모든 것을 테스트하고 무슨 일이 일어 났는지 확인하기로 결정했습니다. 이것이 그 이야기입니다. 동일한 질문, 8개의 다른 대답 이것을 이렇게 생각하십시오 : 지난 달에 당신의 집을 지나간 모든 빨간 자동차를 셀 필요가 있다고 상상해보십시오. 당신은 할 수 있습니다 : 
 
 
 
 그들이 통과하는 동안 노트북에 그것을 기록하십시오 (전통적인 데이터베이스처럼) 각 차량의 사진을 찍고 나중에 그들을 정렬하십시오 (문서 데이터베이스와 같이) 단순히 빨간색을 계산하고 다른 모든 것을 무시하십시오 (콜론 스토어 데이터베이스와 같은) 각 방법이 작동합니다.하지만 어느 것이 가장 빠르다? 어느 것이 가장 비싸다? 당신의 이웃이 당신의 거리에 50 빨간 자동차를 주차하기 시작하면 어느 것이 깨집니다? 알아야 할 필요가 있었다. 나는 우리의 창고에서 실제 전자 상거래 데이터의 6 개월을 잡았다 : The Dataset: 
 
 
 
 
 847만 개별 구매 이벤트 120만 명의 독특한 고객 450 제품 약 180GB의 raw data 모든 분석 대시보드가 묻는 다섯 가지 간단한 질문: The Test: 
 
 
 
 
 
 우리는 매일 얼마나 많은 돈을 벌었습니까? 이번 달 최고의 10가지 제품은 무엇인가요? 어떤 고객이 가장 많이 지출합니까? 국가별 평균 주문 가치는 무엇입니까? 고객의 전체 구매 기록을 보여주십시오. 당신이 847 만 행을 살펴볼 때까지 간단하게 들리는 질문의 종류. 월요일 아침 : 데이터 로딩 첫 번째 놀라움 : 그들은 모두 같은 방식으로 데이터를 먹지 않습니다. 마치 페인트가 마른 것을 보는 것처럼, 그러나 페인트는 숫자입니다. PostgreSQL 47 분 만에 완료되었습니다. 180 GB가 23 GB가되었을 정도로 데이터를 압축했습니다. ClickHouse 데이터를 "로드"하고 싶지 않았다.그것은 단지 ... 파일에서 직접 읽습니다. "왜 이동합니까?"그것은 물어 보였다. DuckDB 11 시간 걸렸습니다. 11 시간. 나는 침대 전에 충전을 시작했고, 아침 식사를 계속하고있었습니다. MongoDB 나는 파일을 업로드하고, 그것은 말했다, "감사합니다, 나는 당신에게 돌아올 것이다."그리고 그것은 내가 볼 수없는 배경에서 일부 처리를했다. Snowflake 지금까지 비용 : 데이터를 이동하기 위해 계산 시간에 47 달러. 화요일 : The First Query “우리는 매일 얼마나 많은 돈을 벌었습니까?” 이것은 가능한 가장 간단한 질문입니다.모든 구매를 추가; 날짜에 따라 그룹화. Results: 
 
 
 
 
 
 
 
 
 ClickHouse : 0.3 초 DuckDB : 0.4 초 PostgreSQL : 43초 TimescaleDB : 12초 MongoDB: 2 분, 17 초 (그리고 충돌) 스노우플레이크: 1.8초 Elasticsearch : 8초 MySQL: 나는 5 분 후에 그것을 중지 그 점을 관점에서 살펴보겠습니다. 현재 사용 중인 데이터베이스인 PostgreSQL은 마이크로파를 버리토로 만드는 데 시간이 걸렸다. MongoDB는 커피 휴식보다 오래 생각해야 했고 완전히 포기했습니다. 그러나 여기에 그것이 흥미롭게되는 곳입니다. 숨겨진 비용 속도는 모든 것이 아닙니다 때로는 가장 빠른 차가 가장 나쁜 가스 킬로미터를 가지고 있습니다. 나는 각 쿼리를 100 번 실행하고 실제로 비용을 측정했다 : PostgreSQL: 
 
 
 
 쿼리 시간: 43초 쿼리 당 비용: $0.02 월간 비용 (100 쿼리 / 일): $ 60 ClickHouse: 
 
 
 
 쿼리 시간: 0.3 초 쿼리 당 비용: $0.03 월간 비용 (100 쿼리 / 일): $ 90 클라이언트 - ClickHouse 쿼리, 140 배 더 빨랐음에도 불구하고? 더 비싼 그것은 프리우스를 페라리와 비교하는 것과 같습니다 - 페라리는 더 빠르지만 가스를 마시는 것입니다. DuckDB: 
 
 
 
 쿼리 시간: 0.4 초 쿼리 당 비용: $0.00 월간 비용 : $ 0 (우리가 이미 가지고있는 응용 서버에서 실행) 이것은 모든 것을 변화시켰다. 수요일 : 복잡한 질문 "특정 고객의 구입 기록을 보여주십시오"는 아마도 50 개의 구입을 찾기 위해 모든 847 만 행을 살펴야했습니다. 이것이 그 차이점들이 나오는 곳이다. . 이상한 Test: Find customer #8472's purchases 
 
 
 
 
 ClickHouse: 0.9 초 (모든 것을 스캔, 47 개의 구매를 찾았습니다) PostgreSQL : 0.2 초 (인덱스가 있었고 오른쪽으로 뛰어 들었습니다) DuckDB: 1.2 초 (ClickHouse처럼 모든 것을 스캔) MongoDB: 0.1 초 (이것을 위해 만들어졌습니다) PostgreSQL - " 느린"데이터베이스 - 그냥 이겼다. 왜냐하면 때때로 올바른 도구가 모든 것에서 가장 빠르지 않기 때문입니다. 목요일 : 모든 것이 깨졌을 때 당신이 이러한 시스템을 너무 열심히 밀어 넣을 때 무슨 일이 일어나는지보고 싶었습니다. 그래서 나는 어리석은 짓을 했다: 나는 각각 50 번 동시에 5 가지 쿼리를 모두 실행했다. 43초가 3분이 되어 예측할 수 있다. PostgreSQL: 여전히 쿼리 당 0.3 초. 그냥 무료처럼 CPU를 통해 태웠다. ClickHouse: 단지 완전히 죽었다. 당신이 당신의 응용 프로그램 내에서 그것을 실행 할 때, 그것은 다른 모든 것과 자원을 공유합니다. . DuckDB: 모든 10 분간의 작업에 대해 12 달러를 청구 한 다음 "계산 비용 최적화 팁"에 대한 기쁜 이메일을 보냈습니다. Snowflake: 나는 솔직히 그것이 무엇을하고 있었는지 확신하지 않습니다. 쿼리는 실행되었지만 결과는... 잘못된 것처럼 보였습니까? MongoDB: 금요일 : 아무도 이야기하지 않는 부분 그 "데이터베이스 비교" 블로그 게시물에 아무도 언급하지 않는 것을 알고 있습니까? 유지 보수 우리의 DevOps 팀은 이미 그것을 알고 있습니다. 교육 비용 : $0. PostgreSQL: 나는 완전히 새로운 쿼리 언어를 배울 필요가있었습니다.이 문서는 누군가가 나를 짜증나게 한 사람에 의해 러시아어로 번역 된 것처럼 느껴졌습니다.교육 비용 : 아마도 전문가를 고용하면 10,000 달러. ClickHouse: 2시간 만에 문서를 읽고 하루 만에 프로토 타입을 만들었습니다 교육 비용 : 기본적으로 아무것도 없습니다. DuckDB: 우리의 청구서를 이해하기 위해 세 번 판매를 호출.그러나 그들의 가격이 어떻게 작동하는지 100 % 확신하지 않습니다. Snowflake: 내가 실제로 배운 것들 2 주간의 테스트 후, 여기에 내가 발견 한 것이 있습니다 : ‘최고의’ 데이터베이스가 없습니다. 마치 ‘최고의 차량은 무엇인가’라고 묻는 것과 같다. 당신은 : 
 
 
 
 
 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람 한 사람? 가족을 옮기고 싶으신가요? (0) 40여 명이 움직이는 버스 500 명을 옮길 것인가? (비행기) 다른 직업에는 다른 도구가 필요합니다. Column-Stores Are Genuinely Magic (For Certain Things)에 해당되는 글 1건 ClickHouse 및 DuckDB 스토어 데이터 대신 by . 콜론 로우 백만 행을 가진 태블릿을 상상해보십시오. 한 열을 추가하려면 다른 열을 전혀 볼 필요가 없습니다. "모든 판매를 추가하십시오"고 묻는 경우, 이것은 100-1000배 빠릅니다. "고객에 대한 모든 것을 보여 #8472"에 대한 쿼리에는 실제로 더 느립니다. 속도는 돈을 비용 (때때로) 가장 빠른 데이터베이스는 종종 가장 많은 리소스를 사용합니다. ClickHouse는 내가 깜박할 수있는 것보다 간단한 쿼리를 빠르게 실행했지만 16 개의 CPU 코어를 사용했습니다. DuckDB는 거의 빠르지만 기존 애플리케이션 내에서 실행되었습니다.새로운 서버는 없습니다.새로운 비용은 없습니다. 실제 비용은 데이터베이스가 아닙니다. 그것은 당신의 팀이 소비하는 시간입니다 : 
 
 
 
 그것을 배우기 Debugging 그것 상사에게 청구서가 왜 올라갔는지 설명하기 PostgreSQL은 우리의 집계 쿼리에서 " 느린"이었지만 충분히 빠르고 우리 팀은 이미 그것을 사용하는 방법을 알고있었습니다. 때때로 "충분히 좋고 익숙한"은 "완벽하고 혼란스러운"을 때립니다. 내가 실제로 한 일 그 8000달러/달러 청구서를 기억하십니까? 데이터베이스를 교체하지 않았습니다. 대신 I : 
 
 
 
 Transactional stuff (사용자 계정, 주문, 제품 카탈로그)를 위해 PostgreSQL을 유지하십시오. 분석 대시보드에 DuckDB가 추가되었습니다 (우리의 앱 바로 옆에서 실행되며 새로운 인프라가 없습니다) 시간당 한 번 비싼 쿼리를 미리 계산했습니다 (결과를 저장하고 빠르게 제공했습니다) 새로운 월간 비용 : $ 8,100 (DuckDB 서버의 경우 $ 100) 대시보드 로드 시간: 4 분 → 0.8 초 보스의 반응 : "왜 우리는 더 일찍 이것을하지 않았습니까?" 엔지니어의 대답: "때로는 8 개의 데이터베이스를 테스트하여 1 개의 0.2 만 필요로하기 때문입니다." 실제 벤치마크 숫자 (For the Nerds) 원시 데이터를 원한다면, 여기 내가 측정 한 것이 있습니다 : 쿼리 1: 매일 수익 집계 (847M 행 → 180 결과) ClickHouse:     0.31s  ($0.03/query)  
DuckDB:         0.42s  ($0.00/query)
Snowflake:      1.80s  ($0.12/query)
TimescaleDB:   12.00s  ($0.02/query)
PostgreSQL:    43.00s  ($0.02/query)
Elasticsearch:  8.00s  ($0.04/query)
MySQL:        300.00s+ (stopped it)
MongoDB:      137.00s  (then crashed)
 쿼리 2 : 수입에 따라 상위 10 제품 ClickHouse:     0.28s
DuckDB:         0.51s
Snowflake:      2.10s
PostgreSQL:    67.00s
TimescaleDB:   18.00s
 쿼리 3: 고객 검색(고객의 1개 구매 중 47개 검색) MongoDB:        0.11s  (indexed)
PostgreSQL:     0.23s  (indexed)
MySQL:          0.31s  (indexed)
ClickHouse:     0.94s  (full scan)
DuckDB:         1.18s  (full scan)
TimescaleDB:    0.41s  (indexed)
 데이터 로드 시간 (180 GB) DuckDB:          0m  (reads files directly)
ClickHouse:     47m  (compressed to 23 GB)
MySQL:          89m
TimescaleDB:   142m
PostgreSQL:    238m
Snowflake:     ???  (async, took ~30m but unclear)
MongoDB:       687m  (11+ hours)
 스토리지 효율성 (180 GB) ClickHouse:     23 GB  (87% compression)
DuckDB:        180 GB  (0%, reads source files)
PostgreSQL:    340 GB  (89% overhead - indexes)
MongoDB:       520 GB  (189% overhead)
Snowflake:      41 GB  (77% compression)
TimescaleDB:    89 GB  (51% overhead)
 결론 수백만 행을 집계하려면 열 저장소 (ClickHouse/DuckDB)를 사용합니다. 특정 레코드를 찾으려면 인덱스가 있는 라인 스토어(PostgreSQL/MongoDB)를 사용하십시오. 모든 것을 위해: 둘 다 사용하고 하나의 데이터베이스가 모든 것을 할 수 있도록 시도하는 것을 멈추십시오. 아무도 당신에게 데이터베이스에 대해 말하지 않는 것 : 가장 좋은 것은 가장 빠른 것이 아닙니다. 그것은 당신의 팀이 실제로 3시에 당신을 호출하지 않고 사용할 수있는 것입니다.

Read My Stories

이 오디오는 이야기의 원래 언어로 제작되었습니다!

같은 질문으로 8 개의 데이터베이스를 테스트하는 데 2 주를 보냈습니다.

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

AI/ML 데이터레이크용 참조 아키텍처 구축을 위한 설계자 가이드

디지털 유목민 들어보기: 태국의 새로운 DTV 비자에 대해 알아야 할 사항

보이지 않는 레이어: 사용자 인터뷰가 대체할 수 없는 자산인 이유

작업 흐름을 10배 향상하는 방법: 17가지 필수 앱

AI/ML 데이터레이크용 참조 아키텍처 구축을 위한 설계자 가이드

디지털 유목민 들어보기: 태국의 새로운 DTV 비자에 대해 알아야 할 사항

보이지 않는 레이어: 사용자 인터뷰가 대체할 수 없는 자산인 이유

작업 흐름을 10배 향상하는 방법: 17가지 필수 앱

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps