Laiškas atvyko penktadienį 3 val. 47 min. "Mūsų analizės skydelis užtrunka 4 minutes įkelti. vartotojai skundžiasi. ar galime tai išspręsti?" Mes praleidome 8 000 JAV dolerių per mėnesį duomenų bazėje, kuri iš esmės darė matematiką skaičiuoklėse. Mano bosas uždavė klausimą, kurį bijo kiekvienas inžinierius: „O jei mes tiesiog... naudosime kitą duomenų bazę?“ Paprasta, bet kokia iš jų? Šį savaitgalį sukūriau sąrašą: 
 
 
 
 
 
 
 
 
 ClickHouse (visi sako, kad tai greitai) DuckDB (naujoji karštis) PostgreSQL (ką mes naudojame dabar) „Snowflake“ (ką naudoja mūsų konkurentai) TimescaleDB (kažkas "Reddit" jį rekomendavo) MongoDB (nes kodėl gi ne) Elasticsearch (mes jau turime jį) MySQL (tik norint pamatyti, kaip blogai tai gali būti) Tada aš padariau tai, ką darytų bet kuris protingas žmogus: nusprendžiau išbandyti juos visus su tais pačiais duomenimis ir pamatyti, kas atsitiko. Štai tokia istorija. Vienas klausimas, aštuoni skirtingi atsakymai Pagalvokite apie tai taip: Įsivaizduokite, kad turėjote suskaičiuoti kiekvieną raudoną automobilį, kuris praėjusį mėnesį nuvažiavo pro jūsų namus. Jūs galite: 
 
 
 
 Parašykite jį užraše, kai jie praeina (kaip tradicinė duomenų bazė) Paimkite kiekvieno automobilio nuotraukas ir surinkite jas vėliau (pavyzdžiui, dokumentų duomenų bazę) Tiesiog suskaičiuokite raudonus ir ignoruokite viską (pavyzdžiui, stulpelio parduotuvės duomenų bazę) Kiekvienas metodas veikia. bet kuris iš jų yra greičiausias? kuris iš jų kainuoja mažiausiai? kuris iš jų sulaužo, kai jūsų kaimynas pradeda stovėti 50 raudonų automobilių jūsų gatvėje? Man reikėjo žinoti. Aš paėmiau 6 mėnesius realių e-komercijos duomenų iš mūsų sandėlio: The Dataset: 
 
 
 
 
 847 mln. individualių pirkimų įvykių 120 milijonų unikalių klientų 450 000 prekių Apie 180 GB žaliųjų duomenų Penki paprasti klausimai, kuriuos užduoda kiekvienas analitikos skydelis: The Test: 
 
 
 
 
 
 Kiek pinigų kasdien uždirbame? Kokie buvo mūsų geriausi 10 produktų šį mėnesį? Kurie klientai išleidžia daugiausiai? Kokia yra mūsų vidutinė užsakymo vertė pagal šalį? Rodyti visą kliento pirkimo istoriją Klausimai, kurie skamba paprasta, kol turite 847 milijonų eilučių peržiūrėti. Pirmadienio rytas: duomenų įkėlimas Pirmoji staigmena: jie ne visi valgo duomenis vienodai. Užtruko 4 valandas įkrauti viską.Kaip žiūrėti dažų sausas, bet dažai yra skaičiai. PostgreSQL Jis suspaudė duomenis tiek, kad 180 GB tapo 23 GB. Aš tris kartus patikrinau, ar nieko trūksta. ClickHouse Jis tiesiog ... perskaityti jį tiesiai iš failų. "Kodėl jį perkelti?" jis atrodė paklausti. DuckDB Truko 11 valandų. vienuolika valandų. Aš pradėjau apkrovą prieš miegą, ir jis vis dar vyko pusryčiams. MongoDB Aš įkėliau failus, ir jis sakė: „Ačiū, aš grįšiu pas tave.“ Tada jis atliko tam tikrą apdorojimą fone, kurio aš negalėjau pamatyti. Snowflake Iki šiol kaina: 47 JAV doleriai skaičiavimo metu tik duomenų perkėlimui. Antradienis: Pirmasis prašymas Kiek pinigų mes uždirbame kiekvieną dieną? Tai yra paprasčiausias įmanomas klausimas. Pridėti visus pirkinius; grupuoti juos pagal datą. Results: 
 
 
 
 
 
 
 
 
 ClickHouse: 0,3 sekundės DuckDB: 0,4 sekundės PostgreSQL: 43 sekundės TimescaleDB: 12 sekundžių MongoDB: 2 minutės, 17 sekundžių (tada sudužo) Snieguolė: 1,8 sekundės Elasticsearch: 8 sekundės MySQL: aš jį sustabdžiau po 5 minučių Leiskite įdėti tai į perspektyvą. "PostgreSQL" - duomenų bazė, kurią šiuo metu naudojame - užtruko tiek laiko, kiek reikia mikrobangų burrito. MongoDB turėjo galvoti apie tai ilgiau nei mano kavos pertrauka, tada visiškai atsisakė. Bet štai kur jis tampa įdomus. Paslėptos išlaidos Kartais greičiausias automobilis turi blogiausią dujų nuvažiavimą. Aš paleidau kiekvieną užklausą 100 kartų ir išmatuoju, kiek tai iš tikrųjų kainuoja: PostgreSQL: 
 
 
 
 Užklausos laikas: 43 sekundės Kaina už užklausą: 0,02 USD Mėnesio kaina (100 užklausų per dieną): 60 USD ClickHouse: 
 
 
 
 Užklausos laikas: 0,3 sekundės Kaina už užklausą: $0.03 Mėnesio kaina (100 užklausų per dieną): $ 90 Laukite. „ClickHouse“ buvo Tai buvo 140 kartų greitesnis. brangiau Tai panašu į „Prius“ palyginimą su „Ferrari“ – „Ferrari“ yra greitesnis, bet jis geria dujas. DuckDB: 
 
 
 
 Užklausos laikas: 0,4 sekundės Kaina už užklausą: 0,00 USD Mėnesio kaina: 0 USD (veikia mūsų jau turimame taikomųjų programų serveryje) Tai pakeitė viską. Trečiadienis: sudėtingi klausimai „Rodyti konkrečių klientų pirkimų istoriją“ reikėjo peržiūrėti visas 847 milijonų eilučių, kad surastumėte gal 50 pirkimų. Štai kur atsirado skirtumai . Keista Test: Find customer #8472's purchases 
 
 
 
 
 Gargždai: 0.9 sekundės (skaičiuota viską, rasta 7 pirkinių) PostgreSQL: 0.2 sekundės (turėjo indeksą, šoktelėjo tiesiai į juos) DuckDB: 1.2 sekundės (skenuoti viską kaip ClickHouse) MongoDB: 0.1 sekundės (sukurta būtent tam) „PostgreSQL“ – „slow“ duomenų bazė – ką tik laimėjo. Nes kartais tinkamas įrankis nėra greičiausias visur. Ketvirtadienis: kai viskas sugriuvo Norėjau pamatyti, kas atsitinka, kai pernelyg stipriai stumiate šias sistemas. Taigi aš padariau kažką kvaila: aš paleidau visas penkias užklausas vienu metu, po 50 kartų. Sumažėjo proporcingai. 43 sekundės tapo 3 minutėmis. PostgreSQL: Vis dar 0,3 sekundės užklausai. tiesiog sudegino per procesorių, tarsi jis būtų nemokamas. ClickHouse: Nuskendo. Tiesiog visiškai mirė. Pasirodo, kai jį paleidžiate savo programoje, jis dalijasi ištekliais su viskuo kitu. . DuckDB: Viskas Jis man sumokėjo 12 dolerių už 10 minučių darbo.Tada išsiuntė man linksmą el. Laišką apie "skaičiavimo sąnaudų optimizavimo patarimus". Snowflake: Aš nuoširdžiai nežinau, ką jis darė. užklausos buvo paleidžiamos, bet rezultatai atrodė... neteisingi? MongoDB: Penktadienis: dalis, apie kurią niekas nekalba Ar žinote, ką niekas nepaminėjo tose „Duomenų bazės palyginimo“ dienoraščiuose? ir išlaikymas. Mūsų DevOps komanda jau žino. mokymo kaina: $ 0. PostgreSQL: Turėjau išmokti visiškai naują užklausų kalbą. Dokumentacija atrodė, kad ją iš rusų kalbos išvertė kažkas, kas mane erzino. mokymo kaina: tikriausiai 10 000 dolerių, jei samdysime ekspertą. ClickHouse: Perskaitykite dokumentus per 2 valandas. Sukurkite prototipą per dieną. Mokymo kaina: iš esmės ne. DuckDB: Skambino pardavimai tris kartus, kad suprastų mūsų sąskaitą. vis dar nėra 100% tikras, kaip jų kainodara veikia. Snowflake: Ką iš tikrųjų išmokau Po dviejų savaičių bandymų, štai ką aš sužinojau: Nėra „geriausio“ duomenų bazės Tai tarsi klausimas: „Kas yra geriausias automobilis?“ Jūs esate : 
 
 
 
 
 Vienas žmogus per miestą? (dviratis) Perkelti šeimą į kitą šalį? Pervežti 40 žmonių? Perkelti 500 žmonių? ( lėktuvas) Skirtingiems darbams reikalingi skirtingi įrankiai. Stulpeliai yra tikra magija (tam tikriems dalykams) ClickHouse ir DuckDB saugyklos duomenys Vietoj to, kad . Kolonijos Rožė Įsivaizduokite skaičiuoklę su milijonu eilučių. Jei norite pridėti vieną stulpelį, nereikia žiūrėti į kitus stulpelius. Dėl užklausų "Įtraukti visus pardavimus", tai yra 100-1000 kartų greičiau. Dėl užklausų "parodykite man viską apie klientą #8472", ji iš tikrųjų yra lėtesnė. Greitis kainuoja pinigus (kartais) ClickHouse paleido mūsų paprastas užklausas greičiau, nei aš galėjau mirksėti, bet jis taip pat naudojo 16 procesoriaus šerdis tai padaryti. DuckDB buvo beveik toks pat greitas, bet veikia mūsų esamoje programoje. Nėra naujų serverių. Tikrosios sąnaudos nėra duomenų bazė Tai laikas, kurį jūsų komanda praleidžia: 
 
 
 
 Išmokti jį Debugging jį Paaiškinkite savo viršininkui, kodėl sąskaita pakilo „PostgreSQL“ buvo „lėtas“ mūsų apibendrintose užklausose, tačiau jis buvo pakankamai greitas, o mūsų komanda jau žinojo, kaip jį naudoti. Kartais „pakankamai geras ir pažįstamas“ būna „tobulas ir painiojantis“. Ką aš iš tikrųjų padariau Ar prisimenate tą 8 000 JAV dolerių per mėnesį sąskaitą? Aš nepakeičiau duomenų bazės. Vietoj to aš: 
 
 
 
 Kept PostgreSQL už sandorių daiktus (naudotojo paskyros, užsakymai, produktų katalogas) Pridėta DuckDB analizės skydelyje (veikia šalia mūsų programėlės, nėra naujos infrastruktūros) Iš anksto apskaičiavo brangias užklausas kartą per valandą (saugojo rezultatus, aptarnavo juos greitai) Naujos mėnesinės išlaidos: $ 8,100 ($ 100 už DuckDB serverį) Vaizdo plokštės įkėlimo laikas: 4 minutės → 0,8 sekundės Boso reakcija: „Kodėl mes to nepadarėme anksčiau?“ Inžinierius atsakė: "Kadangi kartais jums reikia išbandyti aštuonias duomenų bazes, kad sužinotumėte, jums reikėjo tik 0,2 iš vieno." Faktiniai lyginamieji skaičiai (Nerds) Jei norite žaliųjų duomenų, čia yra tai, ką aš išmatuoju: Užklausa 1: Dienos pajamų agregavimas (847M eilučių → 180 rezultatų) ClickHouse:     0.31s  ($0.03/query)  
DuckDB:         0.42s  ($0.00/query)
Snowflake:      1.80s  ($0.12/query)
TimescaleDB:   12.00s  ($0.02/query)
PostgreSQL:    43.00s  ($0.02/query)
Elasticsearch:  8.00s  ($0.04/query)
MySQL:        300.00s+ (stopped it)
MongoDB:      137.00s  (then crashed)
 Klausimas 2: Top 10 produktų pagal pajamas ClickHouse:     0.28s
DuckDB:         0.51s
Snowflake:      2.10s
PostgreSQL:    67.00s
TimescaleDB:   18.00s
 Užklausa 3: Klientų paieška (Rasti 1 iš 47 pirkinių) MongoDB:        0.11s  (indexed)
PostgreSQL:     0.23s  (indexed)
MySQL:          0.31s  (indexed)
ClickHouse:     0.94s  (full scan)
DuckDB:         1.18s  (full scan)
TimescaleDB:    0.41s  (indexed)
 Duomenų įkėlimo laikas (180 GB) DuckDB:          0m  (reads files directly)
ClickHouse:     47m  (compressed to 23 GB)
MySQL:          89m
TimescaleDB:   142m
PostgreSQL:    238m
Snowflake:     ???  (async, took ~30m but unclear)
MongoDB:       687m  (11+ hours)
 saugojimo efektyvumas (180 GB įvestis) ClickHouse:     23 GB  (87% compression)
DuckDB:        180 GB  (0%, reads source files)
PostgreSQL:    340 GB  (89% overhead - indexes)
MongoDB:       520 GB  (189% overhead)
Snowflake:      41 GB  (77% compression)
TimescaleDB:    89 GB  (51% overhead)
 Išvada Norėdami sujungti milijonus eilučių, naudokite stulpelio saugyklą (ClickHouse / DuckDB). Norėdami rasti konkrečius įrašus: naudokite eilutės parduotuvę su indeksais (PostgreSQL / MongoDB). Dėl visko: naudokite abu ir nustoti stengtis, kad viena duomenų bazė padarytų viską. Tai, ko niekas jums nesako apie duomenų bazes: geriausias nėra greičiausias.Tai tas, kurį jūsų komanda iš tikrųjų gali naudoti, neskambindama jums 3 val. Pasirinkite protingai.

Read My Stories

Šis garso įrašas sukurtas originalia istorijos kalba!

Aš praleidau dvi savaites išbandydamas 8 duomenų bazes su tuo pačiu klausimu - štai kas iš tikrųjų atsitiko

About Author

KOMENTARAI

PABAIGTI ŽYMES

ŠIS STRAIPSNIS BUVO PRISTATYMAS

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps