Introduction Introduction ang Sa aking huling bahagi ng serye na ito, sinabi ko, “ “Sinasabi ko na ito ay tungkol sa Philip Moore. isang alumnus na nagsimula ng GizmoData, kung saan siya ay nagtatrabaho sa ilang napaka-fascist na mga proyekto. Ang isa ay GizmoEdge, na kung saan ako ay maaaring mag-sign up sa hinaharap, at ang isa ay GizmoSQL, ang subject ng artikulong ito. Ano ang ginagawa nito? Bakit ito ay interesado? Bakit gusto mo ito? Just what the heck is GizmoSQL? Ano ang Heck ay dbc? Tungkol sa data Ano ang Heck ay dbc? Tungkol sa data Background ang background Nagbibigay kami ng ilang background sa teknolohiya at mga proyekto na nagtatrabaho. unang, ang GizmoSQL ay isang open-source SQL database engine at server na gumagamit ng at ang Ano ang DuckDB? Ito ay isang open-source, in-process analytical database engine na dinisenyo para sa mga workloads ng OLAP, ang pag-execute ng mga kompleksong SQL queries direkta sa mga application nang walang kinakailangan ng isang partikular na server. Binuo sa isang columnar storage format at vectorized execution, ito ay nagbibigay ng mataas na pagganap para sa mga malaking datasets sa pagitan ng data analysis, ETL pipelines, at embedded analytics. Mga DuckDB Mga pahinang tumuturo sa Arrow Flight SQL ang unang “What the Heck is...” artikulo Mga DuckDB Mga pahinang tumuturo sa Arrow Flight SQL ang unang “What the Heck is...” artikulo Ang Apache Arrow Flight SQL ay isang protocol na naka-layered sa Arrow Flight RPC na nagbibigay ng mga kliyente upang i-execute ang mga standard SQL queries laban sa remote database servers, na may mga resulta na i-streamed back sa efficient Arrow columnar in-memory format. Ito ay nagbibigay ng high-throughput, low-latency data transfer para sa analytical workloads, na nagbibigay ng malusog integration sa Arrow ecosystems tulad ng Pandas, Polars, DuckDB, at data platforms na sumusuporta sa protocol. Ang Apache Arrow Flight SQL ay bahagi ng ecosystem ng Apache Arrow, na kung saan ay isang cross-language in-memory analytics platform na nagbibigay ng isang standardized columnar memory format. Ito ay binubuo ng serialization at deserialization sa paglipat ng data sa pagitan ng mga sistema at mga wika ng programming, na nagbibigay ng zero-copy read at efficient data sharing. Ito ang lahat, ang ilang napaka cool, at potensyal na confusing teknolohiya upang i-dive sa, at ito ay kung ano ang gumagawa ng GizmoSQL na interesado: makakuha ng ito ng kapangyarihan at i-reducing ang kompleksidad. What is GizmoSQL? Ano ang GizmoSQL? Ang GizmoSQL ay isang maliit na server na gumagana sa DuckDB, na may ang Arrow Flight SQL protocol na naka-wrapped sa paligid nito upang maaari mong gumagana sa DuckDB remotely. Bakit nais mong gawin ito? Ang DuckDB ay isang magandang engine; maaari mong gumagana ito sa iyong laptop at i-manage ang mga bilyong mga linya, halimbawa. Ngayon i-imagine na ito ay gumagana sa isang VM sa isang cloud na serbisyo kung saan maaari mong i-allocate ang mga huling numero ng mga core at RAM, at ikaw ngayon ay nagsasalita ng trillions ng mga linya. Sinabi ko na sila ay ginawa ang Trillion Row Challenge sa 2 minuto para sa 9 cents na may mga configuration na ito. Sa lahat ng mga background na ito, ito ay oras upang i-grave sa may maraming screenshots. Digging in Pagkakaiba sa May isang a Sa aming unang screenshot, ito ay ang default view kapag ikaw ay unang pumunta, at maaari mong lamang i-execute ang query. Ang isang maliit na tampok dito ay ang iyong history ng query, na kabilang ang oras ng pag-execute. Maaari mong makita ako ay ginawa ng ilang mga bagay na ngayon, ngunit din makikita na lamang ang pag-click sa isang query sa kasaysayan ay i-load ito back sa SQL window, walang kinakailangan upang i-copy / paste. Mga Demo Mga Demo Ang table ng mga customer dito ay may 1.5 milyong mga linya, at napili ko ang isang query upang i-calculate ang lahat ng mga rekord kung saan c_nationkey ay 15. Ibalik ito ng 60,000 sa 154ms. Ito ay ganap na mabilis. Tingnan ang ilang ng mga sumusunod na queries: Ipinapakita namin ang Query 22, Global Sales Opportunity: Maaari mong makita na ito ay itinatag sa ilalim ng isang segundo, na may maraming pagproseso na nagtatapos, na kung saan ay napaka-impresyonal. Tingnan natin ang isa pang kung saan maraming mga tabula at mga filter ay nagtatapos, ito ay Query 2: Nagsimula ito sa loob ng isang halos isang segundo. na kung saan ay madaling mabilis. I've been doing things like this since the early 80s, at ito bumaba sa akin kung paano ang teknolohiya ng database ay bumuo. Nag-play namin ang maraming mga trick upang makakuha ng mga bagay upang mag-sign up mabilis, ngunit mga run na nagkaroon ng mga oras ay hindi karaniwang. I've had one year-end process that took 10 days to run. I wrote some operating system intercepts to optimize it and got it down to 4 hours, at kahit na ang halaga ng oras sa araw-araw na mundo ay nakikita crazy lang. Summary ang summary Ang kung ano ang ginawa ng GizmoData dito ay naghahatid ng ilang teknolohiya, ginawa ng ilang pag-innovation sa itaas ng ito, at ginawa ng isang stupidly simple na produkto na nagbibigay sa iyo ng mahigpit na bilis at kaligtasan ng paggamit. Hindi ko na nagsasalita tungkol sa pag-load ng data, dahil ito ay isang uri ng masaya upang makita. Ang serbisyo ay sumusuporta sa lahat ng cloud platform, kabilang ang OCI. Yes, it’s, but it’s also different in how Arrow Flight SQL is integrated. Is this fit in your stack? It’s up to you to decide, siyempre, ngunit mayroong isang mahusay na seleksyon ng Integrations at Adapters na magbubuo ng mga bagay para sa iyo. ang motherduck ang motherduck Ito ay smart, at gusto ko ang smart things. Kung ako ay pa rin sa private sector, ako ay gumagamit ng mga bagay na ito ang lahat ng oras. Hindi ko nais na cheerlead higit pa kapag ako pumunta sa bagong teknolohiya, ngunit kapag nakita ko ang isang bagay na kung saan ay ginawa ang aking buhay na mas madaling, ako ay maaaring gush a bit. Gusto mong malaman ang higit pa sa aking “What the Heck is???” series? Ano ang DuckDB? Ano ang Heck Is Malloy? Ano ang Heck ay PRQL? Ano ang Heck ay GlareDB? Ano ang Heck ay SeaTunnel? Ano ang Heck ay LanceDB? Ano ang ibig sabihin ng SDF? Ano ang Heck ay Paimon? Ano ang Heck ay Proton? Ano ang Heck ay PuppyGraph? Ano ang Heck ay GPTScript? Ano ang Heck ay WarpStream? Ano ang Heck ay DeltaStream? Ano ang Heck ay OpenMetadata? Ano ang Heck ay dbc? Ano ang DuckDB? Ano ang Heck Is Malloy? Ano ang Heck ay PRQL? Ano ang Heck ay GlareDB? Ano ang Heck ay SeaTunnel? Ano ang Heck ay LanceDB? Ano ang ibig sabihin ng SDF? Ano ang Heck ay Paimon? Ano ang Heck ay Proton? Ano ang Heck ay PuppyGraph? Ano ang Heck ay GPTScript? Ano ang Heck ay WarpStream? Ano ang Heck ay DeltaStream? Ano ang Heck ay OpenMetadata? Ano ang Heck ay dbc?
