Introduction Introduksi Dalam bagian terakhir dari seri ini, saya bertanya, “ "Dan itu menyebabkan percakapan dengan Philip Moore, yang lain alumnus yang telah mendirikan GizmoData, di mana ia bekerja pada beberapa proyek yang cukup menarik. Satu adalah GizmoEdge, yang mungkin saya tulis di masa depan, dan yang lain adalah GizmoSQL, subjek artikel ini. Apa yang ia lakukan? Mengapa itu menarik? Mengapa Anda menginginkannya? Hanya apa heck GizmoSQL? What the Heck is dbc? Data dari Voltron Apa yang dimaksud dengan dbc? Data dari Voltron Background latar belakang Pertama, GizmoSQL adalah mesin database SQL open-source dan server yang didukung oleh dan Apa itu DuckDB? Ini adalah open-source, in-process analytical database engine yang dirancang untuk beban kerja OLAP, mengeksekusi kueri SQL kompleks langsung dalam aplikasi tanpa memerlukan server terpisah. Dibangun dengan format penyimpanan kolom dan eksekusi vektorisasi, ini memberikan kinerja tinggi untuk set data besar di seluruh analisis data, pipa ETL, dan analisis tertanam. dari DuckDB Aplikasi Apache Arrow Flight SQL Yang pertama adalah “What the Heck Is...” artikel dari DuckDB Aplikasi Apache Arrow Flight SQL Yang pertama adalah “What the Heck Is...” artikel Apache Arrow Flight SQL adalah protokol berlapis pada Arrow Flight RPC yang memungkinkan klien untuk mengeksekusi kueri SQL standar terhadap server database remote, dengan hasil ditransmisikan kembali dalam format kolom Arrow yang efisien dalam memori. Apache Arrow Flight SQL adalah bagian dari ekosistem Apache Arrow, yang sendiri adalah platform analisis in-memory lintas bahasa yang menyediakan format memori kolom standar. Itu semua, beberapa teknologi yang cukup keren, dan berpotensi membingungkan untuk menyelam, dan itulah yang membuat GizmoSQL menarik: mendapatkan kekuatan itu dan mengurangi kompleksitas. What is GizmoSQL? Apa itu GizmoSQL? Dibongkar ke dasar-dasarnya, GizmoSQL adalah server kecil yang menjalankan DuckDB, dengan protokol SQL Arrow Flight dibungkus di sekitarnya sehingga Anda dapat menjalankan DuckDB dari jarak jauh. Mengapa Anda ingin melakukannya? DuckDB adalah mesin yang fantastis; Anda dapat mengoperasikannya di laptop Anda dan menangani miliaran baris, misalnya. Sekarang bayangkan bahwa itu berjalan di VM pada layanan cloud di mana Anda dapat mengalokasikan jumlah kernel dan RAM yang gila, dan Anda sekarang berbicara triliun baris. Dengan semua latar belakang itu, saatnya untuk menggali dengan screenshot yang berlimpah. Digging in menggali dalam Ada a tersedia dengan set data TPC-H yang diunggah sebelumnya dan beberapa lusin kueri yang ditulis sebelumnya untuk Anda uji. Dalam screenshot pertama kami, ini adalah tampilan default ketika Anda pertama kali masuk, dan Anda hanya dapat menjalankan kueri. Fitur kecil yang menarik di sini adalah riwayat kueri Anda, yang mencakup waktu eksekusi. Anda dapat melihat saya sudah melakukan beberapa hal, tetapi juga perhatikan bahwa hanya mengklik pada kueri dalam riwayat akan memuatnya kembali ke jendela SQL, tidak perlu menyalin / menyisipkan. Gratis Demo Gratis Demo Tabel klien di sini memiliki 1,5 juta baris, dan saya menulis pertanyaan untuk menghitung semua catatan di mana c_nationkey adalah 15. Kami akan mencoba Query 22, Peluang Penjualan Global: Anda dapat melihat bahwa itu dilakukan dalam waktu kurang dari satu detik, dengan banyak pemrosesan yang sedang berlangsung, yang cukup mengesankan. mari kita lihat satu lagi di mana banyak tabel dan filter terjadi, ini adalah Query 2: Itu selesai dalam waktu sekitar setengah detik. yang hanya gila cepat. Saya telah melakukan hal-hal seperti ini sejak awal 1980-an, dan itu mengguncang pikiran saya bagaimana teknologi database telah berevolusi. kami harus memainkan banyak trik untuk membuat hal-hal berjalan cepat, tetapi berjalan yang memakan waktu berjam-jam tidak jarang. saya memiliki satu proses akhir tahun yang memakan waktu 10 hari untuk berjalan. saya menulis beberapa sistem operasi intercepts untuk mengoptimalkan itu dan mendapatkannya hingga 4 jam, dan bahkan jumlah waktu di dunia saat ini tampaknya gila panjang. Summary Pendekatan Apa yang GizmoData telah lakukan di sini adalah menggabungkan beberapa teknologi, melakukan beberapa inovasi di atasnya, dan membuat produk yang sangat sederhana yang memberi Anda kecepatan dan kemudahan penggunaan yang luar biasa. Ya, itu, tapi itu juga berbeda dalam bagaimana Arrow Flight SQL diintegrasikan. Apakah ini cocok dengan tumpukan Anda? Itu tergantung pada Anda untuk memutuskan, tentu saja, tetapi ada pilihan yang cukup baik dari Integrasi dan Adaptor yang membuka hal-hal untuk Anda. MotherDuck MotherDuck Ini cerdas, dan saya suka hal-hal cerdas. jika saya masih di sektor swasta, saya akan menggunakan hal-hal semacam ini sepanjang waktu. saya tidak ingin menggoda terlalu banyak ketika saya berlari ke atas teknologi baru, tetapi ketika saya menemukan sesuatu yang akan membuat hidup saya jauh lebih mudah, saya bisa gush sedikit. Ingin membaca lebih lanjut dalam seri saya “Apa Heck itu???” daftar yang berguna di bawah ini: Apa yang dimaksud dengan DuckDB? Apa yang dimaksud dengan Heck Malloy? Apa yang dimaksud dengan PRQL? Apa yang dimaksud dengan GlareDB? Apa yang dimaksud dengan SeaTunnel? Apa yang dimaksud dengan LanceDB? Apa yang dimaksud dengan SDF? Apa yang dimaksud dengan Paimon? Apa yang dimaksud dengan proton? Apa itu PuppyGraph? Apa yang dimaksud dengan GPTScript? Apa yang dimaksud dengan WarpStream? Apa yang dimaksud dengan DeltaStream? Apa itu OpenMetadata? Apa yang dimaksud dengan dbc? Apa yang dimaksud dengan DuckDB? Apa yang dimaksud dengan Heck Malloy? Apa yang dimaksud dengan PRQL? Apa yang dimaksud dengan GlareDB? Apa yang dimaksud dengan SeaTunnel? Apa yang dimaksud dengan LanceDB? Apa yang dimaksud dengan SDF? Apa yang dimaksud dengan Paimon? Apa yang dimaksud dengan proton? Apa itu PuppyGraph? Apa yang dimaksud dengan GPTScript? Apa yang dimaksud dengan WarpStream? Apa yang dimaksud dengan DeltaStream? Apa itu OpenMetadata? Apa yang dimaksud dengan dbc?
