Introduction Εισαγωγή Στο τελευταίο μέρος αυτής της σειράς, ρώτησα, « «Και αυτό οδήγησε σε μια συνομιλία με τον Φίλιπ Μουρ, ένα άλλο Απόφοιτος που έχει ιδρύσει το GizmoData, όπου εργάζεται σε μερικά αρκετά συναρπαστικά έργα. Ένα είναι το GizmoEdge, το οποίο θα μπορούσα να γράψω στο μέλλον, και το άλλο είναι το GizmoSQL, το θέμα αυτού του άρθρου. Τι κάνει; Γιατί είναι ενδιαφέρον; Γιατί θα το θέλατε; Ακριβώς ποιο είναι το χάος GizmoSQL; Τι είναι το dbc; Voltron Δεδομένα Τι είναι το dbc; Voltron Δεδομένα Background Το υπόβαθρο Πρώτον, το GizmoSQL είναι μια μηχανή βάσης δεδομένων SQL ανοικτού κώδικα και ένας διακομιστής που βασίζεται σε και Τι είναι το DuckDB; Ήταν το δικό μου Είναι μια μηχανή αναλυτικών βάσεων δεδομένων ανοικτού κώδικα, σχεδιασμένη για φορτία εργασίας OLAP, εκτελώντας σύνθετα ερωτήματα SQL απευθείας μέσα σε εφαρμογές χωρίς να απαιτείται ξεχωριστός διακομιστής. Δούκισσα Apache Πυροβολισμοί Flight SQL Πρώτο άρθρο: «Τι είναι το σκουπίδι» Δούκισσα Apache Πυροβολισμοί Flight SQL Πρώτο άρθρο: «Τι είναι το σκουπίδι» Το Apache Arrow Flight SQL είναι ένα πρωτόκολλο στρωμένο στο Arrow Flight RPC που επιτρέπει στους πελάτες να εκτελούν πρότυπα ερωτήματα SQL έναντι εξ αποστάσεως διακομιστών βάσεων δεδομένων, με τα αποτελέσματα να μεταδίδονται πίσω στην αποτελεσματική μορφή στη μνήμη της στήλης Arrow. παρέχει μεταφορά δεδομένων υψηλής ροής, χαμηλής καθυστέρησης για αναλυτικά φορτία εργασίας, διευκολύνοντας την ομαλή ενσωμάτωση με οικοσυστήματα Arrow όπως τα Pandas, Polars, DuckDB και πλατφόρμες δεδομένων που υποστηρίζουν το πρωτόκολλο. Το Apache Arrow Flight SQL είναι μέρος του οικοσυστήματος Apache Arrow, το οποίο είναι η ίδια μια πλατφόρμα ανάλυσης σε μνήμη που παρέχει μια τυποποιημένη μορφή μνήμης στήλης. εξαλείφει τη σειριοποίηση και την απεριοποίηση κατά τη μετακίνηση δεδομένων μεταξύ συστημάτων και γλωσσών προγραμματισμού, επιτρέποντας μηδενικές αναγνώσεις αντιγράφων και αποτελεσματική ανταλλαγή δεδομένων. Αυτό είναι όλο, κάποια αρκετά δροσερή και δυνητικά συγκεχυμένη τεχνολογία για να βυθιστείτε, και αυτό είναι που κάνει το GizmoSQL ενδιαφέρον: αποκτώντας αυτή τη δύναμη και μειώνοντας την πολυπλοκότητα. What is GizmoSQL? Τι είναι το GizmoSQL; Κατακερματισμένο στα βασικά του, το GizmoSQL είναι ένας μικρός διακομιστής που τρέχει DuckDB, με το πρωτόκολλο SQL Arrow Flight τυλιγμένο γύρω του έτσι ώστε να μπορείτε να εκτελέσετε το DuckDB εξ αποστάσεως. Γιατί θα θέλατε να το κάνετε αυτό; Το DuckDB είναι μια φανταστική μηχανή. μπορείτε να το εκτελέσετε στο φορητό υπολογιστή σας και να χειριστείτε δισεκατομμύρια σειρές, για παράδειγμα. Τώρα φανταστείτε ότι τρέχει σε ένα VM σε μια υπηρεσία cloud όπου μπορείτε να εκχωρήσετε τρελούς αριθμούς πυρήνων και μνήμης RAM, και τώρα μιλάτε για τρισεκατομμύρια σειρές. Με όλο αυτό το υπόβαθρο, ήρθε η ώρα να σκάψετε με άφθονα screenshots. Digging in Σκάψιμο σε Υπάρχει μια διαθέσιμο με το σύνολο δεδομένων TPC-H προφορτωμένο και μερικές δωδεκάδες προγραμμένα ερωτήματα για να δοκιμάσετε. Στην πρώτη μας οθόνη, αυτή είναι η προεπιλεγμένη προβολή όταν εισέρχεστε για πρώτη φορά και μπορείτε απλά να εκτελέσετε το ερώτημα. Ένα μικρό χαρακτηριστικό εδώ είναι το ιστορικό του ερωτήματος σας, το οποίο περιλαμβάνει χρόνο εκτέλεσης. Μπορείτε να δείτε ότι έχω ήδη κάνει μερικά πράγματα, αλλά σημειώστε επίσης ότι απλά κάντε κλικ σε ένα ερώτημα στο ιστορικό θα το φορτώσετε πίσω στο παράθυρο SQL, δεν χρειάζεται να αντιγράψετε / επικολλήσετε. Δωρεάν demo Δωρεάν demo Ο πίνακας πελατών εδώ έχει 1,5 εκατομμύρια γραμμές και έγραψα ένα ερώτημα για να μετρήσω όλες τις εγγραφές όπου το c_nationkey είναι 15. Επέστρεψε 60.000 σε 154ms. Θα δοκιμάσουμε το Query 22, την παγκόσμια ευκαιρία πωλήσεων: Μπορείτε να δείτε ότι εκτελέστηκε σε λιγότερο από ένα δευτερόλεπτο, με πολλή επεξεργασία σε εξέλιξη, η οποία είναι αρκετά εντυπωσιακή. Αυτό τελείωσε σε περίπου μισό δευτερόλεπτο, το οποίο είναι απλά τρελό γρήγορα. Έχω κάνει τέτοια πράγματα από τις αρχές της δεκαετίας του '80, και μου χτυπάει το μυαλό πώς η τεχνολογία της βάσης δεδομένων έχει εξελιχθεί.Προηγουμένως έπρεπε να παίξουμε πολλά κόλπα για να κάνουμε τα πράγματα να τρέξουν γρήγορα, αλλά οι εκτελέσεις που χρειάζονταν ώρες δεν ήταν ασυνήθιστες. Summary Συνοπτική Αυτό που έχει κάνει εδώ η GizmoData είναι να συνδυάσει κάποια τεχνολογία, να κάνει κάποια καινοτομία πάνω από αυτό και να κάνει ένα ανόητα απλό προϊόν που σας δίνει απίστευτη ταχύτητα και ευκολία χρήσης. Ναι, είναι, αλλά είναι επίσης διαφορετικό στον τρόπο με τον οποίο ενσωματώνεται το Arrow Flight SQL. Μήπως αυτό ταιριάζει στο στοίβα σας; Αυτό εξαρτάται από εσάς να αποφασίσετε, φυσικά, αλλά υπάρχει μια αρκετά καλή επιλογή Ολοκλήσεων και Προσαρμογέων που ανοίγουν τα πράγματα για εσάς. Μητσοτάκη Μητσοτάκη Αυτό είναι έξυπνο και μου αρέσουν τα έξυπνα πράγματα.Αν ήμουν ακόμα στον ιδιωτικό τομέα, θα χρησιμοποιούσα αυτό το είδος πράγματος όλη την ώρα.Δεν θέλω να χαϊδεύω πάρα πολύ όταν έρχομαι αντιμέτωπος με τη νέα τεχνολογία, αλλά όταν βρίσκω κάτι που θα είχε κάνει τη ζωή μου πολύ πιο εύκολη, μπορώ να χαϊδεύω λίγο. Θέλετε να διαβάσετε περισσότερα για τη σειρά «Τι είναι το Heck;» Μία χρήσιμη λίστα είναι παρακάτω: Τι είναι το DuckDB; Τι είναι το Heck Malloy; Τι είναι το Heck PRQL; Τι είναι το GlareDB; Τι είναι το Heck SeaTunnel; Τι είναι το LanceDB; Τι είναι το SDF; Τι είναι το Heck Paimon; Τι είναι το Heck Proton; Τι είναι το PuppyGraph; Τι είναι το GPTScript; Τι είναι το WarpStream; Τι είναι το DeltaStream; Τι είναι το OpenMetadata; Τι είναι το dbc; Τι είναι το DuckDB; Τι είναι το Heck Malloy; Τι είναι το Heck PRQL; Τι είναι το GlareDB; Τι είναι το Heck SeaTunnel; Τι είναι το LanceDB; Τι είναι το SDF; Τι είναι το Heck Paimon; Τι είναι το Heck Proton; Τι είναι το PuppyGraph; Τι είναι το GPTScript; Τι είναι το WarpStream; Τι είναι το DeltaStream; Τι είναι το OpenMetadata; Τι είναι το dbc;
