Introduction הוצאת בחלק האחרון של הסדרה הזאת שאלתי, " "זה קרה כשדיברתי עם פיליפ מור. סטודנט שייסד את GizmoData, שבו הוא עובד על כמה פרויקטים מרתקים למדי. האחד הוא GizmoEdge, שאולי אכתוב אותו בעתיד, והשני הוא GizmoSQL, הנושא של מאמר זה. מה זה עושה? למה זה מעניין? למה אתה רוצה את זה? בדיוק מה הבעיה היא GizmoSQL? מה זה DBC? Voltron נתונים מה זה DBC? Voltron נתונים Background רקע ראשית, GizmoSQL הוא מנוע מסד נתונים SQL בעל קוד פתוח ושרת המופעל על ידי ו מה זה DuckDB? זהו מנוע מסד נתונים אנליטי פתוח-קוד, בתהליך שנועד עבור עומסי עבודה של OLAP, מבצע שאילתות SQL מורכבות ישירות בתוך היישומים מבלי לדרוש שרת נפרד.הוא נבנה עם פורמט אחסון עמודה וביצוע וקטורי, הוא מספק ביצועים גבוהים עבור קבוצות נתונים גדולות ברחבי ניתוח נתונים, צינורות ETL וניתוח מוטבע. DuckDB אפאצ'ה Arrow Flight SQL קודם “מהו השור...” מאמר DuckDB אפאצ'ה Arrow Flight SQL קודם “מהו השור...” מאמר Apache Arrow Flight SQL הוא פרוטוקול המורכב על Arrow Flight RPC המאפשר ללקוחות לבצע שאילתות SQL סטנדרטיות נגד שרתי מסדי נתונים מרחוק, עם תוצאות זורמות בחזרה בפורמט אקדח עמודה יעיל בזיכרון.הוא מספק העברת נתונים עם עוצמה גבוהה, איחור נמוך עבור עומסי עבודה אנליטיים, מה שמקל על אינטגרציה חלקה עם מערכות אקולוגיות Arrow כגון Pandas, Polars, DuckDB, ופלטפורמות נתונים התומכות בפרוטוקול. Apache Arrow Flight SQL הוא חלק מהמערכת האקולוגית של Apache Arrow, שהיא בעצמה פלטפורמת אנליטיקה בין-לשונית בזיכרון המספקת פורמט זיכרון עמודה סטנדרטי.היא מסירה סריליזציה ודיסריאליזציה בעת העברת נתונים בין מערכות ושפות תכנות, ומאפשרת קריאה של אפס עותקים ושיתוף נתונים יעיל. זה הכל, כמה טכנולוגיות מגניבות ומבלבלות פוטנציאליות להיכנס אליהן, וזה מה שעושה את GizmoSQL מעניין: לקבל את הכוח הזה ולהפחית את המורכבות. What is GizmoSQL? מה זה GizmoSQL? ג'יזמוסקל הוא שרת קטן שמפעיל את DuckDB, עם פרוטוקול SQL של טיסת חץ מעוטר סביב זה, כך שאתה יכול להפעיל את DuckDB מרחוק. למה אתה רוצה לעשות את זה? DuckDB הוא מנוע פנטסטי; אתה יכול להפעיל אותו על המחשב הנייד שלך ולנהל מיליארדי שורות, למשל. עכשיו לדמיין את זה פועל ב- VM בשירות ענן שבו אתה יכול להקצות מספר מטורף של גרעינים ו-RAM, ואתה עכשיו מדבר טריליוני שורות. עם כל הרקע הזה, הגיע הזמן לחפור עם צילומי מסך רבים. Digging in חפירה ב יש A זמין עם ערכת הנתונים TPC-H מונעת מראש וכמה עשרות שאילתות מונחות מראש כדי שתוכל לבדוק. בצלם המסך הראשון שלנו, זוהי התצוגה default כאשר אתה נכנס לראשונה, ואתה יכול פשוט להפעיל את השאילתה. תכונה קטנה חכמה כאן היא היסטוריית השאילתה שלך, אשר כוללת זמן ביצוע. אתה יכול לראות שעשיתי כמה דברים כבר, אבל גם לציין כי רק לחיצה על שאילתה בהיסטוריה תעלה אותו בחזרה לתוך חלון SQL, אין צורך להעתיק / להדביק. Demo חינם Demo חינם טבלת הלקוחות כאן יש 1.5 מיליון שורות, ואני כתבתי שאלה לספור את כל הרשומות שבו c_nationkey הוא 15. זה החזר 60,000 ב 154ms. ננסה את Query 22, הזדמנות מכירות גלובלית: אתה יכול לראות שזה בוצע בתוך פחות משנייה, עם הרבה עיבוד מתרחש, וזה די מרשים. בואו נסתכל על עוד אחד שבו טבלאות ומסננים רבים מתרחשים, זה Query 2: זה נגמר בתוך חצי שניה, וזה פשוט מטורף מהר. עשיתי דברים כאלה מאז תחילת שנות השמונים, וזה פוגע בראש שלי איך טכנולוגיית מסדי נתונים התפתחה. היינו צריכים לשחק הרבה טריקים כדי להשיג דברים לרוץ מהר, אבל ריצה שהייתה לוקחת שעות לא היה נדיר. Summary סיכום מה GizmoData עשתה כאן הוא לשלב קצת טכנולוגיה, עשה קצת חדשנות על זה, ועשה מוצר פשוט טיפשי שנותן לך מהירות מדהימה וקלות שימוש. כן, זה נכון, אבל זה גם שונה באופן שבו Arrow Flight SQL משולב.האם זה מתאים לתוך העמודה שלך?זה תלוי בך להחליט, כמובן, אבל יש מבחר די טוב של שילובים ומאדפנים שמפתחים דברים בשבילך. אמאדוק אמאדוק זה חכם, ואני אוהב דברים חכמים.אם הייתי עדיין במגזר הפרטי, הייתי משתמש בסוג זה של דבר כל הזמן.אני לא רוצה לשמוח יותר מדי כשאני פוגש טכנולוגיה חדשה, אבל כאשר אני מוצא משהו שיעשה את החיים שלי הרבה יותר קל, אני יכול לגעת קצת. רוצים לקרוא עוד בסדרת "מה זה?", רשימה שימושית נמצאת למטה: מה זה DuckDB? מהו הגב של Malloy? מהו הגב של PRQL? מה זה GlareDB? מהו ה-Heck SeaTunnel ? מה זה LanceDB? מה זה SDF? מהו הגב של פוינט? מהו Heck Proton? מה זה PuppyGraph? מה זה GPTScript? מה זה WarpStream? מה זה DeltaStream? מה זה OpenMetadata? מה זה DBC? מה זה DuckDB? מהו הגב של Malloy? מהו הגב של PRQL? מה זה GlareDB? מהו ה-Heck SeaTunnel ? מה זה LanceDB? What the heck is SDF? מהו הגב של פוינט? מהו Heck Proton? מה זה PuppyGraph? מה זה GPTScript? מה זה WarpStream? מה זה DeltaStream? מה זה OpenMetadata? מה זה DBC?
