על ידי Adam Bellemare, טכנאי ראשי ב Confluent הופעתו של ה-Generative AI חיזקה שאלה שנמצאת במחלוקת ארוכה: איך אתה מקבל את המערכות והשירותים שלך את הנתונים הדרושים להם כדי לעשות את עבודתם? בעוד שרובם מבקשים מיקרו-שירותים ומאכילים אגם נתונים, ה-Generative AI דחפה את דרכה לחזית הרשימה הזו. הבעיה העיקרית של גישה לנתונים היא שהשירותים שמייצרים את רשומה המקורית של הנתונים אינם בהכרח המתאימים ביותר עבור אחסון גישה מקוונת אליה.השירות שלך עשוי להיות מסוגל במלואו לבצע את האחריות העסקית בפועל, אך אינו מסוגל לשרת את הנתונים ללקוחות פוטנציאליים. אנליסטים נתונים התמודדו עם בעיה זו לפני עשרות שנים, כאשר המערכת המקורית של רשומות (אחת ) לא יכול לספק את הכוח והביצועים הדרושים למקרים של שימוש אנליטי.הנדס נתונים היה לחלץ את הנתונים מהמערכת המקורית של רשומות ולהעלות אותו לתוך בעוד שהכלים והטכנולוגיות השתנו במהלך העשורים, היסוד נשאר זהה: העתקה של נתונים מהמרחב הפעיל אל המרחב האנליטי. מסד נתונים OLTP מסד נתונים OLAP פיג 1 עבודה פשוטה של Extract-Transform-Load (ETL) העתקת נתונים מהתחום הפעלה לתחום האנליטי. פיג 1 למיקרו-שירותים יש את אותה בעיה.איך הם מקבלים את הנתונים הדרושים להם?אפשרות נפוצה היא שאילתות ישירות למערכת הקלטות המקורית, באמצעות HTTP, SOAP, או RPC, למשל.דומה למקרה של אנליסט נתונים, מגבלות זהות חלים מכיוון שהשירות אינו מסוגל להתמודד עם דפוסי הגישה, דרישות עיכוב, ותחושת עומס שהוטלו עליו על ידי שירותים תלויים אחרים.עדכון המערכות כדי להתמודד עם הדרישות החדשות עשוי להיות לא הגיוני גם, בהתחשב במורכבות, משאבים מוגבלים ודרישות תחרותיות. פיג 2: שירותים אחרים יצטרכו את הנתונים כדי לפתור מקרים של שימוש עסקי משלהם, מה שמוביל לרשת של חיבורים נקודה לנקודה. פיג 2: הקושי של העניין הוא דרישה פתוחה זו מסבכת דברים כי השירות חייב לעשות עבודה טובה במלא את האחריות העסקית הישירה שלו, והוא חייב גם לתמוך דפוסי גישה לנתונים מעבר למקרים של שימוש עסקי ישיר שלה. the services that create the data must also provide access to it for external systems האפליקציה שנוצרה את הנתונים אחראית גם למלא את בקשות הנתונים לפי דרישה של כל השירותים האחרים. Fig 3:  הפתרון לספק גישה לנתונים לשירותים, מערכות ו- AI הוא , אחראי רק לזרם והפצה של נתונים ברחבי הארגון. מגיע (לעיתים ידוע גם בשם ) dedicated data communications layer data streaming event streaming בקצרה, השירותים שלך מפרסמים נתונים עסקיים חשובים לזרמים נתונים קבועים, מתוחזקים וניתנים לשחזר.שירותים אחרים הדורשים נתונים אלה יכולים להירשם לזרמים הנתונים הרלוונטיים, לצרוך את הנתונים ולהגיב אליהם בהתאם לצרכים העסקיים שלהם. שכבת תקשורת נתונים ייעודית, המסופקת על ידי זרימי נתונים, מקלה על החלפת נתונים בארגון שלך. Fig 4:  זרימת נתונים מאפשרת לך להפעיל שירותים בכל גודל (מיקרו או מקרו), לפרוח את אגם הנתונים שלך ונקודות קצה אנליטיות אחרות, ולפעיל יישומים ושירותים של AI בכל תחום העסק שלך. שירותים לא צריכים לכתוב את כל הנתונים שלהם לתוך זרם הנתונים, רק מה שימושי לאחרים. מקום טוב להתחיל הוא לחקור את הבקשות שהשירות מטפל, כגון בקשות GET, כפי שהם מדגים את סוגי הנתונים המבוקשים בדרך כלל מאחרים. שירותים אחרים קוראים את הנתונים מן זרימי הנתונים ומגיבים אליהם על ידי עדכון חנויות המדינה שלהם, יישום ההיגיון העסקי שלהם, ויצירת תוצאות שהם עשויים גם לפרסם זרמי הנתונים שלהם. הם כבר לא מבקשים נתונים מקבילים מהשירות של היצרן - במקום זאת, הם מקבלים את כל הנתונים שלהם דרך זרם הנתונים, כולל נתונים חדשים, נתונים שנמחקו ושינויים שנעשו לנתונים. מכיוון שהם כבר לא מבקשים נתונים על פי דרישה, הם חייבים לשמור על עותק של המצב שהם דואגים בתוך אחסון הנתונים שלהם. (הערה: הם לא צריכים לאחסן את כל הנתונים, רק את השדות שהם דואגים) הצרכן הופך לאחראי הבלעדי למדידות הביצועים שלו, כל עוד הנתונים זמינים בזרם הנתונים. זרימת נתונים מציעה יתרונות משמעותיים עבור מיקרו-שירותים, AI וניתוח. עושה נתונים זמינים לכל המערכות, התהליכים או השירותים הדרושים. נתונים שנכתבו לזרמים יכולים להיות זמינים באופן נרחב ברחבי הארגון שלך. השירות של היצרן כותב את הנתונים פעם אחת, והצרכנים יכולים לקרוא את הנתונים לעתים קרובות ככל שהם צריכים. הפשט את ההסתמכות בין היצרנים לבין הצרכנים.היצרנים אינם אחראים עוד לשרת את דפוסי החיפוש של אלה העוסקים בנתונים שלהם.הצרכנים אינם מסתמכים עוד על ביצועי החישוב והאחסון של היצרנים כדי לענות על הצרכים העסקיים שלהם. הפסקת חיבור: שירותי הצרכן יכולים לסבול הפסקות של יצרנים ללא שיפור משמעותי בשירות, אם כי זרימת הנתונים לא תעדכן עוד ויתמוטט בסופו של דבר.בנוסף, ניתן לשנות ולחליף יצרנים מבלי להשפיע על הצרכנים הקיימים, שכן הם נשארים מקושרים רק בזרימת האירועים מערכות מבוססות OLTP: זרימי נתונים מאפשרים לך לבנות שירותים מבוססי אירועים (מיקרו) המשתמשים הן בנתונים והן בכתיבת נתונים משלהם לזרימי נתונים. אנליטיקה בזמן אמת ואנליטיקה בחבילות: Analytics יכולה להשתמש באותם זרימי נתונים עבור אנליטיקה בזמן אמת, או כמקור לבניית טבלאות Iceberg או Delta עבור אנליטיקה מבוססת חבילות. דלק ג'ן AI וסוכני AI: אותם זרמים יכולים גם להפעיל את ה- AI המייצרת. זרימי נתונים מאפשרים ייצור מוגבר (RAG) עם עיכוב נמוך ופיתוח קונצרטים, כך שאילתות ה- AI שלך תמיד יש את המידע הרלוונטי והעדכני ביותר. תיקון נתונים רעים פעם אחת, התפשט בכל מקום: באפשרותך לתקן נתונים רעים במקור ולהפיץ אותם דרך זרם הנתונים לכל הצרכנים המתקדמים. אתה עדיין יכול להשתמש חיבורים של בקשה/תגובה נקודה-ל-נקודה.זה לא הצעה של הכל או כלום.אתה יכול בהדרגה להעביר כמה שירותים ועבודה לסטרימינג נתונים, תוך השאר להסתמך על ארכיטקטורות בקשה-תגובה הקיימות שלהם. זרימי נתונים מאפשרים לך להפעיל פעולות, ניתוחים ו-AI, כל אלה ממקור נתונים אחד.כככפל תקשורת נתונים, זה הופך אותו קל עבור עמיתים ולשירותים שלהם למצוא ולהשתמש בנתונים שהם צריכים עבור מקרי השימוש העסקיים שלהם. אחד היתרונות העיקריים האחרונים הוא היתרונות האסטרטגיים. זה קצת יותר קשה למדוד, אבל זה ללא ספק אחד החשובים ביותר. על ידי השקעה שכבת סטרימינג נתונים, אתה פותח מגוון רחב של אפשרויות כדי להפוך את הנתונים שלך לעבודה. Apache Kafka, בחירה פופולרית עבור סטרימינג נתונים, מציע מגוון רחב של קישורי אינטגרציה עם כל מיני מערכות ושירותים. אתה כבר לא מוגבל להשתמש רק AI אשר משולבים עם הצעת אגם נתונים שלך, או אלה המחוברים לספק שירותי ענן שמאחסן את כל הנתונים האנליטיים שלך. חשיבה על נתונים, איך לגשת אליהם, וכיצד להשיג אותם למקום בו הם צריכים להיות תמיד הייתה אתגר, במיוחד עבור הפער המבצעי / האנליטי. אבל הופעתו של GenAI הפכה את זה אפילו יותר חשוב, מוסיפה עוד יותר משקל וחשיבות לפתרון בעיה עתיקה זו. בלב שלה הוא עיקרון פשוט - תן לשירותי העסק שלך להתמקד במקרים של שימוש עסקי שלהם, ולתת שכבת תקשורת נתונים לספק נתונים לכל מי שצריך אותו באמצעות זרימת נתונים נמוכה.

This story contains new, firsthand information uncovered by the writer.

האודיו הזה מופק בשפת המקור של הסיפור!

כיצד להפעיל AI, Analytics ו microservices באמצעות אותם נתונים

About Author

הערות

תלו תגים

מאמר זה הוצג ב

Related Stories

The TechBeat: Python's Testing Playbook: Building Bulletproof Code (1/16/2024)

The TechBeat: Python's Testing Playbook: Building Bulletproof Code (1/18/2024)

The TechBeat: Investigating Internet Freedom: Unseen Aspects of Our Online Existence (1/22/2024)

97 Stories To Learn About Quicknode

The TechBeat: Python's Testing Playbook: Building Bulletproof Code (1/16/2024)

The TechBeat: Python's Testing Playbook: Building Bulletproof Code (1/18/2024)

The TechBeat: Investigating Internet Freedom: Unseen Aspects of Our Online Existence (1/22/2024)

97 Stories To Learn About Quicknode

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps