Adam Bellemare, a Confluent vezető technológusa A generatív AI megjelenése egy régóta vitatott kérdést vetett fel: hogyan kapja meg a rendszereit és szolgáltatásait a munkájuk elvégzéséhez szükséges adatokat? Míg a leggyakrabban a mikroszolgáltatásokra és az adatgyűjtő tó lakosságára kérték, a generatív AI elindította az utat a lista élére. Az adatokhoz való hozzáférés kulcsfontosságú problémája, hogy az adatok eredeti rekordját létrehozó szolgáltatások nem feltétlenül a legmegfelelőbbek az ad hoc hozzáférés tárolásához.Az Ön szolgáltatása tökéletesen képes a tényleges üzleti feladatainak elvégzésére, de nem tudja kiszolgálni az adatokat a leendő ügyfelek számára.Míg az adatokat interfész segítségével ki tudja tárolni, előfordulhat, hogy a szolgáltatás nem tudja kezelni a lekérdezések mennyiségét vagy a várható lekérdezések típusát. Az adatelemzők évtizedekkel ezelőtt találkoztak ezzel a problémával, ahol az eredeti rekordrendszer (a ) nem tudta biztosítani a szükséges teljesítményt és teljesítményt az analitikai használati esetekhez. adatmérnök kivonja az adatokat az eredeti rekordrendszerből, és betölti azt Míg az eszközök és technológiák az évtizedek során megváltoztak, a lényeg ugyanaz marad: az adatok másolása az operatív térből az analitikai térbe. OLTP adatbázis OLAP adatbázis Fig 1 Egy egyszerű Extract-Transform-Load (ETL) munka, amely az adatokat az operatív tartományból az analitikai tartományba másolja. Fig 1 A mikroszolgáltatásoknak ugyanaz a problémájuk.Hogyan kapják meg a szükséges adatokat?Az egyik gyakori lehetőség egy közvetlen lekérdezés az eredeti rekordrendszerhez, például HTTP, SOAP vagy RPC útján.Hasonlóan az adatelemző esethez, ugyanazok a korlátozások érvényesek, mivel a szolgáltatás nem képes kezelni a hozzáférési mintákat, a késleltetési követelményeket és más függő szolgáltatások által rájuk helyezett terhet.Az új követelmények kezelésére szolgáló rendszerek frissítése sem lehet ésszerű, figyelembe véve a bonyolultságot, a korlátozott erőforrásokat és a versenytárs követelményeket. Figyelem 2: Más szolgáltatásoknak szükségük lesz az adatokra saját üzleti felhasználási eseteik megoldásához, ami pont-pont kapcsolatok hálózatához vezet. Figyelem 2: A kérdés kulcsa az, hogy Ez a nyitott követelmény bonyolítja a dolgokat, mert a szolgáltatásnak jó munkát kell végeznie a közvetlen üzleti felelősségének teljesítésében, és támogatnia kell az adathozzáférési mintákat a közvetlen üzleti felhasználási esetein túl is. the services that create the data must also provide access to it for external systems Az adatokat létrehozó alkalmazás felel az összes többi szolgáltatás igény szerinti adatkéréseinek teljesítéséért is. Fig 3:  A szolgáltatásokhoz, rendszerekhez és AI-khoz való adathozzáférés biztosításának megoldása egy , amely csak az adatok forgalmazásáért és terjesztéséért felelős egy szervezetben. Néha (más néven is ismert) ) az dedicated data communications layer data streaming event streaming Röviden, a szolgáltatások közzéteszik a fontos üzleti adatokat tartós, skálázható és lejátszható adatáramlásokba.Egyéb szolgáltatások, amelyek az adatokat igénylik, feliratkozhatnak a vonatkozó adatáramlásokra, felhasználhatják az adatokat, és üzleti igényeiknek megfelelően reagálhatnak rájuk. Az adatfolyamok által biztosított dedikált adatkommunikációs réteg egyszerűsíti az adatok szervezeten belüli cseréjét. Fig 4:  Az adatforgalom lehetővé teszi bármilyen méretű (mikro vagy makro) szolgáltatások teljesítményét, az adatmezőket és más analitikai végpontokat, valamint az AI-alkalmazások és szolgáltatások teljesítményét az Ön vállalkozásában. A szolgáltatásoknak nem kell minden adataikat az adatfolyamra írniuk, csak azt, ami mások számára hasznos. Jó kiindulópont az, ha megvizsgálják azokat a kéréseket, amelyeket egy szolgáltatás kezel, például a GET-kérelmeket, mivel illusztrálják a másoktól gyakran kért adattípusokat. Más szolgáltatások olvassák az adatáramlásokból származó adatokat, és reagálnak rá saját állami üzleteik frissítésével, saját üzleti logikájuk alkalmazásával, és olyan eredmények generálásával, amelyeket saját áramlásaikban is közzétehetnek. Többé nem kérnek ad hoc adatokat a gyártói szolgáltatástól - ahelyett, hogy az összes adataikat az adatfolyamon keresztül kapják meg, beleértve az új adatokat, a törölt adatokat és az adatok módosításait. Mivel már nem kérnek adatokat a kereslet alapján, a saját adattárukon belül meg kell őrizniük az állapotuk másolatát. (Megjegyzés: Nem kell tárolniuk az összes adatot, csak azokat a mezőket, amelyekről gondoskodnak) A fogyasztó kizárólagosan felelős a saját teljesítményméréseiért, amíg az adatok az adatfolyamban rendelkezésre állnak, és a termelőre már nem támaszkodik a terhelés kezelésére vagy az SLA-k teljesítésére. Az adatforgalom jelentős előnyöket kínál a mikroszolgáltatások, az AI és az analitika számára. Rendelkezésre bocsátja az adatokat bármilyen rendszerhez, folyamathoz vagy szolgáltatáshoz.Az adatfolyamokra írt adatok széles körben elérhetők a szervezetben.A termelői szolgáltatás egyszer írja le az adatokat, és a fogyasztók annyiszor olvashatják az adatokat, amennyire szükségük van. Egyszerűsíti a termelők és a fogyasztók közötti függőségeket. A termelő már nem felelős az adataitól függők lekérdezési mintáinak kiszolgálásáért. A fogyasztó már nem támaszkodik a termelő számítástechnikai és tárolási teljesítményére üzleti igényeinek kielégítése érdekében. Jelentősen csökkenti a pont-pont kapcsolatok számát az üzleti életben, ahelyett, hogy az újrahasznosítható, önfrissíthető adatkészletek előállítására támaszkodna. Kapcsolatfelbontás: A fogyasztói szolgáltatások jelentős szolgáltatásromlás nélkül is elviselhetik a termelői leállásokat, bár az adatáramlást már nem frissítik, és végül leállnak. Ezenkívül módosíthatja és kicserélheti a termelőket anélkül, hogy befolyásolná a meglévő fogyasztókat, mivel csak az eseményáramlásokon maradnak összekapcsolva Power operational (OLTP-alapú) rendszerek: Az adatfolyamok lehetővé teszik az eseményvezérelt (mikro)szolgáltatások létrehozását, amelyek mind az adatokat fogyasztják, mind saját adataikat írják. Valós idejű és tételes elemzés: Az Analytics ugyanazokat az adatfolyamokat használhatja valós idejű elemzéshez, vagy a tételes elemzéshez Iceberg vagy Delta táblák létrehozásához. Fuel Gen AI és AI ügynökök: Ugyanazok az áramlatok képesek generáló AI-t is létrehozni.Az adatfolyamok lehetővé teszik az alacsony késleltetésű visszanyerést, a kibővített generációt (RAG) és a kontextusépítést, így az AI lekérdezései mindig rendelkeznek a legrelevánsabb és legfrissebb információkkal. Javítsa meg a rossz adatokat egyszer, terjedjen el mindenhol: Javíthatja a rossz adatokat a forrásnál, és terjesztheti az adatfolyamon keresztül az összes lefelé irányuló fogyasztó számára.Bár vannak némi árnyalatok a rossz adatok eseményekben történő kezelésében, számos módja van mind annak, hogy megakadályozza, hogy a rossz adatok bejussanak, mind annak javítására, ha ez megtörténik. Még mindig használhatja a pont-pont kérés/válasz kapcsolatokat. Ez nem egy mindent vagy semmit javaslat. Fokozatosan áthelyezheti néhány szolgáltatást és munkaterhelést az adatfolyamra, míg mások a meglévő kérés-válasz architektúrájukra támaszkodnak. Az adatáramlások lehetővé teszik a műveletek, az elemzések és az AI-k ugyanazon adatforrásból történő használatát. Adatkommunikációs rétegként megkönnyíti a kollégáknak és szolgáltatásaiknak, hogy megtalálják és használják az üzleti felhasználási eseteikhez szükséges adatokat. Az egyik legfontosabb előnye a stratégiai előny. Ez egy kicsit nehezebb számszerűsíteni, de kétségtelenül az egyik legfontosabb. Az adatátviteli rétegbe való befektetéssel számos lehetőség nyílik meg az adatok működtetéséhez. Az Apache Kafka, az adatátviteli népszerű választás, számos csatlakozót kínál az összes rendszer és szolgáltatás integrálásához. Már nem korlátozódik arra, hogy csak az adatgyűjtő kínálatával integrált AI-kat használja, vagy azokat, amelyek a felhőszolgáltatóhoz kapcsolódnak, amely az összes analitikai adatot tárolja. Ehelyett könnyedén kipróbálhatja az összes szolgáltató modelljét, amint azok elérhetővé válnak, és első lépésben előnyben részesítheti a legújabb eszközöket. Az adatokra való gondolkodás, a hozzáférés módja és a hozzáférés módja mindig is kihívást jelentett, különösen az operatív / analitikai szakadék tekintetében. De a GenAI megjelenése még fontosabbá tette, még nagyobb súlyt és jelentőséget adva ennek a régi problémának a megoldásához. Ennek középpontjában egy egyszerű elv áll - hagyja, hogy az üzleti szolgáltatások összpontosítsanak üzleti felhasználási eseteikre, és hagyja, hogy az adatkommunikációs réteg adatait az alacsony késleltetésű adatfolyamon keresztül biztosítsák mindazoknak, akiknek szüksége van rá.

This story contains new, firsthand information uncovered by the writer.

Ez a hanganyag a történet eredeti nyelvén készült!

Hogyan lehet az AI, az Analytics és a Microservices ugyanazokat az adatokat használni

About Author

HOZZÁSZÓLÁSOK

HANG TAGOK

EZT A CIKKET BEMUTATTA

Related Stories

HackerNoon Social Media Presence: A Complete Guide

THE HABITS OF INSECTS IN RELATION TO THE FERTILISATION OF FLOWERS

HackerNoon Raises $250k at $50M Valuation From Forward Research

Of The First and Last Things: Part 1

HackerNoon Social Media Presence: A Complete Guide

THE HABITS OF INSECTS IN RELATION TO THE FERTILISATION OF FLOWERS

HackerNoon Raises $250k at $50M Valuation From Forward Research

Of The First and Last Things: Part 1

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps