Adam Bellemare, Confluent- ի հիմնական տեխնոլոգիաներ Ապրիշային AI- ի արտադրանքը վերականգնում է երկար թարգմանված հարցը: Ինչպե՞ս ստանում եք ձեր համակարգերի եւ ծառայություններների տվյալները, որոնք անհրաժեշտ են իրենց աշխատանքների կատարելու համար: Երբ ամենամեծորեն պահանջվում են microservices- ի համար եւ տվյալների նավթի տպագրում, generative AI- ը իր ճանապարհը տպագրում է այս ցուցանիշի առաջ: Այս հոդվածը ուսումնասիրում է, թե ինչպես generative AI- ի տվյալների պահանջները մատակարարվում են տվյալների ստանալը, եւ թե ինչպես data streams- ը կարող է ապահովել Ձեզ սխալը: Data Access- ի հիմնական խնդիրը այն է, որ այն ծառայություններ, որոնք ստեղծում են Original Record- ի տվյալները, ոչ թե պետք է լավագույն են տեղադրելու ad-hoc հասանելիության համար: Ձեր ծառայությունը կարող է ճշգրիտորեն կատարել իր ճշգրիտ բիզնես գործառույթները, բայց չի կարող ծառայել այդ տվյալները потенциаական հաճախորդների համար: Երբ դուք կարող եք բացահայտել տվյալները, օգտագործելով ինտերնետը, ծառայությունը կարող է չգիտեն աշխատել փոստի քանակը, կամ փոստի տեսակի, որոնք պետք է սպասվում են: Data analysts արել է այս խնդիրը տարիներ առաջ, որտեղ առաջին համակարգը գրառումների (a ) չի կարող ապահովել անհրաժեշտ հզորությունը եւ կատարումը analytical օգտագործման cases. A data engineer would extract the data from the original system of record and load it into Երբ գործիքները եւ տեխնոլոգիաները փոխվել են տարիների ընթացքում, ճշմարտությունը կանգնած է: տվյալների վերլուծումը օպերացիոն տարածքում analytical տարածքում: OLTP բազան OLAP բազան Ֆիլմ 1 Ավելացնել-Transform-Load (ETL) աշխատանքը, որը բեռնում է տվյալները օպերացիոն տրանսպորտից analytical տրանսպորտում: Ֆիլմ 1 Microservices- ի նման խնդիրներ են: Ինչպե՞ս կարող են ստանալ այն տվյալները, որոնք անհրաժեշտ են: Հիմնական տարբերակն է, թե ինչպես պետք է ճշգրիտ փոստի համակարգը, ինչպիսիք են HTTP, SOAP, կամ RPC- ի միջոցով: Որպես տվյալների analyzer- ի գործառույթը, նույն հստակությունը կիրառվում է, քանի որ ծառայությունը չի կարող վերահսկել access մոդելներ, latency պահանջները, եւ բեռը, որը տեղադրվում է այն վրա այլ dependent ծառայություններ. Updating համակարգերը to handle the new requirements may not be reasonable either, considering complexity, limited resources, and competing requirements. Ֆիլմ 2: Այլ ծառայություններ պետք է տվյալները լուծել իրենց բիզնես օգտագործման գործիքները, որը արդյունք է մի կայքը point-to-point կապների. Ֆիլմ 2: Այս հարցի սխալը այն է, որ Այս open-end պահանջը կասկածում է բաները, քանի որ ծառայությունը պետք է լավ աշխատել իր ուղղակի բիզնես գործառույթների կատարելու համար, եւ այն պետք է նաեւ աջակցել տվյալների հասանելիության մոդելներ, քան իր ուղղակի բիզնես օգտագործման գործառույթները: the services that create the data must also provide access to it for external systems Օգտագործման, որը ստեղծել է տվյալները, նաեւ պատասխանատու է բոլոր այլ ծառայությունների առաքման տվյալների հարցերի կատարման համար: Fig 3:  Ծրագրային ապահովման լուծումը, որը ապահովում է տվյալների մուտք գործել ծառայություններ, համակարգեր եւ AIs- ում Տեսանյութը, որը պատասխանատվություն է միայն տվյալների թռիչքի եւ թռիչքի համար, այնտեղ է, որտեղ Ահա այն, ինչ երբեմն հայտնի է որպես Ավելի dedicated data communications layer data streaming event streaming Հիմնականում, ձեր ծառայությունները գրում են կարեւոր բիզնեսի տվյալները խոշոր, ծախսելի եւ վերլուծելի տվյալների ռեժիմների համար: Արդյոք այլ ծառայություններ, որոնք անհրաժեշտ են այդ տվյալների համար, կարող են գրել relevant տվյալների ռեժիմների համար, օգտագործել տվյալները եւ պատասխանել նրանց հետ իրենց բիզնեսի պահանջների համար: Data Communication Layer- ը, որը ապահովվում է Data Streams- ի միջոցով, հեշտացնում է տվյալների փոխանցումը ձեր ընկերության մեջ: Fig 4:  Data streaming- ը թույլ է տալիս Ձեզ օգտագործել ցանկացած չափի ծառայություններ (կամ micro- կամ macro- ից), բեռնել ձեր տվյալների նավթի եւ այլ analytical endpoints- ից, եւ օգտագործել AI ծրագրեր եւ ծառայություններ ձեր բիզնեսի մեջ: Ծառայություններ չեն պետք է գրել բոլոր իրենց տվյալները տվյալների թռիչքի, միայն այն, ինչը օգտակար է այլ մարդկանց համար: Լավ տեղ է սկսել, որ հետազոտել պահանջները, որոնք ծառայությունը աշխատում է, ինչպիսիք են GET պահանջները, քանի որ նրանք ներառում են տվյալների տեսակի, որոնք սովորաբար պահանջվում են այլ մարդկանց հետ: Բացի այդ, խոսեք ձեր ընկերների հետ, քանի որ նրանք ունեն լավ տեսակը, թե ինչ տեսակի տվյալները իրենց ծառայությունների պետք է կատարել իրենց աշխատանքները: Այլ ծառայություններ կարդալ են տվյալները տվյալների ցանցից եւ պատասխանել են այն համար, որ նորարարում են իրենց կայքի շուկանները, օգտագործում են իրենց սեփական բիզնես լոգին, եւ արտադրում են արդյունքները, որոնք նրանք կարող են նաեւ գրել իրենց սեփական ցանցում: Կան երեք մեծ փոփոխություններ հաճախորդների համար: Նրանք不再 պահանջում են տվյալները ad-hoc- ից արտադրող ծառայության կողմից - այլն, նրանք ստանում են բոլոր իրենց տվյալները տվյալների ցանցի միջոցով, այդ թվում, նոր տվյալները, մաքրված տվյալները եւ տվյալների փոխանցումներ: Քանի որ նրանք ավելի շատ չեն պահանջում տվյալները պահանջում, նրանք պետք է պահպանել մի վերլուծություն ստանդարտը, որ նրանք սիրում են իրենց տվյալների սարքավորումներում. (Անհարկե: Նրանք չեն պետք է պահել բոլոր տվյալները, միայն սարքավորումներ, որոնք նրանք սիրում են) Մատակարարը իր սեփական կատարման մետրոպեների համար հուսալի է, քանի որ տվյալները հասանելի են տվյալների ցանցում: Նրանք ավելի էլ չգիտեն, որ արտադրողը վերահսկում է իր ծախսերը կամ կատարում է իր SLA-ները: Data Streaming- ը առաջարկում է microservices- ի, AI- ի եւ analytics- ի մեծ բարիքներ: Ավելացնել տվյալները ցանկացած համակարգի, գործընթացների կամ ծառայությունների համար, որոնք անհրաժեշտ են այն համար: Ավելացնել տվյալները, որոնք գրված են ռեժիմների համար, կարող են լինել լայնորեն հասանելի ձեր ընկերության մեջ: Արտադրող ծառայությունը գրում է տվյալները մեկ անգամ, եւ հաճախորդները կարող են կարդալ տվյալները, քանի որ նրանք պետք են: Նշեք, որ գեղեցիկ թվային եւ թվային պահեստը թույլ է տալիս Ձեզ պահել տվյալները ռեժիմում, քանի որ դուք պետք է (կամ ներառում է անսահմանափակ պահեստ!) Պահպանում է արտադրողների եւ հաճախորդների միջեւ հարաբերությունները: Արտադրողը ավելիեւս չի պատասխանատվություն է ծառայելու իրենց տվյալների վրա հիմնված հարցման մոդելների համար: Մատակարարը ավելի շատ չի հավատում արտադրողի թվային եւ սարքավորման կատարման համար իր բիզնեսի պահանջների ծառայելու համար: Դուք կարեւորորեն նվազեցնում եք ձեր բիզնեսի մեջ point-to-point connections- ի քանակը, այլն, հավատում եք արտադրել վերամշակելի, ինքնաթիռված տվյալների սարքավորումներ: Ապրանքային ծառայություններ կարող են հասկանալ արտադրողների սխալները, առանց կարեւոր ծառայության սխալների, բայց տվյալների թռիչքը դեռ չի նորարարվում եւ վերջապես կախված է: Բացի այդ, դուք կարող եք փոխել եւ փոխել արտադրողներ, առանց ազդեցության կանանց հաճախորդներին, քանի որ նրանք կախված են միայն պատմության թռիչքներում: Power operational (OLTP-based) համակարգեր: Data streams- ը թույլ է տալիս ստեղծել event-driven (micro) ծառայություններ, որոնք երկու անգամ օգտագործում են տվյալները եւ գրել են իրենց սեփական տվյալները Streams- ում: Դուք կարող եք օգտագործել հեշտությամբ հասանելի տվյալները Արդյոք, Analytics- ը կարող է օգտագործել նույն data streams- ի համար, թե ինչու է Real-time analytics- ը, թե ինչու է Iceberg- ի կամ Delta- ի տեքստի ստեղծման համար, թե ինչու է batch-based analytics- ի համար: Արդյունաբերական AI- ի եւ AI- ի գործիչների համար: Հիմնական ռեժիմները կարող են նաեւ արտադրել AI- ի գործիչներ: Data Streams- ը թույլ է տալիս ցածր տեւողության վերցնել Augmented Generation (RAG) եւ Context Building- ը, այնպես որ ձեր AI- ի պահանջները միշտ ունեն ամենամեծ հարմարավետ եւ ժամանակակից տեղեկատվություն: Բացի այդ, AI- ի գործիչների նորագիծը օգտվում է նույն միասնական գործառույթների հիմնված հաղորդագրության մոդելների հետ, որոնք ծառայում են event-driven microservices- ում: Տեղադրեք սխալ տվյալները մեկ անգամ, թարմացեք ամենայնում: Դուք կարող եք վերահսկել սխալ տվյալները սխալ տվյալներում, եւ թարմացեք այն տվյալների ցանցում բոլոր ներքեւում օգտագործողներին: Երբ կա որոշ սխալ տվյալների կառավարման սխալ տվյալները, կա բազմաթիվ մեթոդներ, ինչպես նաեւ փրկելու այն սխալ տվյալները ստանում են, եւ վերահսկել այն, եթե դաเกิดขึ้น է: Դուք դեռ կարող եք օգտագործել point-to-point request/response connections. Այն ոչ մի բոլոր կամ ոչինչ հարցը. Դուք կարող եք փաթեթավորել որոշ ծառայություններ եւ աշխատանքային վահանակները տվյալների ռեժիմում, իսկ այլները կարող են հավատալել իրենց առաջադեմ request-response դիզայնները: Data streams- ը թույլ է տալիս օգտագործել գործառույթներ, analytics- ը եւ AI-ները, բոլորը նույն տվյալների աղբյուրից: Որպես տվյալների հաղորդագրության մակերեսը, այն հեշտ է ձեր ընկերների եւ իրենց ծառայությունների համար գտնել եւ օգտագործել տվյալները, որոնք անհրաժեշտ են իրենց բիզնես օգտագործման գործառույթների համար: Մեկը վերջին հիմնական առավելությունները է պլաստիկ առավելությունները. Այսը մի քիչ ավելի դժվար է մանրամասել, բայց դա ոչինչ չէ, որ ամենամեծ կարեւորը: Որպես ինտեգրում է տվյալների պլաստիկ մակերեսին, դուք բացում եք մի շարք հնարավորություններ ձեր տվյալների աշխատելու համար: Apache Kafka- ը, որը հայտնի է տվյալների պլաստիկների համար, առաջարկում է լայն շարք միակցիչներ ինտեգրման համար բոլոր տեսակի համակարգերի եւ ծառայությունների հետ: Դուք չեք ընդգրկված միայն օգտագործելով AI- ները, որոնք ինտեգրված են ձեր տվյալների նավահանգիստի առաջարկով, կամ նրանց հետ, որոնք ներգրավված են սլուխ ծառայության մատակարարի հետ, որը տեղադրում է ձեր բոլոր ինտեգրիտ տվյալները: Այո, դուք կարող եք Տեսնել տվյալների մասին, թե ինչպես ստանալ այն, եւ թե ինչպես ստանալ այն, որտեղ այն պետք է լինել, միշտ կարեւոր է, հատկապես օպերացիոն / analytical սխալների համար: Բայց GenAI- ի արտադրանքը դարձել է այն ավելի կարեւոր, ավելացնել այդ ավելի մեծ քաշը եւ կարեւորությունը լուծելու համար այս հագուստ խնդիրը: Նրա կենտրոնում է պարզ ռեժիմը - թողեք ձեր բիզնեսի ծառայությունները կենտրոնանալ իրենց բիզնեսի օգտագործման գործառույթների վրա, եւ թողեք տվյալների կապի փոշի ապահովել տվյալները բոլորի համար, ովքեր պետք է այն ցածր լարման տվյալների ռեժիմի միջոցով: Եվ այդ մի քանի տվյալների ռեժիմից, դուք կարող եք օգտագործել ձեր օպերացիոն, analytical, եւ AI օգտագործման գործառույթները:

This story contains new, firsthand information uncovered by the writer.

Այս աուդիոն պատրաստվել է պատմության բնօրինակ լեզվով:

Ինչպես Power AI, Analytics, եւ microservices օգտագործելով նույն տվյալները

About Author

ՄԵԿՆԱԲԱՆՈՒԹՅՈՒՆՆԵՐ

ԿԱԽՎԵԼ ՏԵԳՍԵՐ

ԱՅՍ ՀՈԴՎԱԾԸ ՆԵՐԿԱՅԱՑՎԵԼ Է Մ

Related Stories

HyperCycle Announces Strategic Split into Two Distinct Operations

Hypernative Bolsters Bitcoin L2 Security as Stacks Ecosystem Gets Real-Time Protection

What is Hyperthreading and How Do You Enable It?

Toufi Saliba: The Architect Behind HyperCycle's Decentralized Network of AI

HyperCycle Announces Strategic Split into Two Distinct Operations

Hypernative Bolsters Bitcoin L2 Security as Stacks Ecosystem Gets Real-Time Protection

What is Hyperthreading and How Do You Enable It?

Toufi Saliba: The Architect Behind HyperCycle's Decentralized Network of AI

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps