Kirjoittanut Adam Bellemare, johtava teknologia Confluentissa Generative AI: n syntyminen on herättänyt pitkään keskustelun kysymyksen: miten saat järjestelmillesi ja palveluillesi tietoja, joita he tarvitsevat tekemään työnsä? Vaikka yleisimmin pyydetään mikropalveluita ja datan järven asuttamista, generative AI on työntänyt tiensä tämän luettelon kärkeen. Tärkein ongelma tietojen käyttämisessä on se, että palvelut, jotka luovat alkuperäisen tietueen, eivät välttämättä sovellu parhaiten ad-hoc-käyttöoikeuksien isännöintiin. Palvelusi voi olla täysin kykenevä suorittamaan todelliset liiketoimintavastuunsa, mutta se ei pysty palvelemaan näitä tietoja potentiaalisille asiakkaille. Vaikka voit paljastaa tiedot käyttöliittymällä, palvelu ei ehkä pysty käsittelemään kyselyn määrää tai odotettujen kyselyiden tyyppiä. Data-analyytikot törmäsivät tähän ongelmaan vuosikymmeniä sitten, kun alkuperäinen tietojärjestelmä (a ) ei voinut tarjota tarvittavaa tehoa ja suorituskykyä analyyttisiin käyttötapauksiin. tietojen insinööri poistaisi tiedot alkuperäisestä tietojärjestelmästä ja ladattaisi sen Vaikka työkalut ja teknologiat ovat muuttuneet vuosikymmenien varrella, ydin pysyy samana: tietojen kopiointi operatiivisesta tilasta analyyttiseen tilaan. OLTP tietokanta OLAP tietokanta Kuva 1 Yksinkertainen Extract-Transform-Load (ETL) -työ kopioi tiedot operatiivisesta toimialueesta analyyttiseen toimialueeseen. Kuva 1 Mikrosivustoilla on sama ongelma. Miten he saavat tarvitsemansa tiedot? Yksi yleinen vaihtoehto on suora kysely alkuperäiseen tietojärjestelmään, esimerkiksi HTTP: n, SOAP: n tai RPC: n kautta. Samankaltainen kuin tietojen analysoijien tapauksessa, samoja rajoituksia sovelletaan, koska palvelu ei pysty käsittelemään pääsymalleja, viivevaatimuksia ja muiden riippuvaisten palvelujen sille asettamaa kuormaa. Järjestelmien päivittäminen uusien vaatimusten käsittelemiseksi ei ehkä ole järkevää, kun otetaan huomioon monimutkaisuus, rajalliset resurssit ja kilpailevat vaatimukset. Kuva 2: Muut palvelut tarvitsevat tietoja ratkaisemaan omia liiketoiminnan käyttötapauksiaan, mikä johtaa piste-to-piste-yhteyksien verkkoon. Kuva 2: Kysymyksen ytimessä on se, että Tämä avoin vaatimus monimutkaistaa asioita, koska palvelun on tehtävä hyvää työtä suorien liiketoimintavastuidensa täyttämiseksi, ja sen on myös tuettava tietojen käyttöä koskevia malleja suorien liiketoiminnan käyttötapaustensa ulkopuolella. the services that create the data must also provide access to it for external systems Tietoja luonut sovellus vastaa myös kaikkien muiden palvelujen pyynnöstä tehtävien tietojen kyselyjen täyttämisestä. Fig 3:  Ratkaisu tietojen käyttöoikeuden tarjoamiseen palveluihin, järjestelmiin ja AI: hen on , joka vastaa vain tietojen liikkeestä ja jakelusta organisaatiossa. Sitä kutsutaan (joskus myös nimellä ) on dedicated data communications layer data streaming event streaming Lyhyesti sanottuna palvelusi julkaisevat tärkeitä liiketoimintatietoja kestäviin, skaalautuviin ja toistettavissa oleviin tietovirtoihin.Muut palvelut, jotka tarvitsevat näitä tietoja, voivat tilata asiaankuuluvat tietovirrat, kuluttaa tiedot ja reagoida niihin liiketoiminnan tarpeidensa mukaisesti. Tietovirtojen tarjoama omistettu tietoliikennekerros yksinkertaistaa tietojen vaihtoa koko organisaatiossa. Fig 4:  Tietojen suoratoisto mahdollistaa minkä tahansa koon palvelujen (mikro- tai makrotason) käyttämisen, datajärvien ja muiden analyyttisten päätepisteiden täyttämisen sekä tekoälyn sovellusten ja palveluiden käyttämisen koko yrityksessäsi. Palvelujen ei tarvitse kirjoittaa kaikkia tietojaan tietovirtaan, vaan vain sitä, mikä on hyödyllistä muille. Hyvä paikka aloittaa on tutkia pyyntöjä, joita palvelu käsittelee, kuten GET-pyyntöjä, koska ne kuvaavat muilta yleisesti pyydettyjä tietotyyppejä. Muut palvelut lukevat tietoja datavirroista ja reagoivat siihen päivittämällä omia valtion myymälöitään, soveltamalla omaa liiketoiminnan logiikkaa ja tuottamalla tuloksia, jotka he voivat myös julkaista omalle virralle. He eivät enää pyydä tietoja tilapäisesti tuottajan palvelusta - sen sijaan he saavat kaikki tietonsa tietovirran kautta, mukaan lukien uudet tiedot, poistetut tiedot ja tietojen muutokset. Koska he eivät enää pyydä tietoja pyynnöstä, heidän on säilytettävä kopio tilasta, josta he välittävät omissa tietovarastoissaan. (Huomautus: Heidän ei tarvitse tallentaa kaikkia tietoja, vain niitä kenttiä, joista he välittävät) Kuluttajasta tulee yksin vastuussa omasta suorituskyvyn mittauksesta, kunhan tiedot ovat saatavilla tietovirrassa. Data streaming tarjoaa merkittäviä etuja mikropalveluille, AI: lle ja analyysille. Tiedot, jotka on kirjoitettu virtoihin, voidaan tehdä laajalti käytettävissä koko organisaatiossa. Tuottajan palvelu kirjoittaa tiedot kerran, ja kuluttajat voivat lukea tiedot niin usein kuin tarvitsevat. Huomaa, että halpa levy- ja pilvitallennus mahdollistaa tietojen säilyttämisen virrassa niin kauan kuin tarvitset (mukaan lukien loputon säilytys!) Yksinkertaistaa riippuvuuksia tuottajien ja kuluttajien välillä. Tuottaja ei ole enää vastuussa niiden kyselymallien palvelemisesta, jotka ovat riippuvaisia sen tiedoista. Kuluttaja ei enää ole riippuvainen tuottajan laskenta- ja tallennustoiminnasta liiketoiminnan tarpeidensa tyydyttämiseksi. Vähennät merkittävästi pisteeseen liittyvien yhteyksien määrää yrityksessäsi, vaan luotat tuottamaan uudelleenkäytettäviä, itse päivitettäviä tietokokonaisuuksia. Yhdistäminen: Kuluttajapalvelut voivat sietää tuottajien keskeytyksiä ilman merkittävää palvelun heikkenemistä, vaikka datavirtaa ei enää päivitetä ja se lopulta pysähtyy.Lisäksi voit muokata ja vaihtaa tuottajia vaikuttamatta olemassa oleviin kuluttajiin, koska ne pysyvät yhdistettyinä vain tapahtumavirtaan Power operational (OLTP-pohjaiset) järjestelmät: Tietovirrat antavat sinulle mahdollisuuden rakentaa tapahtumapohjaisia (mikro)palveluja, jotka kuluttavat sekä tietoja että kirjoittavat omia tietojaan virtoihin. Voima sekä reaaliaikainen että eräanalyysi: Analytics voi käyttää samoja datavirtoja joko reaaliaikaiseen analyysiin tai lähteenä Iceberg- tai Delta-taulukoiden rakentamiseen eräpohjaiseen analyysiin. Fuel Gen AI ja AI-agentit: Samat virrat voivat myös tuottaa luovaa AI:ta. Tietovirrat mahdollistavat alhaisen viiveen hyödyntämisen laajennetun sukupolven (RAG) ja kontekstin rakentamisen, joten AI-kyselyilläsi on aina kaikkein merkityksellisimmät ja ajantasaisimmat tiedot. Korjaa huonoja tietoja kerran, levitä kaikkialla: Voit korjata huonoja tietoja lähteessä ja levittää niitä tietovirran kautta kaikille jäljellä oleville kuluttajille. Vaikka on olemassa joitakin vivahteita huonojen tietojen käsittelyssä tapahtumissa, on monia tapoja sekä estää että huonoja tietoja pääsemästä sisään, ja korjata se, jos se tapahtuu. Voit edelleen käyttää pisteeseen liittyviä pyyntöjä/vastausyhteyksiä. Se ei ole kaikki tai ei mitään. Voit siirtää asteittain joitakin palveluja ja työmääriä tietojen suoratoistoon, jättäen toiset luottamaan olemassa oleviin pyyntöihin ja vastauksiin. Tietovirtojen avulla voit käyttää toimintoja, analytiikkaa ja AI: ta, kaikki samasta tietolähteestä. Tietoliikennekerroksena kollegasi ja heidän palvelunsa voivat helposti löytää ja käyttää tietoja, joita he tarvitsevat liiketoiminnan käyttötapauksissaan. Yksi viimeisistä suurista eduista on strateginen hyöty. Tämä on hieman vaikeampaa määrittää, mutta se on epäilemättä yksi tärkeimmistä. Sijoittamalla tietojen suoratoistoon kerrokseen avaat laajan valikoiman mahdollisuuksia saada tiedot toimimaan. Apache Kafka, suosittu valinta tietojen suoratoistoon, tarjoaa laajan valikoiman liitäntälaitteita integroitumaan kaikenlaisiin järjestelmiin ja palveluihin. Et ole enää rajoittunut käyttämään vain AI: ta, jotka on integroitu tietojärven tarjoukseen, tai niitä, jotka on liitetty pilvipalveluntarjoajaan, joka tallentaa kaikki analyyttiset tiedot. Sen sijaan voit helposti kokeilla malleja kaikenlaisilta palveluntarjoajilta, kun ne tulevat saataville, mikä antaa sinulle ensisijaisen edun uusimpien työkalujen hyödynt Ajattelu tiedoista, miten pääset niihin ja miten saat ne sinne, missä niiden on oltava, on aina ollut haaste, varsinkin operatiivisen/analyyttisen eron kannalta. Mutta GenAI: n syntyminen on tehnyt siitä vieläkin tärkeämmän, lisäämällä entistä enemmän painoa ja merkitystä tämän ikivanhan ongelman ratkaisemiseen. Sen ytimessä on yksinkertainen periaate - anna yrityksesi palveluiden keskittyä liiketoiminnan käyttötapauksiin ja anna tietoliikennekerroksen tarjota tietoja kaikille, jotka tarvitsevat sitä matalan latenssin kautta.

This story contains new, firsthand information uncovered by the writer.

Tämä ääni on tuotettu tarinan alkuperäisellä kielellä!

Kuinka voimaa AI, Analytics ja Microservices käyttäen samoja tietoja

About Author

KOMMENTIT

RIPUTA TAGSIA

TÄMÄ ARTIKKELI ESITETTIIN

Related Stories

Spaghetti

Web 2.5: HackerNoon's Vision for a New Wave Internet

10x Research: How a FIL Backed USD Stablecoin By Secured Finance Would Boost The Filecoin Ecosystem

Meet Filestack: HackerNoon Company of the Week

Spaghetti

Web 2.5: HackerNoon's Vision for a New Wave Internet

10x Research: How a FIL Backed USD Stablecoin By Secured Finance Would Boost The Filecoin Ecosystem

Meet Filestack: HackerNoon Company of the Week

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps