Adam Bellemare, glavni tehnolozi u kompaniji Confluent Појава генеративног АИ је поново појавила дуго дискутовано питање: како добити своје системе и услуге податке које им требају да раде свој посао? Док се најчешће тражи за микро-услуге и популацију језера података, генеративна АИ је гурнула свој пут на чело ове листе. Овај чланак истражује како захтеви података генеративног АИ су проширење старог проблема приступа подацима, и како подаци могу пружити недостајући одговор. Ključni problem pri pristupu podacima je u tome što usluge koje kreiraju izvorni zapis podataka nisu nužno najbolje pogodne za gostovanje ad hoc pristupa podacima. Vaša usluga može biti savršeno sposobna da izvrši svoje stvarne poslovne odgovornosti, ali ne može da služi tim podacima potencijalnim klijentima. Dok možete da izložite podatke pomoću interfejsa, usluga možda neće moći da rukuje volumenom upita ili vrstama upita koje se očekuju. Аналитичари података су се суочили са овим проблемом пре неколико деценија, где је оригинални систем евиденције (а ) није могао да обезбеди потребну снагу и перформансе за аналитичке случајеве употребе. Иако су се алати и технологије променили током деценија, суштина остаје иста: копирање података из оперативног простора у аналитички простор. OLTP база података База података OLAP Fig 1 : Једноставан Екстракт-Трансформ-Лоад (ЕТЛ) посао који копира податке из оперативног домена у аналитички домен. Fig 1 Мицросервице имају исти проблем. Како добијају податке које им требају? Једна уобичајена опција је директна упита до оригиналног система евиденције, преко ХТТП-а, СОАП-а или РПЦ-а, на пример. Слично случају аналитичара података, иста ограничења се примењују пошто услуга није у стању да се носи са обрасцима приступа, захтевима за кашњењем и оптерећењем које на њу стављају друге зависне услуге. Фиг 2: Ostalim uslugama će biti potrebni podaci za rešavanje sopstvenih slučajeva poslovne upotrebe, što će rezultirati mrežom poveznica tačke-tačke. Фиг 2: Krivica ovog pitanja je da Овај отворени услов компликује ствари јер услуга мора да уради добар посао испуњавајући своје директне пословне одговорности, а такође мора да подржава обрасце приступа подацима изван својих директних пословних случајева коришћења. the services that create the data must also provide access to it for external systems Aplikacija koja je stvorila podatke je takođe odgovorna za ispunjavanje upita za podatke na zahtev svih ostalih usluga. Fig 3:  Решење за пружање приступа подацима услугама, системима и АИ је , одговоран само за циркулацију и дистрибуцију података широм организације. долази у (такође понекад познат као ) dedicated data communications layer data streaming event streaming Укратко, ваше услуге објављују важне пословне податке у издржљиве, скалиране и поновљиве токове података. Остале услуге које требају те податке могу да се претплате на релевантне токове података, конзумирају податке и реагују на њих у складу са њиховим пословним потребама. Poseban sloj komunikacije podataka, koji obezbeđuje tok podataka, pojednostavljuje razmenu podataka u vašoj organizaciji. Fig 4:  Стреаминг података вам омогућава да напајате услуге било које величине (било да је то микро или макро), попуните своја језера података и друге аналитичке крајње тачке и напајате АИ апликације и услуге широм вашег пословања. Услуге не морају да пишу све своје податке у ток података, само оно што је корисно за друге. Добро место за почетак је да истражите захтеве које услуга обрађује, као што су ГЕТ захтеви, јер они илуструју врсте података које се обично траже од других. Друге услуге читају податке из токова података и реагују на то ажурирањем својих државних продавница, применом сопствене пословне логике и генерисањем резултата које могу такође објавити на свој ток. Они више не траже податке ад-хоц од услуге произвођача - уместо тога, добијају све своје податке кроз ток података, укључујући нове податке, избрисане податке и промене направљене на подацима. Пошто више не траже податке на захтев, морају одржавати реплику стања за које се брину у својим складиштима података. (Напомена: Не морају да чувају СВЕ податке, само поља за која се брину) Potrošač postaje isključivo odgovoran za sopstvene parametre performansi, sve dok su podaci dostupni u toku podataka. Стреаминг података нуди значајне предности за микро-услуге, АИ и аналитику. Postavlja podatke na raspolaganju svim sistemima, procesima ili uslugama kojima su potrebni. Podaci napisani u tokove mogu biti široko dostupni u vašoj organizaciji. Usluga proizvođača piše podatke jednom, a potrošači mogu da čitaju podatke onoliko puta koliko im je potrebno. Imajte na umu da jeftin disk i skladištenje u oblaku omogućava da podatke održavate u toku onoliko dugo koliko vam je potrebno (uključujući beskrajno zadržavanje!) Pojednostavljuje zavisnosti između proizvođača i potrošača. Proizvođač više nije odgovoran za služenje uzoraka upita onih koji zavise od njegovih podataka. Potrošač više ne zavisi od performansi izračunavanja i skladištenja proizvođača za zadovoljavanje njegovih poslovnih potreba. Značajno smanjite količinu poveznica tačka do tačke u celom vašem poslovanju, umesto toga se oslanjajući na proizvodnju ponovnih, samostalno ažuriranih skupova podataka. Откључавање: Услуге потрошача могу толерисати прекиде произвођача без значајног оштећења услуге, иако ток података више неће бити ажуриран и на крају ће постати стагнирајући.Поред тога, можете модификовати и заменити произвођаче без утицаја на постојеће потрошаче, јер они остају спојени само на токовима догађаја Power operational (OLTP-based) systems: Data streams omogućavaju vam da izgradite event-driven (micro)services koji i konzumiraju podatke i pišu sopstvene podatke u tokove. Снага и анализе у реалном времену и анализе у партији: Анализа може користити исте токове података за анализу у реалном времену или као извор за изградњу Ицеберг или Делта табела за анализу у партији. Fuel Gen AI i AI agenti: Isti tokovi mogu takođe da naprave generativnu AI. Tokovi podataka omogućuju generisanje povećane generacije (RAG) sa niskom latencijom i izgradnju konteksta, tako da vaši AI upiti uvek imaju najrelevantnije i najaktuelnije informacije. Поправите лоше податке једном, пропагирајте свуда: Можете поправити лоше податке на извору и пропагирати их кроз ток података свим потрошачима у наставку.Иако постоје неке нијансе у управљању лошим подацима у догађајима, постоји много начина како бисте спречили да лоши подаци уђу, и да га поправите ако се то деси. Još uvek možete da koristite point-to-point zahtev/odgovor veze. To nije sve ili ništa predloga. Možete postepeno da migrirate neke usluge i radnog opterećenja na streaming podataka, dok drugi da se oslanjaju na svoje postojeće zahteve-odgovor arhitekture. Tokovi podataka omogućuju vam da napajate operacije, analitiku i AI, sve iz istog izvora podataka.Kao sloj komunikacije podataka, olakšava vašim kolegama i njihovim uslugama da pronađu i koriste podatke koji su im potrebni za svoje poslovne slučajeve korišćenja. Једна од последњих великих предности је стратешка предност. Ово је мало теже квантификовати, али је несумњиво једна од најважнијих. Инвестирањем у слој стреаминг података, отварате широк спектар могућности за покретање ваших података. Апацхе Кафка, популаран избор за стреаминг података, нуди широк спектар конектора за интеграцију са свим врстама система и услуга. Више нисте ограничени на коришћење АИ-а који су интегрисани са вашом понудом података, или оних који су повезани са провајдером услуга у облаку који чува све ваше аналитичке податке. Уместо тога, лако можете пробати моделе од свих врста провајдера како постану доступни, дајући вам прву пред Размишљање о подацима, како га приступити, и како га добити тамо где треба да буде увек је био изазов, нарочито за оперативни / аналитички размак. Али долазак ГенАИ-а га је учинио још важнијим, додајући још више тежине и важности у решавању овог старог проблема. У срцу је једноставан принцип - нека се ваше пословне услуге фокусирају на своје пословне случајеве употребе, и нека слој комуникације података пружи податке свима којима је то потребно кроз латентни проток података.

This story contains new, firsthand information uncovered by the writer.

Овај аудио је произведен на оригиналном језику приче!

Како Покренути АИ, Аналитику и Мицросервице користећи исте податке

About Author

КОМЕНТАРИ

ХАНГ ТАГС

ОВАЈ ЧЛАНАК ЈЕ ПРЕДСТАВЉЕН У

Related Stories

Building a website with React and Bulma

Scaling Web Testing with Automation: Srikanth Srinivas’s Digital Strategy Breakthrough

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Leadership Success Story: Srinath Muralinathan's Transformative Projects at Amazon

Building a website with React and Bulma

Scaling Web Testing with Automation: Srikanth Srinivas’s Digital Strategy Breakthrough

Building the Cloud Future: Sreedevi Velagala's Trek in AWS Architecture

Leadership Success Story: Srinath Muralinathan's Transformative Projects at Amazon

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps