Markii ugu dambeysay ee aan weydiinay, "Waa maxay heckku???", waxaan fiirinnay __ Apache Kafka __® borotokoolka ku habboon xogta qulqulka WarpStream . Xogta qulqulka ah, waxaad u baahan tahay inaad wax ku samayso. U deji meel sida Apache Iceberg , Barafka , ama Duubista xogta , ama weydii xogtaas duulimaadka si aad u kobciso iyo/ama u shaandhayso ka hor inta aanad dejin. Waxaa jira doorashooyin qaar ka mid ah kuwa dambe, laakiin kan ugu weyn ayaa shaki la'aan ah mashruuca il furan Apache Flink . Fiiri Flink ayaa ii horseeday DeltaStream , oo ah mawduuceena maanta. Waa maxay dhibka DeltaStream? Sidee ayay ula shaqeysaa Flink, sideese u tahay saaxiibka Kafka?

Waa maxay Flink?

Flink waxaa markii hore loo aqbalay sidii mashruuc Apache bishii Disembar 2014, sidaa darteed waxay jirtay in muddo ah. Kobaca habaynta qulqulka ayaa horseeday xiisaha iyo isticmaalka la dadajiyay dhawrkii sano ee la soo dhaafay. Flink waa nidaam xoogaa dhib badan si loo istaago loona isticmaalo gudaha, una baahan karti injineernimo oo heegan ah. Xataa ka AWS MSF adeegga, in kasta oo sahlan, haddana waa mid adag. Isticmaalka Java, tusaale ahaan, waxay kaaga baahan tahay inaad qorto waydiinta Java, abuurto fayl jar ah, siib ku dheji, ku dheji S3, dejiso ogolaanshahaaga, ka dibna fuli.

Waxaan ka amaahan doonaa bogga shabakadda Apache Flink halkan. Apache Flink waa qaab-dhismeed iyo matoor wax-qabad oo la qaybiyay oo loogu talagalay xisaabinta xogta leh ee xogaha aan xadka lahayn iyo kuwa xaddidan. Flink waxaa loo qaabeeyey in uu ku shaqeeyo dhamaan deegaanada kooxa wadaaga ah oo uu ku sameeyo xisaabinta xawliga xusuusta iyo miisaan kasta. Ma rabo in aan wax badan ku soo kordhiyo waxa ku jira shabakadooda, marka haddii aanad hubin Flink, bal eeg.

Isticmaalka DeltaStream

Aasaaska ugu badan, DeltaStream wuxuu ku siinayaa awooda Flink adigoon la macaamilin Flink. Haba yaraatee. Imtixaankaygii, waxaan isticmaalay kooda Hagaha Bilowga Degdegga ah Shabakadda UI; Ogow inay sidoo kale leeyihiin CLI, oo aanan tijaabin.

Markaad is-diiwaangeliso, waxaad helaysaa tijaabo 14 maalmood ah oo bilaash ah. Tusaalaha kooxda Kafka ee loo yaqaan "trial_store" ayaa la soo saaray oo aad isticmaali karto halkii aad isticmaali lahayd xogtaada si aad isugu daydo. Bandhiga bandhiga wuxuu ka kooban yahay dhowr mowduuc oo lagu ciyaaro. Astaamaha hoos yimaada ACTIONS waxay kuu oggolaanayaan inaad tirtirto mawduuc ama aad aragto faahfaahinta iyo waxa ku saabsan mawduuca.

Halkan waxaa ah faahfaahinta mawduuca aragtida bogga si loo tixraaco, kaas oo aan isticmaali doono hadhow.

Hagaag, waxaanu haynaa kooxda Kafka oo socota iyo mawduucyo ku jira. Hadda, aynu samayno wax xiiso leh. Sida ku xusan hordhaca, waxa ugu xiisaha badan ee aan samayn karo waa kobcinta iyo/ama shaandhaynta xogta inta ay ku jirto duulimaadka ka hor inta aysan ku dhicin meesha ugu dambeysa, sida database / bakhaar / haro. Ujeedooyinkaas awgeed, waxaan aadeynaa goobta shaqada.

Qaybtani waxay qaadatay in yar oo la qabsaday. Xogta xogta iyo schema ee DeltaStream waa faylal urureed kaliya. Waxaad samayn kartaa tirada 'n' databases, iyo gudaha database, waxaad yeelan kartaa 'n' tirada schemas. Nidaamyadu waxay hayn doonaan qaabaynta qeexida Walxaha DeltaStream ee loo yaqaan STREAM, CHANGELOG, MUUQAAL GAAR AH, iyo MIISKA. Shaxdu waxa ay la xidhiidhaa miiska xogta ee wax sida PostgreSQL, iyo Aragtida Materialized waa hab lagu sii wado xogta natiijada la dejiyay iyada oo aan meel gaar ah la dhigin. Ma doonayo inaan wax la sameeyo mid ka mid ah kuwa ku jira blogkan; Waxaan diiradda saari doonaa Stream iyo Changelog.

Waxaan abuurayaa qulqulka mawduuca boggaga ee kooxda Kafka ee shaashadda soo socota. Waxaan u maleynayaa inay tahay samaynta qeexida miiska mawduuca. Waxaan u xilsaarnay magacyada goobaha waxaana u sheegnay mowduuca la isticmaalayo iyo qaabka xogta ay tahay. Ma aha in aan si buuxda u caddeeyo kooxda trial_store sida loogu dejiyay sidii caadiga ahayd ee sanduuqa combo ee sare. Marka amarkaas la fuliyo, waxay ka muuqan doontaa hoosteeda TestDB.public. Waxaan markaas ku waydiin karaa shay la mid ah XUL * KA SOO JEEDA BOGGA, oo waxaan bilaabi doonaa inaan ku arko xogta ku jirta shaarka natiijada ee hoose.

Marka xigta, waxaan ku dhawaaqayaa beddelaad uu taageeray mawduuca isticmaalaha oo uu dalbaday UserID. Beddelku waxa uu la mid yahay qulqulka laakiin waxa uu awood kuu siinayaa in aad dhacdooyinka mawduuca u fasirto dhacdooyin UPSERT ah. Dhacdooyinka waxay u baahan yihiin furaha aasaasiga ah; DeltaStream waxay u tarjumeysaa dhacdo kasta sidii gelinta ama cusboonaysiinta furaha aasaasiga ah ee la bixiyay. Xaaladdan, isbeddelku wuxuu ka tarjumayaa tafaasiisha gaarka ah ee isticmaalaha, sida jinsiga iyo danaha.

Halkan waa meesha aan ka bilowno inaan xoogaa madadaalo ah ku qaadano. Waxaan abuuri doonaa durdur cusub oo kobciya qulqulka muuqaallada bogga xogta laga helay isticmaalayaasha_log changelog anigoo isticmaalaya userid sida qiimaha muhiimka ah ee lagu soo biiri karo. Tani waxay hadda i siinaysaa mawduuc gaar ah oo kooxda ku jira oo wata xog laga helay laba mawduuc oo kala duwan. Halkan, waxaan ka shaandheyn karaa aniga oo isticmaalaya wax la mid ah gobolka oo waxaan ku qori karaa natiijada su'aashaas meesha ugu dambeysa, sida kaydka xogta, bakhaarka, ama harada. Tani waxay ii ogolaatay inaan kobciyo oo aan shaandheeyo xogta gudaha duulimaadka ka hor intaanan soo dejin, sidaas darteed hagaajinta daahitaanka iyo yaraynta xisaabinta iyo kaydinta.

Soo koobid

Marka, waa maxay heck waa DeltaStream? Runtii waa hab fudud oo loo isticmaalo Apache Flink adiga oo aan waxba ka ogayn ama si toos ah wax loogu samayn. Waxaad ka aragtay tusaalahayga sida tooska ah ee ay u ahayd in lagu xidho Apache Kafka ka dibna la akhriyo, ku biiro, oo shaandheeyo xogta. Xidhiidhada kale ee hadda la taageeray waa Kinesis, PostgreSQL, Snowflake, iyo Databricks, waxaana la ii sheegay in ClickHouse iyo Iceberg ay dhowaan diyaar noqon doonaan.

Ugu dambeyntii, DeltaStream waxay ku siinaysaa awoodda Apache Flink adigoon la macaamilin Apache Flink, waxaadna ku samayn kartaa adigoo isticmaalaya SQL halkii Java. Haddii aad la macaamilayso xogta qulqulka ama aad raadinayso inaad hirgeliso, tani hubaal waa xal aad u xariif ah oo ku habboon.

Fiiri kayga kale Waa maxay Heck… maqaallada ku yaal linkiyada hoose:

• Waa maxay Heck waa DuckDB?
• Waa maxay macnaha Malloy macnaheedu
• Waa maxay Heck waa PRQL?
• Waa maxay Heck waa GlareDB?
• Waa maxay Heck waa SeaTunnel?
• Waa maxay Heck waa LanceDB?
• Maxay tahay SDF?
• Maxay la odhan ah Paimon macnaheedu?
• Waa maxay Heck waa Proton?
• Waa maxay Heck waa PuppyGraph?
• Waa maxay Heck waa GPTScript?
• Waa maxay Heck waa WarpStream?

**