නවීන දත්ත පද්ධති ආකෘතිය මූලික වෙනස්කම් සිදු කරයි. අද ඔවුන් දත්ත පද්ධති නිර්මාණය කරන්නේ කෙසේදැයි සංවර්ධකයාගෙන් ඇහුවහොත් උත්තරය වැඩිදුරටත් මේ ආකාරයට පෙනේ: යෙදුම සඳහා Postgres, විශ්ලේෂණය හා දත්ත විද්යාව සඳහා ගල් ගබඩාව. Postgres, දිගු කාලීන ව්යාපාරික workloads සඳහා ප්රියතම, සාමාන්ය පරිශීලක මෙහෙයුම් පදනම බවට වර්ධනය වී ඇත. එය විශ්වාසවන්ත, සංයෝගික, සහ ගැඹුරින් පුළුල් කළ හැකි, පාරිභෝගික ගනුදෙනු සහ CRUD යෙදුම් වලින් සෑම දෙයක්ම, සැබෑ වේලාවක ආකෘති සහ AI සහයෝගයෙන් නිෂ්පාදන විශේෂාංග සඳහා බලශක්ති. එහි පරිසර පද්ධතිය සැබෑ වේලාවක විශ්ලේෂණය සහාය කර ඇත ( ) , භූගෝලීය දත්ත (PostGIS), විචල්ය සහ සම්පූර්ණ ලිපිය සෙවීම (pgvector සහ pgvectorscale) සහ තවත් බොහෝ දේ. TimescaleDB එමෙන්ම, විවෘත මුහුදු ගබඩා තාක්ෂණය වර්ධනය වන අතර, සංවිධානයේ දත්ත ප්රමාණයෙන් කළමනාකරණය හා විශ්ලේෂණය කරන ආකාරය නැවත අර්ථකථනය කර ඇත.Degregated storage, open table formats such as Iceberg, structured data catalogues, and composable query engines have made it possible to analyze petabyte-scale data with precision and control.This architecture can offer governance, avoid vendor lock-in, and still provide data teams flexibility in their choice of tools. මෙම තාක්ෂණයන් එක්තරා ආකාරයකින් සාර්ථක වීම පමණක් නොව, ඔවුන් එක්තරා ආකාරයකින් එක්තරා ආකාරයකින් ස්ථාපනය කරන ආකාරයයි.Organizations increasingly need to support both operational workloads (powered by databases) and non-operational workloads (powered by lakehouses), often using data from the same sources – people, machines, digital systems, or agents. ඇත්ත වශයෙන්ම, අපි හිතන්නේ නව, වඩාත් සංකීර්ණ ආකෘතිය වර්ධනය වන බව: Postgres සහ මුහුදු ගොඩනැගිල්ල බෙදා හැරෙන ලෝකයන් ලෙස නොව, ක්රියාකාරී හා විශ්ලේෂක අවශ්යතා සම්පූර්ණ ප්රමාණයට ගැලපෙන එක්, මොඩියුලර් පද්ධතියක සුවිශේෂ ප්රමාණයන් ලෙස සැලසුම් කරන බවය. OLTP සහ OLAP Dichotomy තැපැල් සඳහා OLTP, විශ්ලේෂණය සඳහා OLAP: ඔබ Postgres භාවිතා කර ඔබේ යෙදුම බල කිරීමට, සහ අන්තර්ගත වාර්තා සහ ආකෘති තැපැල් සඳහා දත්ත ගබඩාව වෙත රාත්රියේ ETL රැකියාවන් යැවීම සඳහා සරල විය. මෙම සම්ප්රදායික වෙනස අප හොඳින් සේවය කරන විට යෙදුම් සරල විය, හා අන්තර්ගත වාර්තාව වඩා වේගයෙන් ජීවත් විය හැකි. වර්තමානයේ යෙදුම් දත්ත බර, පාරිභෝගික ප්රවේශය, සහ සැබෑ කාලය විසින් සැලසුම්. 
 
 
 
 ව්යාපාරික යෙදුම, පාරිභෝගික portfolios වෙත millisecond ප්රවේශය අවශ්ය වෙළඳ එන්ජින් ක්රියාත්මක කළ හැකි අතර, සැබෑ වේලාවක අවදානම වාර්තා සහ අභ්යන්තර ආකෘති සකස් කිරීම. SaaS යෙදුම ක්ලික් කිරීම පමණක් නොවේ - එය භාවිතය ප්රමාණයන් ගණනය කිරීම, අනතුරු ඇඟවීම සහ පෞද්ගලික ආකෘති සැපයීම වේ. කාර්යක්ෂම අධීක්ෂණය පද්ධතිය පැයට මිලියන ගණනක් සංඥා කියවීමක් ලබා ගත හැකි අතර, අසාමාන්යතාවයන් හඳුනා ගැනීම සහ අනතුරු ඇඟවීමේ ලෝහය සහ දිගුකාලීන විශ්ලේෂණය සහ AI ආකෘති පුහුණු කිරීම සඳහා වසර ගණනාවක් දුරකථන ලැයිස්තුවක් ලබා ගත හැකිය. මෙම භාවිත ප්රතිඵල ප්රතිඵල නොවේ - ඔවුන් ඉක්මනින් සාමාන්ය බවට පත් වේ. We increasingly see a more useful split: operational databases that power products, and lakehouses that power organizations. කෙසේ වෙතත්, මෙම වර්ගයේ පද්ධති අයිතිවාසිකම් බෙදා හැරීම - නිෂ්පාදන ඉංජිනේරු කණ්ඩායම් ඔවුන්ගේ නිෂ්පාදන සඳහා බලශක්ති සපයන මෙහෙයුම් පද්ධති සඳහා වගකිව යුතු අතර, ආයතනික සේවා ලෙස ගර්භණී පද්ධති කළමනාකරණය කිරීම සඳහා වගකිව යුතු දත්ත කණ්ඩායම් - දෙදෙනා තවමත් එකිනෙකා සමඟ කතා කළ යුතුය. මෙහෙයුම් Medallion Architecture අපි දකින එකම ආකෘතිය ට්රැක්සිය ලබා ගැනීමයි අපි කියන්නේ දත්ත ඉංජිනේරු ලෝකය තුළ ජනප්රිය වූ මැදිරියන් ආකෘති වලින් ආශීර්වාද කර ඇති මෙම ආකෘතිය ද වසන්ත, රත්තරන් සහ රත්තරන් පටිපාටිය ඇතුළත් කරයි - අභ්යන්තර විශ්ලේෂණය සඳහා පමණක් නොව, සැබෑ කාලය තුළ, පරිශීලක ප්රවේශම් පද්ධති සඳහාත්. Medallion Architecture ව්යාපාරික මෙන්න මේ වගේ පෙනුමක්: 
 
 
 
 Bronze Layer: AWS S3 හෝ ඒකාබද්ධ ලාභless bottomless storage systems මත Parquet හෝ Iceberg ගොනු වල Raw data ජීවත් වේ.This data is typically immutable, append-only, and queryable by anything: query engines such as AWS Athena, DuckDB, Trino, ClickHouse, or Polars, or even directly from an operational database such as Postgres. Operational Silver Layer: පිරිසිදු, ෆිල්ටරගත, විනිවිද, සහ Deduplicated දත්ත Postgres වෙත ලිවීමට සැබෑ කාලය විශ්ලේෂණය, ආකෘති, හෝ පරිශීලක-සැලකිලිමත් නිෂ්පාදන ප්රවේශය බලශක්ති. ක්රියාකාරී රත්තරන් පරාසය: රත්තරන් දත්ත මත ප්රවෘත්ති දත්ත (එවැනි Postgres's materialized views හෝ TimescaleDB's Continuous aggregates වැනි) අඩු latency, ඉහළ තරඟකාරී නිෂ්පාදන අත්දැකීම් සපයයි. ප්රධාන වශයෙන්, සෑම මට්ටමක්ම පර්යේෂණ කළ හැකි අතර මෙම දත්ත ප්රවේශය දෙගුණයකි. ඔබ S3 සිට අමුද්රව්ය හෝ පරිවර්තනය කරන ලද දත්ත සෘජුවම Postgres වෙත යොමු කළ හැකිය (ඔබට දැඩිව ඇතුළත් කර ඇති ප්රතිරෝධී ETL වලට සමාන වේ). ඔබ Iceberg සිට Iceberg ටැබ්ලීන් වෙත එකතු කළ හැකිය (Postgres සිට Iceberg ගොනුවන්ට එරෙහිව එක් වරක් හෝ ස්ථාවර පර්යේෂණ මගින්). ඔබ පර්යේෂණ ගබඩාවට සම්පූර්ණ පර්යේෂණයක් හෝ තනි පර්යේෂණ ටැබ්ලයක් සකස් කළ හැකිය. S3 හි මුහුදු ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව ගබඩාව නව දත්ත අවශ්ය වන යෙදුම් වලදී අපි නිරීක්ෂණය කර ඇති පොදු ආකෘතිය වන්නේ Kafka හෝ Kinesis වැනි upstream streaming පද්ධතියෙන් ලිවීමයි. S3 (කාලය සඳහා, වෙනස් නොවන බ්රෑන්ස් දත්ත සඳහා) සහ Postgres (විශාල දත්ත සකස් හා දත්ත සකස් කිරීම සඳහා සීමාවන් මත රඳා පවතී) යන දෙකම.එවිට දත්ත සංකේතයේ මෙම රත්තරන් ටැබ්ල සහ පසුව රත්තරන් aggregates නැවත S3 වෙත විකුණුම් කරනු ලැබේ, එබැවින් දත්ත කණ්ඩායම් දැන් පාරිභෝගිකයින්ට සපයනු ලැබූ "පෘථිවියේ සත්ය දත්ත" වෙත ප්රවේශය ලබා ගත හැකිය. සෘජුවම දැන්, සෑම පද්ධතියකටම ගැටළු බෙදාහැරීම පවත්වා ගත හැකිය.ඔබේ මෙහෙයුම් පදනම ක්රියාත්මක කර ගත හැක - පරිශීලකයින්ට හා අසාමාන්ය ප්රශ්න දෙකම - දත්ත තවමත් org හි අවශ්ය ඕනෑම තැනක විවෘත මුහුදු ගොඩනැගිල්ලක් ලෙස ලබා ගත හැක. තාක්ෂණික බලවේග වෙනස් කිරීම විවිධ සංවර්ධනයන් මෙහෙයුම් දත්ත සංකේතයන් සහ මුහුදු ගොඩනැගිලි වලින් siloed වෙතින් සම්ප්රදායික වෙමින් පවතී. පළමුව, අයිසබර්ග් ස්ථාවර හා මෘදුකාංග සංවර්ධනය, ACID ගනුදෙනු සහ ඵලදායී සංකේත කිරීම සඳහා සහාය වන තැපැල් ආකෘතිය බවට වර්ධනය වී ඇත.එය බොහෝ පරිගණක යන්ත්රයක් එකිනෙකාගෙන් කියවීමට සහ එකම දත්ත සංකේතයට ලිවීමට ඉඩ සලසයි - මෙටා දත්ත අනුකූල කිරීම සහ ගබඩාව පුරා පාලන ක්රියාත්මක කිරීම සඳහා ලියාපදිංචි කට්ටයන් සමඟ. දෙවනුව, Postgres වේදිකාවක් ලෙස වර්ධනය කර ඇත. කූඩාරම් ගබඩා, කාල සීමාව දත්ත, සහ වික්රව්ය සහ හයිබ්රිඩ් සෙවුම් සඳහා පුළුල් කිරීම් සමඟ - අපි වසර ගණනාවක් තිස්සේ Timescale හි ගොඩනැගූ දේ - Postgres දැන් සැබෑ කාලය විශ්ලේෂණය සහ නියෝජිත වැඩපිළිවෙළ සෘජුවම ඇතුළත් කරන බොහෝ නිෂ්පාදන සේවය කරයි. සහ Postgres හි සෘජුවම Postgres ඇතුළත සිට S3 සහ Iceberg දත්ත ප්රශ්නය කිරීම සඳහා වර්ධනය වන සහාය සමඟ, S3 hosted දත්ත සෘජුවම ඇතුළත් කිරීම වඩාත් පහසු වේ. මෙය පෙර ගණනය කරන ලද දත්ත සඳහා දත්ත සකසන මට්ටම පමණක් නොව, ප්රශ්න කාලය තුළ තවත් එකතු කිරීම, ආකර්ෂණය කිරීම හෝ JOINs සඳහා සම්පූර්ණ SQL දත්ත පදනමකි. now acts as the serving layer for products incorporating both transactional and analytical data තුන්වන, සංවර්ධකයින් පරිවර්තනය කළ හැකි බව බලාපොරොත්තු වේ. සමහර සංවිධාන ඔවුන්ගේ අතීතය monolithic දත්ත වේදිකාවන් සමග වැළකී ඇති විය හැකි, නමුත් බොහෝ සංවර්ධකයින් සහ දත්ත විද්යාඥයන් ඔවුන්ගේම කට්ටයන් සකස් කිරීමට, ඔවුන්ගේ යෙදුම් අවශ්යතා ප්රදර්ශනය කරන ආකාරයෙන් ප්රසිද්ධ උපකරණ ඇතුළත් කිරීමට ප්රවේශය අවශ්ය. විවෘත ආකෘති හා බෙදාහැරෙන ගබඩාව වෙත මාරු මෙම මානසිකත්වය ගැලපෙන. Put differently: the market is moving toward modular, open, developer-friendly architectures. ඊළඟට මොනවද එන්නේ අපි විශ්වාස කරන්නේ දත්ත අර්බුදයේ අනාගතය වඩාත් ගැඹුරින් මෙහෙයුම් හා විශ්ලේෂක පටිපාටිය ඇතුළත් කරන පද්ධති විසින් වර්ධනය කරනු ඇත - පද්ධති Postgres සහ මුහුදු ගොඩනැගිල්ල එකිනෙකාගේ දෙපැත්තක් ලෙස හැසිරෙනු ඇත. මෙය තවත් monolith හරහා සිදු නොවනු ඇත.එය සැලකිලිමත් පරිශීලකයන්ගෙන් පැමිණෙනු ඇත - ප්රමාණවත් සකස් කිරීම, බෙදාහැරෙන ලියාපදිංචි කිරීම්, සංකීර්ණ ප්රශ්න ප්රදේශ - සහ ආකෘති ප්රඥප්තියෙන්, එය සටන් කිරීම වෙනුවට heterogeneity එකඟ වේ. Postgres සහ Iceberg හි ශක්තිය මත ඉදිකිරෙන දෙයක්, දැනට පවතින නවාතැන් පද්ධති සමඟ ගැඹුරින් ඇතුළත් වන අතර, ක්රියාකාරී හා විශ්ලේෂණීය විශ්වාසය සහිත සම්පූර්ණ දත්ත පද්ධති ගොඩනැගීම පුළුල් ලෙස පහසු කරයි. මෙය පැරණි පද්ධති වලින් නව පද්ධති වෙත දත්ත මාරු කිරීමට ETL භාවිතා කිරීම ගැන නොවේ - එය ක්රියාකාරී හා අක්රියාකාරී භාවිත ප්රවණතා සඳහා සමාන ලෙස සේවය කරන සාමූහික නවීන දත්ත ආකෘතිය ගොඩනැගීම ගැනය. තනිව ඉන්න

Stop database overprovisioning with Dynamic PostgreSQL. Try it out for free

Stop database overprovisioning with Dynamic PostgreSQL Try it out for free

මෙම ශ්‍රව්‍යය කතාවේ මුල් භාෂාවෙන් නිෂ්පාදනය කර ඇත!

Postgres සහ Lakehouse එක් පද්ධතියක් බවට පත් වේ - මෙන්න ඊළඟට එන්නේ කුමක්ද

About Author

අදහස්

ටැග් එල්ලන්න

මෙම ලිපිය ඉදිරිපත් කරන ලදී

Related Stories

AN INDIAN'S TREACHERY

Streamlining the API Lifecycle: Interview with Startups of The Year 2024 Nominee, Ambassador

My Six Years of Writing on HackerNoon in Numbers and Pictures

2025 Could See Tonga Become the Web3 Tech Hub of the Pacific

AN INDIAN'S TREACHERY

Streamlining the API Lifecycle: Interview with Startups of The Year 2024 Nominee, Ambassador

My Six Years of Writing on HackerNoon in Numbers and Pictures

2025 Could See Tonga Become the Web3 Tech Hub of the Pacific

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps