Table Formats සහ Object Storage විවෘත කිරීම සඳහා Architect's Handbook

මෙම ලිපිය මුලින්ම New Stack හි ප්රකාශයට පත් විය. Apache Iceberg, Delta Lake සහ Apache Hudi සමාන කිරීම සහ ඔබේ දත්ත මුහුදු ගොඩනැගිල්ල සඳහා නිවැරදි විවෘත මාතෘකාව ආකෘතිය තෝරා ගන්නේ කෙසේද යන්න ඉගෙන ගන්න. Open table formats and object storage are redefining how organizations architect their data systems, providing the foundation for scalable, efficient and future-proof data lakehouses. by leveraging the unique strengths of object storage — its scalability, flexibility and cost-effectiveness — alongside the advanced metadata management capabilities of open table formats such as Apache Iceberg, Delta Lake and Apache Hudi, organizations can create modular architectures that meet the demands of modern data workloads. මෙම ආකෘති වෙනස්වීමේ මූලධර්මය වන්නේ පරිගණක සහ ගබඩා සංසන්දනය කිරීමයි. ඔස්ටේට් ගබඩා කිරීම මූලධර්මය ලෙස සේවය කරයි, ව්යුහගත, අර්ධ ව්යුහගත සහ අර්ධ ව්යුහගත දත්ත සඳහා නිශ්චිත කළමනාකරණය ලබා දෙයි, අතර විවෘත ටැබ්ලට් ආකෘති ප්රමාණයක් ලෙස ක්රියා කරයි, ආකෘති, බෙදාහැරීම් සහ අටම්, අනුකූලතාවය, තනිවීම සහ දිගුකාලීනත්වය (ACID) ගනුදෙනු වැනි දත්ත වැනි දත්ත පද්ධති වැනි පද්ධති, බෙදාහැරීම් සහ ආකෘති වැනි දත්ත විශ්ලේෂණය කිරීමට හැකියාව ලබා දෙයි. Spark, Presto, Trino සහ Dremio මෙම මාර්ගෝපදේශය විවෘත මාතෘකාව ආකෘති සහ අමුද්රව්ය ගබඩා නවීන දත්ත ගබඩා ගොඩනැගීමේදී ක්රියාකාරීත්වය පිළිබඳ විමර්ශනය කරනු ඇත. මම ඔවුන්ගේ සංවර්ධනය, ප්රධාන මාතෘකාව ආකෘති සමාලෝචන හා දියුණු විශ්ලේෂණය හා AI වැඩපිළිවෙළ සඳහා ඔබගේ ආකෘතිය පරිපූර්ණ කිරීම සඳහා ප්රවේශ ප්රවේශ ප්රවේශ. මෙම අමුද්රව්ය තේරුම් ගැනීමෙන්, ඔබ දත්ත ආකෘති යුගයේ වේගවත් හා පුළුල් කළ හැකි පමණක් නොව, දත්ත ආකෘති යුගයේ වේගයෙන් වෙනස් වන අවශ්යතා වලට අනුකූල විය හැකි දත්ත පද්ධති නිර්මාණය කිරීමට උපකාරී වනු ඇත. Where Open Table Formats Fit In Open Table Format එක ඇතුලත් කරන තැන Open Table Format එක ඇතුලත් කරන තැන නවීන දත්ත ගබඩාව ආකෘතිය ප්රධාන කොටස් තුනක් මත පදනම් වේ: ගබඩාව පරාසය, විවෘත මාතෘකාව ආකෘතිය සහ පරිගණක යන්ත්ර.This modular design is optimized to take full advantage of object storage's scalability and cost-efficiency while leveraging open table formats for seamless metadata management and interoperability across diverse computing engines. එහි ප්රධාන පදනම වන්නේ අමුද් රව් ය ගබඩාව වන ගබඩාව මට්ටමේ පදනම වන අතර එය ව්යුහගත, අර්ධ ව්යුහගත සහ අර්ධ ව්යුහගත දත්ත සඳහා පුළුල් කර ගත හැකි හා ප්රයෝජනවත් ගබඩාව සපයයි. ගබඩාව මට්ටමේ දී Apache Iceberg, Delta Lake හෝ Apache Hudi විය හැකි විවෘත තැපැල් ආකෘති පිහිටා ඇත. මෙම විවෘත තැපැල් ආකෘති මට්ටමේ ලෙස ක්රියාත්මක වන අතර, ආකෘති, බෙදාහැරීම් සහ සංස්කරණය වැනි දත්ත පදනම වැනි හැකියාවන් සපයයි. අවසාන වශයෙන්, Spark, Presto, Trino සහ Dremio වැනි පරිගණක යන්ත්ර ඔවුන්ගේ කාර්යබහුලතාව සඳහා හොඳම මෙවල Evolution of Data Architectures දත්ත ආකෘති සංවර්ධනය දත්ත ගබඩා වල වර්ධනය දත්ත ආකෘතිවල පුළුල් සංවර්ධනයේ කොටසක් ලෙස තේරුම් ගත හැකිය.Online transaction processing (OTLP) වැනි ආරම්භක පද්ධති අන්තර්ජාල ගබඩා පරිශීලක (OTLP) දත්ත ගබඩා ප්රමුඛතාවය ගබඩා සම්පූර්ණතාවය නමුත් විශ්ලේෂණ හැකියාවන් නැති විය.Online analytical processing (OLAP) පද්ධති වර්ධනය දත්ත ගබඩා, ව්යුහගත දත්ත ප්රශ්න සඳහා පරිශීලක, නමුත් භාගික ව්යුහගත දත්ත හා අමුද්රව්ය දත්ත ක්රියාත්මකව ප්රතිකාර විය. මෙම සීමාවන් විසඳීමට දත්ත ගබඩාව වර්ධනය වී ඇති අතර, විවිධ දත්ත වර්ග සහ සැලැස්ම-on-read හැකියාවන් සඳහා පුළුල් කළ හැකි ගබඩාව ලබා දෙයි.එහෙත්, දත්ත ගබඩාව තුළ ව්යාපාරික සහතිකයන් නොමැති වීම දත්ත ගබඩාව සංවර්ධනය කිරීමට හේතු වී ඇති අතර, දත්ත ගබඩාව සහ දත්ත ගබඩාවන්ගේ ශක්තිමත්තාවයන් එක්රැස් කරන දත්ත ගබඩාව සංවර්ධනය කර ඇත. Lakehouses open table formats and object storage මත ගොඩනැගී ඇත, එය සම්පූර්ණයෙන්ම වෙන් කර ඇති අතර, එය මොඩියුලර් කොටස් වලින් ගොඩනැගී ඇත.This disaggregated architecture provides both the transactional consistency of databases and the scalability of object storage. Why Open Table Formats Are Ideal for Object Storage ඇයි විවෘත මාතෘකාව ආකෘති සඳහා පරිපූර්ණ වන්නේ Amazon Web Services (AWS) S3, Google Cloud Storage සහ Azure Blob Storage වැනි ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔක්කොම ඔ Object Storage වල Data Lakehouse Architectures වල ප් රධාන විශේෂාංගය වන්නේ: Unified Storage Layer: Object Storage භාවිතා කිරීමෙන්, Data Lakehouses විශාල ප්රමාණයක් දත්ත එහි ස්වභාවික ආකෘතිය තුළ ගබඩා කළ හැකි අතර, ගබඩා කිරීමට පෙර සංකීර්ණ දත්ත පරිවර්තනය අවශ්යතාවය අවලංගු කරයි. Scalability: Object storage systems are inherently scalable, enabling data lakehouses to accommodate growing data volumes without significant infrastructure changes.මෙම scalability මගින් සංවිධානවල දත්ත එකතු කිරීම හා සංවර්ධනය වන විශ්ලේෂණ අවශ්යතා කාර්යක්ෂමව කළමනාකරණය කළ හැකිය. ප් රයෝජනවත්ත්වය: ශ්රේණිගතයේ හොඳම ඔත්තු ගබඩා ස්ථාන ඕනෑම තැනක ස්ථාපනය කළ හැකිය - ස්ථාපිත, පෞද්ගලික වලාකුළු, පොදු වලාකුළු, කොලෝසැකීම් ස්ථාන, දත්ත මධ්යස්ථාන සහ ප්රදේශයේ. මෙම අමුද්රව්යයන් එකතු කිරීමෙන්, දත්ත මාලිගාව ආකෘති දත්ත මාලිගාව සහ දත්ත ගබඩා වල ශක්තිය සකසන සම්පූර්ණ විසඳුමක් ලබා දෙයි.මෙම සැලසුම ඵලදායී දත්ත ගබඩා කිරීම, කළමනාකරණය සහ විශ්ලේෂණය පහසු කරයි, සියල්ල පුළුල් කර ගත හැකි හා ප්රයෝජනවත් ඔත්තු ගබඩා පද්ධති මත ඉදිකිරී ඇත. Open Table Formats Defined විවෘත මාතෘකාව Defined විවෘත ටැබ්ලට් ආකෘතිය යනු විශාල ප්රමාණවත් විශ්ලේෂක දත්ත සමුදායන් ක්රියාත්මකව කළමනාකරණය කිරීම සඳහා නිර්මාණය කරන ලද ස්ථාවර, විවෘත මූලාශ්රය ආකෘතියකි.එය දත්ත ගොනු මත මට්ටමක meta data layer ලෙස ක්රියාත්මක කරයි, දත්ත කළමනාකරණය හා විවිධ processing engines හරහා ප්රවේශය පහසු කිරීම. මෙන්න විවෘත මේස ප්රමාණයන් තුනක් පිළිබඳ සමාලෝචන: අයිසිබර්ග් ඩෙල්ටා ගස සහ Hudi: Apache Iceberg Apache Iceberg යනු විශාල දත්ත රැස්වීම් සඳහා නිර්මාණය කරන ලද උසස් කාර්ය සාධක තැපැල් ආකෘතියකි. එහි ආකෘතිය ප් රමුඛතාවය දක්වන්නේ ඵලදායී කියවීමේ ක්රියාකාරකම් සහ පුළුල් කරගැනීම සඳහා, එය වර්තමානයේ විශ්ලේෂක වැඩපිළිවෙළක් බවට පත් කිරීමයි. එහි විශේෂාංග වලින් එකක් වන්නේ දත්ත වලින් මෙතැපැල් දත්ත වෙන් කිරීමයි, ඵලදායී ස්කෑම් පදනම මත පදනම්ව තිරගත කිරීම සහ සැලසුම් කිරීමයි. මෙම සැලසුම් විශාල දත්ත රැස්වීම් වලදී සමන්විත ප්රශ්න සැලසුම් කිරීමට ඉඩ සලසයි. Iceberg පරිසර පද්ධතියෙහි නවතම දියුණුවන් කර්මාන්තය පුරා එහි වර්ධනය වන ප් රයෝජන අවධාරණය කරයි.S3 Tables දත්ත කළමනාකරණය පහසු කර ගනිමින් ප්රශ්න යන්ත්රයන් විසින් S3 අනුකූල පද්ධතිවල ගබඩා කරන ලද ටැබ්ලට් මෙටාඩියා දත්ත සහ දත්ත ගොනුවන්ට සෘජුවම ප්රවේශ කිරීමට ඉඩ සලසයි. Iceberg හි විවෘත මුහුදු ගොඩනැගිලි ප්රදේශයේ ප්රමුඛතාවය සහ එහි ප්රවේශය ප්රතිඵලදායීත්වය හා පාලන මත අවධානය යොමු කරයි. විවෘතභාවය සහ සන්නිවේදනය සඳහා කර්මාන්තයේ කැපවීමක් පෙන්වයි, Iceberg හි ප්රධාන මාතෘකාවක් ලෙස ස්ථාපිත වන ස්ථානය තවදුරටත් ශක්තිමත් කරයි. Databricks Tabular මිලදී ගැනීම Polaris විවෘත මූලාශ්රය Databricks Tabular මිලදී ගැනීම Polaris විවෘත මූලාශ්රය Delta Lake Databricks විසින් ආරම්භයේ දී සංවර්ධනය කරන ලද Delta Lake Apache Spark සමඟ සමීපව සම්බන්ධ විය.එය Spark API සමග සම්පූර්ණයෙන්ම අනුකූල වන අතර Spark හි Structured Streaming සමඟ සම්මත වේ. Delta Lake හි ප්රධාන විශේෂාංගයක් වන්නේ එය දත්ත සඳහා සිදු කරන සියලු වෙනස්කම් වාර්තා කිරීම සඳහා ගනුදෙනු ලියාපදිංචි කිරීමයි.This design supports concurrent data operations, making it suitable for high-throughput environments. Apache Hudi Apache Hudi සැබෑ කාලීන දත්ත අංගනය සහ විශ්ලේෂණයේ අභියෝගවලට විසඳීමට සැලසුම් කර ඇත, විශේෂයෙන් නිතර යාවත්කාලීන කිරීම අවශ්ය වන පරිසරයන් තුළ.එගේ ආකෘතිය ලිවීම සඳහා හොඳින් සකස් කරන ලද ගබඩා (WOS) සහ ප්රශ්න සඳහා හොඳින් කියවීම සඳහා හොඳින් සකස් කරන ලද ගබඩා (ROS) සඳහා සහාය වේ. දත්ත ප්රවාහයේ වෙනස්කම් වර්ධනය කිරීමෙන්, Hudi සැබෑ කාලීන විශ්ලේෂණය ප්රමාණයෙන් පහසු කරයි.Bloom ෆයිල්ටර් සහ ගෝලීය ඉංජිනේරු කිරීම වැනි විශේෂාංග I/O ක්රියාත්මක කිරීම, ප්රශ්න සහ ලිවීමේ කාර්ය සාධනය වැඩි දියුණු කරයි.එසේම, Hudi ටැබ්ලර් සංවිධානය සහ කාර්ය සාධනය රැකබලා ගැනීමට උපකාරී වන ප්රමාණ, ගැඹුරු කිරීම සහ පිරිසිදු කිරීම සඳහා මෙවලම් ඇතුළත් කරයි.එසේම, වාර්තා මට්ටමේ යාවත්කාලීන කිරීම් හා ඉවත් කිරීමේ හැකියාව, අනුකූලතාවය සහ දැඩි දත්ත පාලනය අවශ්ය වන අධිවේගී දත්ත ප්රවාහනය සහ තත්වයන් සඳහා ප්රයෝජනවත් විකල්පයක් වේ. Comparing Open Table Formats Open Table සංසන්දනය කිරීම Apache Iceberg, Delta Lake සහ Apache Hudi එක් එක් එක් දත්ත ගබඩාව ආකෘති සඳහා සුවිශේෂී ශක්තිය ගෙන ඇත. ACID ගනුදෙනු: සියලු තුනම ආකෘති ACID අනුකූලතාවය සපයයි, විශ්වාසදායක දත්ත ක්රියාකාරකම් සපයයි.Iceberg ගනුදෙනු සම්පූර්ණතාවය සඳහා ස්කෑන්සොට් තිරගත කිරීම් භාවිතා කරයි, ඩෙල්ටැක්ට් ගනුදෙනු ලැයිස්තුවක් අනුකූල දර්ශන සහ ලිවීමේ තිරගත කිරීම් සඳහා භාවිතා කරයි, හා Hudi ඉහළ තරඟකාරී තිරගත කිරීම් සඳහා ගොනු මට්ටමේ අනුකූලතා පාලනය ලබා දෙයි. ස්කෑම් සංවර්ධනය: සෑම ආකෘතියකටම ස්කෑම් වෙනස් කිරීමක් සහාය වේ.Iceberg සහාය වේ.Iceberg සහාය වේ.Iceberg සහාය වේ.Iceberg සහාය වේ.Iceberg සහාය වේ.Iceberg සහාය වේ.Iceberg සහාය වේ.Iceberg සහාය වේ.Iceberg සහාය වේ. Partition Evolution: Iceberg Partition Evolution සඳහා සහාය දක්වන අතර, දැනට පවතින දත්ත නැවත ලිවීමකින් තොරව Partitioning Schemes වෙත සෘජු යාවත්කාලීන කිරීමක් ලබා දෙයි.Delta Lake මගින් Partition Changes ලබා ගත හැකි නමුත් උපරිම ක්රියාකාරීත්වය සඳහා අමුත්තන් මැදිහත් වීමක් අවශ්ය විය හැක. කාලය සංචාරය: සියලු තුනම ආකෘති කාලය සංචාරය හැකියාව ලබා, පරිශීලකයින් ඉතිහාසගත දත්ත තත්වයන් ප්රශ්න කිරීමට ඉඩ. Iceberg යනු දත්ත සමාජය විසින් වඩාත් ප්රසිද්ධ විවෘත මාතෘකාව ආකෘතියකි.DataBricks සිට Snowflake දක්වා AWS දක්වා, විශාල ප්රදේශ කිහිපයක් Iceberg හි ආයෝජනය කර ඇත.ඔබ දැනටමත් මෙම පරිසර පද්ධතිවල කොටසක් නම් හෝ ඒවාට එකතු වීමට සැලකිලිමත් නම්, Iceberg ස්වාභාවිකව වර්ධනය විය හැකිය. Indexing: Hudi, Bloom ෆයිල්ටර් සහ වාර්තා මට්ටමේ indexing ඇතුළු multimodal indexing හැකියාවන් ලබා දෙයි.Delta Lake සහ Iceberg මෙටා දත්ත පරිශීලකයන් මත රඳා පවතී. තරඟකාරීත්වය සහ ප්රවාහනය: Hudi සැබෑ කාලීන විශ්ලේෂණය සඳහා නිර්මාණය කර ඇති අතර, දියුණු අනුකූලතා පාලනය සහ DeltaStreamer වැනි ආකෘති ඇතුළත් කිරීම සඳහා.Delta Lake වෙනස්වීම් දත්ත ප්රවාහනය හරහා ප්රවාහනය සහ Iceberg මූලික අනුකූල කියවීමේ හැකියාවන් සපයයි. මෙම වෙනස්කම් සලකා බැලිය යුතු අතර, සියලුම ප්රමාණයන් අළුත් දත්ත ආකෘති සඳහා ශක්තිමත් පදනමක් සපයන අතර, හොඳම තෝරා ගැනීම විශේෂිත වැඩපිළිවෙළ අවශ්යතා සහ සංවිධාන අවශ්යතා මත රඳා පවතී. Performance Expectations ප්රතිඵල බලාපොරොත්තු දත්ත ගබඩා ආකෘතිවල හොඳම කාර්ය සාධනය ලබා ගැනීම විවෘත තැපැල් ආකෘති වල හැකියාවන් සම්පූර්ණයෙන්ම භාවිතා කිරීම සඳහා අත් යවශ් යයි.This performance depends on the efficiency of both the storage and compute layers. විශාල ප්රමාණයේ විශ්ලේෂණය අවශ්යතා සපුරාලීම සඳහා ගබඩා පරාසයක පහසුකම් සහ උසස් ප්රවාහන ප්රමාණයක් ලබා දිය යුතුය.අවශ්ය ගබඩා විසඳුම් වේගවත් දත්ත ප්රවේශය සහ උසස් වේගයේ ප්රවාහනය සඳහා සහාය විය යුතුය, ඉහළ වැඩපිළිවෙළක පවා සෘජු ක්රියාකාරකම් සපයයි.එසේම, තත්පරයට සාපේක්ෂ input/output operations (IOPS) ක්රියාකාරකම් බොහෝ සමීප දත්ත ඉල්ලීම් ප්රතිකාර කිරීම සඳහා වැදගත් වන අතර, ප්රවේශවත් දත්ත සන්නිවේදන පහසුකම් නොමැතිව ලබා ගත හැකිය. සමාන වශයෙන් වැදගත් වන්නේ පරිගණක මට්ටමේ කාර්ය සාධනයයි, එය දත්ත සැකසීම හා ප්රශ්න ක්රියාත්මක කිරීමේ වේගයට සෘජුවම බලපෑම් කරයි. පරිගණක යන්ත්ර වර්ධනය වන දත්ත ප්රමාණය සහ පරිශීලක ප්රශ්න ක්රියාත්මකභාවය අවදානමකින් තොරව පරිපාලනය කිරීම සඳහා ප්රමාණවත් විය යුතුය. පරිගණක ක්රියාත්මක කිරීම් ක්රියාත්මක කිරීමේ සැලසුම් සහ සම්පත් කළමනාකරණ උපාය මාර්ග භාවිතා කිරීමෙන් පරිශීලක ක්රියාකාරීත්වය වැඩි දියුණු කළ හැකිය. Open table formats also incorporate features designed to boost performance.These also need to be properly configured and leveraged for a fully optimized stack.One such feature is efficient metadata handling, where metadata is managed separately from the data, which enables faster query planning and execution.Data partitioning organizes data into subsets, improving query performance by reducing the amount of data scanned during operations.Skyma evolution support allows table formats to adapt to changes in data structure without extensive data rewrites, ensuring flexibility while minimising processing overhead.මේක ක්රියාකාරීව ක්රියාකාරීව ක්රියාකාරීව ක්රියාකාරීව ක්රියාකාරීව ක්රියාකාරීව ක්රියාකාරීව ක්රියාකාරීව ක්රියාකාරීව ක්රියාකාර ගබඩා හා පරිගණක මට්ටම් හරහා මෙම ප්රතිඵල ප්රතිඵල ප්රතිඵල මත අවධානය යොමු කිරීමෙන්, සංවිධාන ඔවුන්ගේ දත්ත ගබඩාව පරිසරය ඵලදායී, පුළුල් කර ගත හැකි වන අතර, නවීන විශ්ලේෂණ හා AI වැඩ ප්රමාණයේ අවශ්යතා සපුරාලීමට හැකි බව සහතික කළ හැකිය. Open Data Lakehouses and Interoperability Open Data Lakehouses සහ Interoperability දත්ත ගබඩාව ආකෘතිය දත්ත කළමනාකරණය සඳහා සංකීර්ණ ප්රවේශයක් ලබා දීම සඳහා විවෘත තැපැල් ආකෘති මත පදනම් වේ.එහෙත්, සැබෑ විවෘතත්වය ලබා ගැනීම පමණක් විවෘත තැපැල් ආකෘති අනුගමනය කිරීමෙන් වඩා වැඩි දෙයක් අවශ්ය වේ. Open table formats open standards and, by their very design, support interoperability and openness throughout the stack. yet, practical challenges remain, such as ensuring catalog interoperability and avoiding dependencies on proprietary services for table management. විශ්වීය අනුකූලතාවය වෙත ප්රගතිශීලීව ප්රගතිශීලීව ක්රියාත්මක කිරීම සඳහා ක්රමයක් සපයයි. XTable ඔබට බොහෝ විවෘත ටැබ්ලට් ප්රමාණයන් තුළ ලිවීමට ඉඩ නොදෙයි.ඔබ කියවන්න.ඔබේ අනාගතයේ අනාගත සංවර්ධනයන් විවෘත ටැබ්ලට් ප්රමාණයන් වටා මෙම සහ අනෙකුත් ව්යාපෘති මත ඉදිකිරීමට බලාපොරොත්තු වෙනවා. Apache XTable සඳහා Apache XTable සඳහා The Future of Open Table Formats Open Table Formats අනාගතය ප් රචණ්ඩත්වය සිදුවේ, නමුත් අපි පාපයට එරෙහිව ශුද්ධ විනිශ්චය සහ අපි පුද්ගලිකව අකමැති අයට එරෙහි වන පුරපැම අතර වෙනස අප හඳුනාගත යුතුය, එය උඩඟුකමේ අනිවාර්ය ප් රතිපලයයි ( ) මුහුදු ගොඩනැගිල්ලේ ආකෘතියට සෘජුවම ඇතුළත් කිරීම. තැපැල් පරාසය සඳහා, මෙය Hugging Face සහ OpenAI වැනි ප්රධාන AI පද්ධති වලට සෘජුවම ඇතුළත් කරන ලද පද්ධති ලෙස පෙනේ. පරිගණක පරාසය සඳහා, AI ඇතුළත් කිරීම, මුහුදු ගොඩනැගිල්ලේ පරිගණක පද්ධතිය තුළ පුහුණු හා අනුකූලතා ක්රියාවලියන්ගේ ඵලදායීතාවය වැඩි දියුණු කිරීම සඳහා පරිගණක ආකෘති සඳහා පරිශීලක පරිගණක යන්ත්ර නිර්මාණය කිරීමට හේතු විය හැකිය. මිලි Workloads මිලි Workloads ප්රධාන පෞද්ගලික සමාගම් වැනි Databricks, Snowflake සහ AWS වැනි ප්රධාන පෞද්ගලික සමාගම් එහි ප්රමාණවත් වර්ධනය වන තවත් ප්රදේශයක් වනු ඇත. එහි ප්රමාණවත් වර්ධනය වන විට, විවෘත තැපැල් ආකෘති සැබෑ විවෘත සම්මතයන් බව අමතක කිරීම පහසු වේ. Iceberg, Hudi සහ Delta Lake ඕනෑම සහයෝගයක්, සහයෝගයක් හෝ විවෘත සම්මත මෙවලම් සහ වේදිකාවලට ඇතුළත් කිරීම සඳහා ලබා ගත හැකිය. වෙනත් වචන වලින් කියනවා නම්, ඔවුන් ජීවත් වන හා වර්ධනය වන විවෘත සම්මත දත්ත පරිසරයට කොටසක් වේ. අවසාන වශයෙන්, විවෘත මාතෘකාව ආකෘති ප්රවේශය දිගටම වර්ධනය වනු ඇත සමාගම් AI සහ අනෙකුත් උසස් භාවිතය සඳහා විශාල ප්රමාණවත්, උසස් කාර්ය සාධක දත්ත ගබඩා ගොඩනැගීම. මෙම කර්මාන්තයේ වෘත්තිකයන් විවෘත ටැබ්ලට් ආකෘති ජනප්රියත්වය 2000 හි ආරම්භයේ දී Hadoop වර්ධනය හා උසස්ත්වය සමග සමාන වේ. සමහර සමහර Build for Today and Tomorrow ඉදිකිරීම් අද සහ හෙට විවෘත මාතෘකාව ආකෘති හා උසස් කාර්ය සාධක ආකෘති ගබඩා සංසන්දනය කිරීමෙන් ආකෘති නිර්මාණකරුවන්ට විවෘත, සන්නිවේදනය කළ හැකි සහ AI, ML සහ උසස් විශ්ලේෂණයේ අවශ්යතා සපුරාලීමට හැකි දත්ත පද්ධති නිර්මාණය කිරීමට ඉඩ සලසයි.