ການຝຶກອົບຮົມຂອງ Architect ສໍາລັບ Open Table Formats ແລະ Object Storage

ຫນ້າທໍາອິດຂອງບົດຄວາມນີ້ໄດ້ເຫັນໃນ New Stack. ຊື່ຫຍໍ້ຂອງ Apache Iceberg, Delta Lake ແລະ Apache Hudi ແລະຊອກຫາວິທີການເລືອກຮູບແບບພິມ Open Table ທີ່ດີສໍາລັບການ Data Lakehouse ຂອງທ່ານ. ປະເພດ Open Table ແລະ Object Storage ແມ່ນປັບປຸງວິທີການກໍ່ສ້າງລະບົບຂໍ້ມູນຂອງບໍລິສັດ, ສະຫນັບສະຫນູນພື້ນຖານສໍາລັບການຂະຫຍາຍຕົວ, ປະສິດທິພາບແລະປະສິດທິພາບຂອງການເກັບຮັກສາຂໍ້ມູນ. ໂດຍການນໍາໃຊ້ຄວາມເຂັ້ມແຂງທີ່ແຕກຕ່າງກັນຂອງການເກັບຮັກສາ Object - ການຂະຫຍາຍຕົວ, ຄວາມງ່າຍດາຍແລະປະສິດທິພາບ - along with the advanced metadata management capabilities of open table formats such as Apache Iceberg, Delta Lake ແລະ Apache Hudi, ບໍລິສັດສາມາດສ້າງອຸປະກອນ modular ທີ່ສະຫນັບສະຫນູນຄວາມຕ້ອງການຂອງອຸປະກອນຂໍ້ມູນມືອາຊີບ. ໃນຖານະເປັນເອກະລັກຂອງການປ່ຽນແປງອຸດສາຫະກໍານີ້ແມ່ນການຕັດສິນໃຈຂອງການຄອມພິວເຕີແລະການເກັບຮັກສາ. ການເກັບຮັກສາອຸດສາຫະກໍາເປັນພື້ນຖານ, ການສະຫນອງການຄຸ້ມຄອງທີ່ເຫມາະສົມຂອງຂໍ້ມູນ structured, semi-structured ແລະ unstructured, ໃນຂະນະທີ່ຮູບເງື່ອນໄຂຂອງຮູບເງົາ OpenTable ເຮັດວຽກເປັນຮູບເງື່ອນໄຂຂອງ abstraction metadata, ການຊ່ວຍເຫຼືອຮູບເງື່ອນໄຂທີ່ເປັນຮູບເງື່ອນໄຂຂອງການເກັບຮັກສາອຸດສາຫະກໍາເຊັ່ນ schemes, partitions ແລະ atomicity, consistency, isolation and durability (ACID) transactions. ເຄື່ອງຄອມພິວເຕີເຊັ່ນ Spark, Presto, Trino ແລະ Dremio ເຮັດວຽກຮ່ວມກັບຮູບເງື່ອນໄຂຂອງຮູບເ ຂ້າພະເຈົ້າສືບຕໍ່ໄດ້ຮັບການປະທັບໃຈຂອງລູກຄ້າຂອງພວກເຮົາສໍາລັບການບໍລິການລູກຄ້າຂອງພວກເຮົາ - ຂ້າພະເຈົ້າສືບຕໍ່ໄດ້ຮັບການປະທັບໃຈຂອງລູກຄ້າຂອງພວກເຮົາ - ຂ້າພະເຈົ້າສືບຕໍ່ໄດ້ຮັບການປະທັບໃຈຂອງລູກຄ້າຂອງພວກເຮົາສໍາລັບການບໍລິການລູກຄ້າຂອງພວກເຮົາ Where Open Table Formats Fit In ວິທີການ Open Table Formats ວິທີການ Open Table Formats ການກໍ່ສ້າງ data lakehouse ທີ່ທັນສະໄຫມແມ່ນສ້າງຕັ້ງຂຶ້ນກ່ຽວກັບສາມຊຸດທີ່ສໍາຄັນ: layer storage, open table format ແລະ calculation engines. ການອອກແບບ modular ນີ້ໄດ້ຖືກປັບປຸງເພື່ອຮັບປະກັນຜົນປະໂຫຍດທັງຫມົດຂອງ scalability ແລະປະສິດທິພາບຄ່າໃຊ້ຈ່າຍຂອງການເກັບຮັກສາ object while leveraging open table formats for seamless metadata management and interoperability across diverse computing engines. ໃນປັດຈຸບັນ, ພວກເຮົາມີຄວາມຊ່ຽວຊານໃນການຄົ້ນຄວ້າແລະການຄົ້ນຄວ້າທີ່ດີທີ່ສຸດ ສໍາ ລັບຜູ້ຊ່ຽວຊານໃນການຄົ້ນຄວ້າຂອງພວກເຮົາ. ພວກເຮົາມີຄວາມຊ່ຽວຊານໃນການຄົ້ນຄວ້າທີ່ດີທີ່ສຸດ ສໍາ ລັບຜູ້ຊ່ຽວຊານໃນການຄົ້ນຄວ້າທີ່ດີທີ່ສຸດ ສໍາ ລັບຜູ້ຊ່ຽວຊານໃນການຄົ້ນຄວ້າທີ່ດີທີ່ສຸດ ສໍາ ລັບຜູ້ຊ່ຽວຊານໃນການຄົ້ນຄວ້າທີ່ດີທີ່ສຸດ. Evolution of Data Architectures ການພັດທະນາຂອງ Data Architectures ລະບົບທໍາອິດເຊັ່ນດຽວກັນກັບການປິ່ນປົວຂໍ້ມູນໃນອິນເຕີເນັດ (OTLP) ໄດ້ priorized ການປິ່ນປົວຂໍ້ມູນໃນອິນເຕີເນັດ ແຕ່ບໍ່ມີຄຸນນະສົມບັດການທົດສອບ. ການປິ່ນປົວການປິ່ນປົວຂໍ້ມູນໃນອິນເຕີເນັດ (OLAP) ລະບົບໄດ້ນໍາສະເຫນີອິນເຕີເນັດອິນເຕີເນັດອິນເຕີເນັດອິນເຕີເນັດອິນເຕີເນັດ, optimized for querying structured data, but at the cost of handling semi-structured and unstructured data efficiently. Data Lakes ສ້າງຕັ້ງຂຶ້ນເພື່ອປິ່ນປົວຄວາມຈໍາກັດເຫຼົ່ານີ້, ການສະຫນອງການເກັບຮັກສາ scalable ສໍາລັບປະເພດຂໍ້ມູນທີ່ແຕກຕ່າງກັນແລະຄວາມສາມາດໃນການອ່ານ schema-on. However, the lack of transactional guarantees in data lakes sparked the development of data lakehouses, which integrate the strengths of data lakes and data warehouses into a unified architecture. Lakehouses ໄດ້ຖືກສ້າງຕັ້ງຂຶ້ນໃນຮູບແບບພິມ Open Table ແລະ Object Storage ແລະໄດ້ຮັບການຕັດສິນໃຈຢ່າງເຕັມທີ່, ເຊິ່ງເປັນການສ້າງຕັ້ງຂຶ້ນຈາກ components modular. This disaggregated architecture provides both the transactional consistency of databases and the scalability of object storage. Why Open Table Formats Are Ideal for Object Storage ເປັນຫຍັງ Open Table Formats ແມ່ນທີ່ດີທີ່ສຸດສໍາລັບການເກັບຮັກສາ Object ວິທະຍາໄລ Data Lakehouse ໄດ້ຖືກອອກແບບມາເພື່ອນໍາໃຊ້ການຂະຫຍາຍຕົວແລະຄ່າໃຊ້ຈ່າຍຂອງລະບົບການເກັບຮັກສາ Object, ເຊັ່ນ Amazon Web Services (AWS) S3, Google Cloud Storage ແລະ Azure Blob Storage. ການເຊື່ອມຕໍ່ນີ້ເຮັດໃຫ້ການຄວບຄຸມຢ່າງງ່າຍດາຍຂອງປະເພດຂໍ້ມູນທີ່ແຕກຕ່າງກັນ - structured, semi-structured ແລະ unstructured - ໃນສະຖານທີ່ຫນຶ່ງ. ຄຸນນະສົມບັດທີ່ສໍາຄັນຂອງອຸປະກອນ Data Lakehouse ກ່ຽວກັບການເກັບຮັກສາ Object ແມ່ນ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: ປະເພດ: Scalability: ລະບົບການເກັບຮັກສາ Object ແມ່ນ scalable ໂດຍທົ່ວໄປ, ເຮັດໃຫ້ການເກັບຮັກສາ data lakehouse ເພື່ອຮັບປະກັນການເກັບຮັກສາຂະຫນາດໃຫຍ່ຂອງຂໍ້ມູນໂດຍບໍ່ມີການປ່ຽນແປງອຸດສາຫະກໍາທີ່ສໍາຄັນ. Scalability ນີ້ຊ່ວຍໃຫ້ບໍລິສັດເພື່ອຄຸ້ມຄອງຢ່າງງ່າຍດາຍການຂະຫຍາຍຕົວຂອງການເກັບຮັກສາຂໍ້ມູນແລະຄວາມຕ້ອງການການທົດສອບທີ່ພັດທະນາ. Flexibility: ການເກັບຮັກສາ Object ທີ່ດີທີ່ສຸດໃນຄອບຄົວສາມາດຖືກນໍາໃຊ້ໃນທົ່ວໂລກ - ໃນສະຖານທີ່, ໃນ clouds ເອກະຊົນ, ໃນ clouds public, facilities colocation, data centers ແລະໃນທ້ອງຖິ່ນ. ການເກັບຮັກສາທີ່ດີທີ່ສຸດນີ້ສາມາດຊ່ວຍໃຫ້ບໍລິສັດປັບປຸງອຸດສາຫະກໍາຂໍ້ມູນຂອງເຂົາເຈົ້າເພື່ອສະຫນັບສະຫນູນຄວາມຕ້ອງການການປະຕິບັດແລະພື້ນຖານທີ່ພິເສດ. ການເຊື່ອມຕໍ່ປະເພດເຫຼົ່ານີ້, data lakehouse architectures ມີການແກ້ໄຂຢ່າງກວ້າງຂວາງທີ່ເຊື່ອມຕໍ່ຄວາມເຂັ້ມແຂງຂອງ data lakes ແລະ data warehouses. ການອອກແບບນີ້ຊ່ວຍໃຫ້ການເກັບຮັກສາ, ການຄຸ້ມຄອງແລະການທົດສອບຂໍ້ມູນທີ່ມີປະສິດທິພາບ, ທັງຫມົດໄດ້ສ້າງຕັ້ງຂຶ້ນໃນພື້ນຖານຂອງລະບົບການເກັບຮັກສາ object scalable ແລະ flexible. Open Table Formats Defined Open Table Formats Defined ຮູບພາບ ສໍາ ລັບ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ເນີນ ການ ດໍາ ນີ້ແມ່ນການທົບທວນຄືນຂອງສາມ format table open: Iceberg Delta Lake ແລະ Hudi: Apache Iceberg Apache Iceberg ເປັນຮູບເງົາຄອມພິວເຕີທີ່ມີຄຸນນະພາບສູງທີ່ຖືກອອກແບບມາສໍາລັບຊຸດຂໍ້ມູນຂະຫນາດໃຫຍ່. ການຄາດຄະເນຂອງຕົນແມ່ນຄຸນນະພາບສໍາລັບການປະຕິບັດການອ່ານປະສິດທິພາບແລະການຂະຫຍາຍຕົວ, ເຮັດໃຫ້ມັນເປັນແຜ່ນຕົ້ນຕໍສໍາລັບການເຮັດວຽກ analytics modern. One of its defining features is the separation of metadata from data, allowing efficient snapshot-based isolation and planning. This design eliminates costly metadata operations, enabling parallel query planning across large datasets. ການພັດທະນາທີ່ຜ່ານມາໃນອຸດສາຫະກໍາ Iceberg ສະຫນັບສະຫນູນການນໍາໃຊ້ຂະຫນາດໃຫຍ່ຂອງຕົນໃນອຸດສາຫະກໍາ. Tables S3 ສະຫນັບສະຫນູນການຄຸ້ມຄອງຂໍ້ມູນໂດຍອະນຸຍາດໃຫ້ເຄື່ອງຊອບແວທີ່ຈະເຂົ້າເຖິງ metadata Tables ແລະເອກະສານຂໍ້ມູນທີ່ຖືກເກັບຮັກສາໃນລະບົບທີ່ເຫມາະສົມກັບ S3, ການເກັບຮັກສາແລະການປັບປຸງ interoperability. ສະ ຫນັບ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນັບ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ການຫຸ້ມຫໍ່ຂອງ Databricks Tabular ຊື່ຫຍໍ້ຂອງ : Polaris Open Source ການຫຸ້ມຫໍ່ຂອງ Databricks Tabular ຊື່ຫຍໍ້ຂອງ : Polaris Open Source Delta Lake ການພັດທະນາໂດຍ Databricks, Delta Lake ໄດ້ຖືກເຊື່ອມຕໍ່ກັບ Apache Spark. ມັນເປັນການເຊື່ອມຕໍ່ຢ່າງເຕັມທີ່ກັບ Spark APIs ແລະການເຊື່ອມຕໍ່ກັບ Spark's Structured Streaming, ການຊ່ວຍໃຫ້ການປະຕິບັດ batch ແລະ streaming. ຄຸນນະສົມບັດທີ່ສໍາຄັນຂອງ Delta Lake ແມ່ນວ່າມັນນໍາໃຊ້ບັນຊີລາຍລະອຽດເພື່ອບັນຊີລາຍລະອຽດທັງຫມົດຂອງການປ່ຽນແປງທີ່ໃຊ້ກັບຂໍ້ມູນ, ການຮັບປະກັນການເບິ່ງທີ່ເຫມາະສົມແລະການພິມ isolation. ການອອກແບບນີ້ສະຫນັບສະຫນູນການປະຕິບັດຂໍ້ມູນທີ່ເຫມາະສົມ, ເຮັດໃຫ້ມັນເຫມາະສົມສໍາລັບສະພາບແວດລ້ອມຄວາມກົດດັນສູງ. Apache Hudi Apache Hudi ໄດ້ຖືກອອກແບບມາເພື່ອຕອບສະຫນອງຄວາມຕ້ອງການຂອງການເຂົ້າລະຫັດຂໍ້ມູນໃນເວລາທີ່ແທ້ຈິງແລະການທົດສອບ, ລວມທັງໃນສະພາບແວດລ້ອມທີ່ຕ້ອງການການປັບປຸງຢ່າງກວ້າງຂວາງ. ການອຸປະກອນຂອງຕົນສະຫນັບສະຫນູນການເຂົ້າລະຫັດຂໍ້ມູນທີ່ດີເລີດ (WOS) ສໍາລັບການເຂົ້າລະຫັດຂໍ້ມູນທີ່ດີເລີດແລະການເຂົ້າລະຫັດຂໍ້ມູນທີ່ດີເລີດ (ROS) ສໍາລັບການເຂົ້າລະຫັດຂໍ້ມູນ. ໂດຍການປິ່ນປົວການປິ່ນປົວການປ່ຽນແປງໃນອາຍແກັສຂໍ້ມູນເພີ່ມເຕີມ, Hudi ສະຫນັບສະຫນູນການທົດສອບໃນເວລາທີ່ແທ້ຈິງ. ຄຸນນະສົມບັດເຊັ່ນດຽວກັນກັບລັກສະນະ Bloom ແລະການເຂົ້າລະຫັດລະດັບໂລກປັບປຸງການປະຕິບັດ I/O, ການປັບປຸງຄວາມສາມາດຂອງການປິ່ນປົວແລະການຂຽນ. ນອກຈາກນີ້, Hudi ມີເຄື່ອງມືສໍາລັບ clustering, compression ແລະການປິ່ນປົວ, ເຊິ່ງຊ່ວຍໃຫ້ປິ່ນປົວການບໍລິຫານແລະຜົນປະໂຫຍດຂອງທ້ອງຖ່າຍຮູບ. ຄວາມສາມາດຂອງຕົນເພື່ອປິ່ນປົວການປິ່ນປົວການປິ່ນປົວການປົວແລະການຕັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະຫັດລະ Comparing Open Table Formats ຊື່ຫຍໍ້ຂອງ : Open Table Apache Iceberg, Delta Lake ແລະ Apache Hudi ທັງຫມົດສະຫນອງຄວາມເຂັ້ມແຂງທີ່ແຕກຕ່າງກັນກັບອຸປະກອນ data lakehouse. Here is a comparative overview of these formats based on key features: ການຂົນສົ່ງ ACID: ທັງຫມົດສາມຮູບແບບສະຫນອງການເຊື່ອມຕໍ່ ACID, ການຮັບປະກັນການປະຕິບັດຂໍ້ມູນທີ່ຖືກຕ້ອງ. Iceberg ເຮັດໃຫ້ບໍລິການ isolation snapshot ສໍາລັບ integrity ການຂົນສົ່ງ, Delta Lake ເຮັດໃຫ້ບໍລິການບັນຊີລາຍຊື່ການຂົນສົ່ງສໍາລັບການເບິ່ງແລະພິມ isolation ທີ່ຖືກຕ້ອງ, ແລະ Hudi ເຮັດໃຫ້ບໍລິການຄວບຄຸມ concurrency ໃນລະດັບເອກະສານສໍາລັບສະຖາບັນທີ່ມີຄຸນນະພາບສູງ. ການພັດທະນາ schema: ທັງຫມົດອຸປະກອນສະຫນັບສະຫນູນການປ່ຽນແປງ schema, ການອະນຸຍາດໃຫ້ການເພີ່ມ, ດາວໂຫລດຫຼືການປ່ຽນແປງຂອງແຜ່ນ. Iceberg ສະຫນັບສະຫນູນການປ່ຽນແປງ schema flexible without rewriting data existing, Delta Lake ສະຫນັບສະຫນູນ schema at runtime to maintain data quality, ແລະ Hudi ສະຫນັບສະຫນູນການປ່ຽນແປງ pre-commit ສໍາລັບຄວາມປອດໄພເພີ່ມເຕີມ. ການພັດທະນາ particion: Iceberg ສະຫນັບສະຫນູນການພັດທະນາ particion, ເຮັດໃຫ້ການປັບປຸງຢ່າງງ່າຍດາຍຂອງການ particioning schemes ໂດຍບໍ່ມີການ rewrite data ທີ່ມີ. Delta Lake ສະຫນັບສະຫນູນການປ່ຽນແປງ partition ແຕ່ສາມາດຈໍາເປັນຕ້ອງ intervention manually ສໍາລັບການປະສິດທິພາບທີ່ດີທີ່ສຸດ, ໃນຂະນະທີ່ Hudi ສະຫນັບສະຫນູນ clustering ແສງສະດວກກັບ particioning ອັດຕະໂນມັດ. ການເດີນທາງໃນເວລາ: ທັງຫມົດສາມຮູບແບບສະຫນອງຄຸນນະສົມບັດການເດີນທາງໃນເວລາ, ການອະນຸຍາດໃຫ້ຜູ້ໃຊ້ເພື່ອຊອກຫາສະຖານທີ່ຂໍ້ມູນປະຫວັດສາດ. ຄຸນນະສົມບັດນີ້ແມ່ນບໍ່ມີຄ່າໃຊ້ຈ່າຍສໍາລັບການຢັ້ງຢືນແລະການຄັດເລືອກ. ການນໍາໃຊ້ຢ່າງກວ້າງຂວາງ: Iceberg ແມ່ນຮູບເງົາ Open Table ທີ່ຖືກນໍາໃຊ້ຢ່າງກວ້າງຂວາງທີ່ສຸດໂດຍບໍລິສັດຂໍ້ມູນ. ຈາກ Databricks ກັບ Snowflake ກັບ AWS, ສະຫນັບສະຫນູນຂະຫນາດໃຫຍ່ຫຼາຍໄດ້ລົງທຶນໃນ Iceberg. ຖ້າຫາກວ່າທ່ານມີສ່ວນຫນຶ່ງຂອງອຸດສາຫະກໍາຫຼັກສູດນີ້ຫຼືກໍາລັງຊອກຫາສໍາລັບການຮ່ວມມືກັບພວກເຂົາ, Iceberg ສາມາດເປັນສິ່ງທີ່ແຕກຕ່າງກັນ. Hudi ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນັບ ສະ ຫນູນ ສະ ຫນັບ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ ສະ ຫນູນ Hudi ໄດ້ຖືກອອກແບບສໍາລັບການທົດສອບໃນເວລາທີ່ແທ້ຈິງທີ່ມີການຄວບຄຸມ concurrency ອັດຕະໂນມັດແລະອຸປະກອນທີ່ສ້າງຕັ້ງຂຶ້ນເຊັ່ນ DeltaStreamer ສໍາລັບການເຂົ້າລະຫັດເພີ່ມເຕີມ. Delta Lake supports streaming through change data feed, ແລະ Iceberg ມີຄວາມສາມາດເພີ່ມເຕີມພື້ນຖານ. ການຄາດຄະເນດິນດີຕ້ອນຮັບຂອງພວກເຮົາແມ່ນການຄາດຄະເນດິນດີຕ້ອນຮັບຂອງພວກເຮົາ. ການຄາດຄະເນດິນດີຕ້ອນຮັບຂອງພວກເຮົາແມ່ນການຄາດຄະເນດິນດີຕ້ອນຮັບ. Performance Expectations ການຄາດຄະເນດິນ ການຮັບປະກັນການປະສິດທິພາບທີ່ດີທີ່ສຸດໃນອຸປະກອນ data lakehouse ແມ່ນສໍາຄັນເພື່ອຮັບປະກັນຄວາມສາມາດຂອງຮູບເງົາ Open Table. ການປະສິດທິພາບນີ້ອະນຸຍາດໃຫ້ການປະສິດທິພາບຂອງອຸປະກອນການເກັບຮັກສາແລະລະດັບການຄອມພິວເຕີ. ລະບົບການເກັບຮັກສາ Object ຈະຊ່ວຍໃຫ້ການເຂົ້າເຖິງຂໍ້ມູນຢ່າງໄວ້ວາງໃຈແລະສະຫນັບສະຫນູນການຂົນສົ່ງຄວາມໄວສູງ, ເພື່ອຮັບປະກັນການເຮັດວຽກຢ່າງງ່າຍດາຍເຖິງແມ່ນວ່າມີອຸປະກອນຂະຫນາດໃຫຍ່. ນອກຈາກນີ້, ການປະຕິບັດ input/output efficient per second (IOPS) ແມ່ນສໍາຄັນສໍາລັບການປິ່ນປົວຄໍາຮ້ອງສະຫມັກຂໍ້ມູນທີ່ແຕກຕ່າງກັນ, ເພື່ອສະຫນັບສະຫນູນການເຊື່ອມຕໍ່ຂໍ້ມູນທີ່ຕອບສະຫນັບສະຫນູນໂດຍບໍ່ມີການປິ່ນປົວ. ຄຸນນະສົມບັດທີ່ສໍາຄັນແມ່ນຄຸນນະສົມບັດຄຸນນະສົມບັດຄຸນນະສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມບັດຄຸນສົມ ການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງການຄຸ້ມຄອງ ພວກເຮົາ ກໍາ ລັງເຮັດທຸລະກິດໃນ 2012. ພວກເຮົາແມ່ນບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມໃຫ້ບຸກຄົນ, ບໍລິສັດແລະວິທະຍາໄລກ່ຽວກັບທັກສະດ້ານໄອທີແລະວິທະຍາໄລກ່ຽວກັບທັກສະດ້ານໄອທີ. ພວກເຮົາແມ່ນບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມໃຫ້ບຸກຄົນ, ບໍລິສັດແລະວິທະຍາໄລກ່ຽວກັບທັກສະດ້ານໄອທີ. ພວກເຮົາ ກໍາ ລັງຝຶກອົບຮົມໃຫ້ບຸກຄົນ, ບໍລິສັດແລະວິທະຍາໄລກ່ຽວກັບທັກສະດ້ານໄອທີ. Open Data Lakehouses and Interoperability Open Data Lakehouses ແລະ Interoperability ວິທະຍາໄລແລະວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍາສາດວິທະຍ ຮູບພາບ ສໍາ ລັບ ສັດ ລ້ຽງ ສັດ ລ້ຽງ ສັດ ລ້ຽງ ມັນເປັນສິ່ງທີ່ສໍາຄັນທີ່ຈະຮູ້ວ່າ XTable ບໍ່ອະນຸຍາດໃຫ້ທ່ານເຂົ້າລະຫັດໃນຮູບແບບພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິມພິ ດາວນ໌ໂຫລດ Apache XTable ດາວນ໌ໂຫລດ Apache XTable The Future of Open Table Formats ຄວາມຄິດເຫັນທີ່ Future of Open Table Formats ໃນຂະນະທີ່ສະພາບແວດລ້ອມຂອງການເກັບຮັກສາອຸປະກອນການແວດລ້ອມອຸປະກອນການແວດລ້ອມອຸປະກອນການແວດລ້ອມອຸປະກອນການແວດລ້ອມອຸປະກອນການແວດລ້ອມອຸປະກອນການແວດລ້ອມອຸປະກອນການແວດລ້ອມອຸປະກອນການແວດລ້ອມອຸປະກອນການແວດລ້ອມອຸປະກອນການແວດລ້ອມອຸປະກອນການແວດລ້ອມ ( ປະເພດ ໃນຖານະເປັນບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມໃຫ້ບຸກຄົນ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມໃຫ້ບຸກຄົນ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມໃຫ້ບຸກຄົນ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມໃຫ້ບຸກຄົນ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມໃຫ້ບຸກຄົນ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມໃຫ້ບຸກຄົນ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມ, ບໍລິສັດທີ່ໃຫ້ການຝຶກອົບຮົມ, ລະຫັດ QR ປະເພດ Workloads ລະຫັດ QR ປະເພດ Workloads ສະຖານທີ່ອື່ນໆຂອງການຂະຫຍາຍຕົວຢ່າງເປັນປະໂຫຍດຈະມີຢູ່ໃນສະຖານທີ່ open source. ໃນຂະນະທີ່ບໍລິສັດສ່ວນບຸກຄົນທີ່ໃຫຍ່ທີ່ສຸດເຊັ່ນ Databricks, Snowflake ແລະ AWS ໄດ້ເລີ່ມຕົ້ນການກັ່ນຕອງຄວາມເຂັ້ມແຂງຂອງພວກເຂົາ, ມັນງ່າຍທີ່ຈະລອກຫາວ່າຮູບແບບ desktop ທີ່ເປີດແມ່ນສະຖານທີ່ທີ່ເປີດທີ່ແທ້ຈິງ. Iceberg, Hudi ແລະ Delta Lake ມີການຊ່ວຍເຫຼືອ, ການຮ່ວມມືຫຼືການເຊື່ອມຕໍ່ກັບອຸປະກອນແລະສະຖານທີ່ open source. ໃນຄໍາສັ່ງອື່ນໆ, ພວກເຂົາເຈົ້າແມ່ນສ່ວນຫນຶ່ງຂອງອຸດສາຫະກໍາຂໍ້ມູນ open-standard ທີ່ຍິ່ງໃຫຍ່ແລະຍິ່ງໃຫຍ່. ມັນເປັນສິ່ງສໍາຄັນທີ່ຈະຮູ້ວ່າ open-source ເຮັດໃຫ້ open-source. ພວກເຮົາຈະເບິ່ງການຂະຫຍາຍຕົວຢ່າງຕໍ່ເນື່ອງຂອງອຸປະກອນ open- ຫຼັງຈາກນັ້ນ, ການນໍາໃຊ້ຮູບແບບທ້ອງຖ່າຍຮູບ Open Table ຈະເພີ່ມຂຶ້ນໃນຂະນະທີ່ອຸດສາຫະກໍາກໍ່ສ້າງຂະຫນາດໃຫຍ່, ປະສິດທິພາບສູງ data lakehouses ສໍາລັບ AI ແລະກໍລະນີການນໍາໃຊ້ທີ່ດີທີ່ສຸດອື່ນໆ. ຜູ້ຊ່ຽວຊານໃນອຸດສາຫະກໍາໄດ້ເຫມາະສົມກັບຄວາມເປັນສ່ວນຕົວຂອງຮູບແບບພິມ Open Table ກັບຄວາມຍາວແລະຄຸນນະພາບຂອງ Hadoop ໃນຕອນເລີ່ມຕົ້ນຂອງປີ 2000. ຂໍ້ມູນຂະຫນາດໃຫຍ່ແມ່ນມີຊີວິດ; ຍິນດີຕ້ອນຮັບຂໍ້ມູນຂະຫນາດໃຫຍ່. ປະເພດ ປະເພດ Build for Today and Tomorrow ການກໍ່ສ້າງສໍາລັບມື້ນີ້ແລະມື້ນີ້ ການເຊື່ອມຕໍ່ຮູບເງົາ Open Table ກັບການເກັບຮັກສາ Object ປະສິດທິພາບສູງອະນຸຍາດໃຫ້ຜູ້ຊ່ຽວຊານໃນການສ້າງລະບົບຂໍ້ມູນທີ່ເປັນ Open, Interoperable ແລະ capable of meeting the demands of AI, ML and advanced analytics. By embracing these technologies, organizations can create scalable and flexible architectures that drive innovation and efficiency in the data-driven era.