Этим летом Databricks и Apache Iceberg представили усовершенствования своих форматов открытых таблиц. Анонсированы блоки данных  может читать и записывать данные во все наиболее популярные форматы открытых таблиц: Delta Table, Iceberg и Apache Hudi. Delta Universal Format (UniForm) делает форматы открытых таблиц совместимыми, избегая необходимости создания и хранения дополнительных копий данных в том или ином формате. Группы обработки данных, использующие существующие механизмы запросов, такие как  ,  и другие, выполняющие запросы к файлам Iceberg или Hudi, могут читать таблицы Delta напрямую без преобразования.   Дельта озера 3.0   ДакДБ   Дремио  Примерно в то же время Iceberg анонсировал множество новых возможностей поддержки механизмов запросов и платформ, включая  ,  ,  и СтарРокс. Благодаря этим заявлениям Databricks и Iceberg совместимость стала идти рука об руку с переносимостью данных. Форматы открытых таблиц по своему замыслу продвигают концепцию, согласно которой вы должны иметь возможность получать доступ к своим данным, контролировать их, делиться ими и работать с ними с помощью любого инструмента, который вы хотите, где бы вы ни находились, будь то в публичных облаках, в ваших частных облаках или на других устройствах. -край или на голый металл.   Снежинка   AWS Афина   Апач Дорис  Понимание форматов открытых таблиц  Давайте рассмотрим эти объявления в контексте. Форматы открытых таблиц позволяют озерам данных достигать стандартов производительности и соответствия, которые в прошлом могли быть достигнуты только с помощью традиционных хранилищ данных или баз данных, сохраняя при этом гибкость среды озера данных.  Существует три основных формата открытых столов:  изначально был разработан Netflix специально для обработки значительных объемов данных в озерах данных. Этот формат открытой таблицы может похвастаться такими отличительными особенностями, как перемещение во времени, динамическая эволюция схемы и эволюция разделов. Эти возможности делают его революционным, позволяя выполнять параллельные и безопасные операции механизмов запросов с одним и тем же набором данных.   Айсберг  — это платформа хранения с открытым исходным кодом в архитектуре Lakehouse, которая расширяет возможности озер данных в объектных хранилищах, таких как MinIO. Он обеспечивает транзакции ACID, масштабируемую обработку метаданных и унифицированную обработку для Apache Spark, обеспечивая надежность и масштабируемость. Delta Lake может справиться с проблемами производительности и правильности сложных рабочих нагрузок Spark, особенно в условиях интенсивного параллелизма, когда неатомарные обновления и операции с метаданными вызывают серьезные узкие места.   Дельта озера  основан на экосистеме Hadoop, и основная цель Hudi — уменьшить задержку при приеме потоковых данных, предлагая такие функции, как таблицы, транзакции, обновления/удаления, расширенные индексы и совместимость с различными реализациями хранилища, включая облачное объектное хранилище. как МинИО.   Худи  О выборе между различными форматами написано много, причем некоторые утверждают, что до  среди трех основных форматов открытых таблиц. Такое смешение различий имеет смысл, учитывая среду совместимости, в которой эти форматы открытых таблиц были созданы и продолжают процветать. Создатели этих форматов отдали приоритет возможностям над традиционными представлениями о привязке к поставщику и оперативном контроле.   80% функциональная эквивалентность  Форматы открытых таблиц как часть современного стека данных  Еще до этих недавних объявлений форматы открытых таблиц уже стали неотъемлемой частью современного дизайна озера данных. И, наоборот, озера данных стали неотъемлемой частью современного стека данных. Недавний  к  обнаружили, что 70% респондентов заявили, что более половины их аналитики находится или будет находиться в озере данных в течение трех лет. Такое повсеместное внедрение означает смену парадигмы в том, как организации структурируют и управляют своими данными, уделяя особое внимание совместимости, гибкости и производительности.   опрос   Дремио  На самом деле неудивительно, что облачные озера данных, их компоненты и технологии, такие как форматы открытых таблиц, стали центральным элементом современного стека данных. Это резко контрастирует с традиционным, монолитным устаревшим оборудованием и программным обеспечением, продаваемым оптом организациям, надеющимся приклеить фразу «облачные технологии» к своим устаревшим системам. Переход на облачную среду — это больше, чем просто добавление API: современный стек данных представляет собой модульный и специализированный ансамбль инструментов, предназначенных для различных аспектов обработки данных. Он создан для адаптивности, создан в облаке и соответствует стандартам высокой производительности. Функции, которые делают современный стек данных привлекательным выбором для организаций. Модульность стека предоставляет ряд возможностей, позволяющих организациям создавать индивидуальную инфраструктуру данных, соответствующую их конкретным потребностям, способствуя гибкости в постоянно меняющейся среде данных.  Несмотря на постоянно развивающийся диапазон опций, существуют определяющие характеристики, которые пронизывают компоненты стека:    современный стек данных предназначен для плавного масштабирования в различных облачных средах, обеспечивая совместимость с несколькими облаками и предотвращая привязку к поставщику. Cloud-Native:    Разработанный для повышения эффективности, стек включает в себя компоненты, основанные на программном подходе и обеспечивающие высокую производительность. Оптимизированная производительность.    стек устанавливает стандартизированную структуру связи между своими компонентами. Это способствует совместимости и поддерживает создание микросервисов. Совместимость с RESTful API:    Стек обеспечивает независимое масштабирование вычислительных ресурсов и емкости хранилища. Такой подход оптимизирует экономическую эффективность и повышает общую производительность, позволяя масштабировать каждый аспект в соответствии с конкретными потребностями. Дезагрегированное хранилище и вычисления.    Помимо поддержки форматов открытых таблиц, современный стек данных предполагает открытость в форме решений с открытым исходным кодом. Это обязательство устраняет разрозненность собственных систем и смягчает привязку к поставщикам, способствуя сотрудничеству, инновациям и улучшенной доступности данных. Стремление к открытости усиливает адаптируемость стека к различным платформам и инструментам, обеспечивая инклюзивность. Приверженность открытости.  Переносимость и совместимость данных как бизнес-стандарт  По-настоящему обеспечить переносимость и совместимость данных означает возможность создавать данные и получать к ним доступ, где бы они ни находились. Такой подход обеспечивает гибкость, позволяя организациям использовать возможности различных инструментов, не ограничиваясь привязкой к поставщику или хранилищами данных. Цель состоит в том, чтобы обеспечить универсальный доступ к данным, способствуя созданию более гибкой и адаптируемой экосистемы данных внутри организаций.  Понимание того, что облако как операционная модель построено на принципах облачных технологий, а не на конкретном месте, имеет решающее значение для достижения переносимости данных. Некоторые организации  в этом начинании и пытаются купить себе путь в облако огромной ценой. Реальность такова, что, хотя внедрение облачных технологий дает среднестатистической компании возможность  Реальный эффект и реальная экономия средств достигается за счет внедрения облачной операционной модели в частную инфраструктуру.   борьба   увеличить прибыльность на 20-30 процентов  Многие авторитетные организации активно принимают эту философию, предпочитая репатриировать рабочие нагрузки из облака и добиваясь значительной экономии средств.  , 37Signals и крупная фирма по обеспечению безопасности предприятий.  от выходов из облаков. Облачная операционная модель позволяет сосуществовать, казалось бы, противоречивым идеям: компании могут получить выгоду от перехода в облако   репатриации рабочих нагрузок. Ключевым определяющим фактором является внедрение облачной операционной модели, фундаментально меняющей подход организаций к инфраструктуре, развитию и технической эффективности. Эта модель оптимизирует гибкость, эффективность и долгосрочный успех — будь то в общедоступном облаке или за его пределами — и точно соответствует концепции современного стека данных, обеспечивая переносимость данных и совместимость с форматами открытых таблиц.   X.com   экономия в среднем 60% и  Заключение  Недавние успехи Databricks, Apache Iceberg и Hudi в разработке форматов открытых таблиц означают поворотный момент в управлении данными. Универсальная совместимость Delta Lake 3.0 и расширенная поддержка Apache Iceberg демонстрируют стремление как компаний, занимающихся инфраструктурой данных, так и местных разработчиков обеспечить бесперебойную переносимость и функциональную совместимость данных.  Эти разработки соответствуют присущей современному стеку данных модульности, где форматы открытых таблиц играют центральную роль в достижении стандартов производительности и соответствия. Этот сдвиг не является изолированным, а пересекается с облачной операционной моделью. Помимо привлекательности общедоступных облаков, реальный эффект и экономия средств достигается за счет внедрения облачной операционной модели в частную инфраструктуру.  Слияние форматов открытых таблиц, современного стека данных и облачной операционной модели знаменует собой эпоху преобразований в управлении данными. Такой подход обеспечивает адаптируемость в различных средах, как общедоступных, так и частных, локально на периферии. Наша команда MinIO готова помочь тем, кто разбирается в сложностях архитектуры озера данных. Присоединяйтесь к нам по адресу hello@minio.io или на нашем  канал для совместных обсуждений, когда вы отправляетесь в путешествие по данным.   Слабый

Developers do. Download MinIO and see for yourself. 

MinIO

Этот звук создан на языке оригинала истории!

Что означает тенденция совместимости в форматах открытых таблиц для архитектур корпоративных данных

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Telegram: мост Крипто-острова на материк

Невидимые слои: почему интервью с пользователями являются незаменимым активом

Valhalla Флоки станет ассоциированным спонсором индийского тура по Шри-Ланке

Создание криптопродуктов, ориентированных на пользователя: важность отзывов клиентов

Telegram: мост Крипто-острова на материк

Невидимые слои: почему интервью с пользователями являются незаменимым активом

Valhalla Флоки станет ассоциированным спонсором индийского тура по Шри-Ланке

Создание криптопродуктов, ориентированных на пользователя: важность отзывов клиентов

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps