Многие из нас внесли изменения в данные в соответствии с требованиями, которые впоследствии изменились. К тому времени, когда мы это осознаем, откат становится невозможным. Изменение — это не просто константа; это важная часть управления данными, требующая сложного подхода. Введите Git-подобную функциональность каталога данных Dremio Nessie.  Подобно тому, как Git стал основополагающим для разработки программного обеспечения, инженерам по работе с данными нужны аналогичные инструменты для параллельной работы, сравнения версий данных, внесения изменений в производство и отката данных при необходимости. Nessie предоставляет инженерам данных систему контроля версий, подобную Git, для управления версиями данных, ветвями, слияниями и фиксациями. Это может быть очень полезно, когда несколько инженеров данных одновременно работают и преобразовывают данные. Nessie позволяет каждому инженеру работать в отдельных ветках, сохраняя при этом единый источник истины в виде основной ветки. Эта функциональность позволяет командам разработчиков данных совместно поддерживать качество данных в условиях неослабевающих изменений.  В этой статье представлено пошаговое руководство, демонстрирующее, как Nessie, Dremio и MinIO работают вместе для повышения качества данных и улучшения совместной работы в рабочих процессах обработки данных. Независимо от того, являетесь ли вы инженером данных, инженером машинного обучения или просто энтузиастом современного озера данных, этот блог предоставит вам знания и инструменты, необходимые для эффективного улучшения практики управления версиями данных.  Понимание основ: рабочие нагрузки Nessie  Nessie позволяет использовать рабочие нагрузки, подобные Git, которые позволяют тестировать, разрабатывать и запускать в производство. Давайте разберем некоторые ключевые понятия:    Как и в Git, ветки в Nessie позволяют одновременно работать над различными задачами по обработке данных. Например, у вас может быть филиал по разработке функций, очистке и преобразованию данных. Каждая ветвь может иметь свой собственный набор изменений данных. Ветки.    в Nessie коммит представляет собой снимок данных в определенный момент времени. Когда вы вносите изменения в свои данные, вы создаете новый коммит, который записывает эти изменения. Коммиты привязаны к конкретной ветке. Когда вам нужно вернуть данные в стабильное или заведомо хорошее состояние, Nessie позволяет легко выбрать конкретную фиксацию и вернуться к этой версии данных. Это обеспечивает качество и согласованность данных. Коммиты:    : Nessie позволяет объединять изменения из одной ветки в другую. Это похоже на объединение изменений кода в Git. При объединении ветки изменения данных, внесенные в эту ветку, становятся частью целевой ветки. Слияния  Компоненты     — это механизм распределенной аналитики, работающий как платформа с открытым исходным кодом и предлагающий интуитивно понятный интерфейс самообслуживания для исследования, преобразования и совместной работы данных. Его конструкция основана на  высокоскоростной формат столбчатой памяти. Dremio   Апачская стрела,  Мы уже рассмотрели, как развернуть Dremio с помощью Kubernetes, а также как  . Для получения дополнительной информации о Дремио обратитесь  .   запрос таблиц Iceberg на MinIO с помощью Dremio   Ресурсы Дремио    — это высокопроизводительное объектное хранилище. Известный своим исключительным  и  MinIO служит ключевым компонентом в создании и обслуживании современной инфраструктуры озера данных. MinIO дает архитекторам возможность эффективно управлять и хранить огромные объемы данных локально, на «голом железе», на периферии или в любом общедоступном облаке. MinIO   скорость   масштабируемость  — это формат открытых таблиц, подходящий для управления большими объемами данных в озерах данных. Уникальные функции, такие как путешествие во времени, динамическая эволюция схемы и эволюция разделов, меняют правила игры, позволяя механизмам запросов одновременно безопасно и эффективно работать с одними и теми же данными. Видеть  для получения дополнительной информации о функциях Iceberg.   Апач Айсберг    MinIO Полное руководство по архитектуре Lakehouse с Iceberg и  Начиная  Вам понадобится  и  для этого урока. Самый простой способ получить и то, и другое, если у вас их еще нет, — это установить Docker Desktop.   Докер-движок   Докер Составление  Эта часть урока основана на Dremio.  . Вы можете получить репозиторий этого проекта.  .   Сообщение блога   здесь  Для начала откройте терминал и перейдите в папку, в которую вы клонировали/загрузили репозиторий, и выполните приведенную ниже команду, чтобы запустить Dremio.   docker-compose up dremio  Подождите несколько минут, а затем перейдите по адресу   чтобы получить доступ к Dremio. Обновите запрошенные поля и нажмите «Далее».  http://localhost:9047  Затем выполните следующую команду, чтобы запустить MinIO.   docker-compose up minio  Последняя команда   приведенная ниже, запустит Nessie. docker-compose up   docker-compose up nessie  Перейдите по адресу   , чтобы войти в MinIO, используя имя пользователя и пароль   . Вам будет предложено создать корзину.  http://localhost:9001 minioadmin:minioadmin  Создайте один с именем   .  iceberg-datalake  Затем вернитесь в Dremio по   , нажмите «Добавить источник» и выберите «Несси».  http://localhost:9047  Установите имя  nessie  Установите URL-адрес конечной точки  http://nessie:19120/api/v2  Установите для аутентификации значение    none  Пока не нажимайте «Сохранить». Вместо этого на панели навигации слева нажмите «Хранилище». MinIO — это объектное хранилище, совместимое с S3-API, которое может использовать те же пути подключения, что и AWS S3.  В качестве ключа доступа установите  minioadmin  В качестве секретного ключа установите  minioadmin  Установите корневой путь    /iceberg-datalake  Прокрутите вниз, чтобы увидеть следующий набор инструкций.  Нажмите кнопку   в разделе   , чтобы создать и настроить следующие свойства. Add Property Connection Properties    к  fs.s3a.path.style.access true    для  fs.s3a.endpoint minio:9000    в  dremio.s3.compat true  Снимите флажок    Encrypt connection  Затем нажмите «Сохранить». Теперь вы должны увидеть каталоги Nessie в своих источниках данных.   Создайте источник данных  В Dremio перейдите к SQL Runner слева. Убедитесь, что в правом верхнем углу текстового редактора для параметра   выбран источник «Несси». В противном случае вам придется ссылаться на контекст, например   , а не просто   чтобы выполнить этот запрос. Скопируйте и вставьте приведенный ниже SQL и запустите. Context nessie.SalesData SalesData     CREATE TABLE SalesData (    id INT,    product_name VARCHAR,    sales_amount DECIMAL,    transaction_date DATE ) PARTITION BY (transaction_date);  Запустите приведенный ниже запрос, чтобы вставить данные в только что созданную таблицу.     INSERT INTO SalesData (id, product_name, sales_amount, transaction_date) VALUES    (1, 'ProductA', 1500.00, '2023-10-15'),    (2, 'ProductB', 2000.00, '2023-10-15'),    (3, 'ProductA', 1200.00, '2023-10-16'),    (4, 'ProductC', 1800.00, '2023-10-16'),    (5, 'ProductB', 2200.00, '2023-10-17');  Вернитесь в MinIO и убедитесь, что ваше озеро данных заполнено таблицами Iceberg.   Ветвление и слияние с Несси  Вернитесь в Дремио по   . Начните с запроса к таблице в главной ветке, используя синтаксис   : http://localhost:9047 AT BRANCH     SELECT * FROM nessie.SalesData AT BRANCH main;  Создайте ветвь ETL (извлечение преобразования и загрузки), чтобы вы могли работать с данными и преобразовывать их, не влияя на производительность.   CREATE BRANCH etl_06092023 in nessie  В ветке ETL вставьте в таблицу новые данные:   USE BRANCH etl_06092023 in nessie; INSERT INTO nessie.SalesData (id, product_name, sales_amount, transaction_date) VALUES (6, 'ProductC', 1400.00, '2023-10-18');  Подтвердите немедленную доступность новых данных в ветке ETL:   SELECT * FROM nessie.SalesData AT BRANCH etl_06092023;  Обратите внимание на изоляцию изменений от пользователей в основной ветке:   SELECT * FROM nessie.SalesData AT BRANCH main;  Объедините изменения из ветки ETL обратно в основную ветку:   MERGE BRANCH etl_06092023 INTO main in nessie;  Снова выберите основную ветку, чтобы убедиться, что изменения действительно объединены.   SELECT * FROM nessie.SalesData AT BRANCH main  Эта стратегия ветвления позволяет инженерам данных независимо обрабатывать многочисленные транзакции в нескольких таблицах. Когда они будут готовы, инженеры по обработке данных смогут объединить эти транзакции в одну комплексную многотабличную транзакцию в основной ветке.  Заключение  В этом сообщении блога подробно рассматриваются возможности Git-подобного контроля версий в инженерии данных, подчеркивая, как  беспрепятственно управляет версиями данных, ветвями и слияниями. В этом пошаговом руководстве показано, как Nessie в сотрудничестве с Dremio и MinIO в качестве основы объектного хранилища повышает качество данных и улучшает совместную работу в рабочих процессах обработки данных.   Несси  Дайте нам знать, как выглядит ваш дом на озере данных  или на  .   привет@minio.io   наш Slack-канал  Также появляется   . здесь

Developers do. Download MinIO and see for yourself. 

MinIO

Этот звук создан на языке оригинала истории!

Тайны озера данных раскрыты: Несси, Дремио и MinIO вызывают фурор

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Повысьте свою производительность с помощью этих 18 инструментов разработчика 🚀🔥

Модель Bitcoin UTXO, обеспечивающая работу уникальной экосистемы

Руководство архитектора по созданию эталонной архитектуры для озера данных AI/ML

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Повысьте свою производительность с помощью этих 18 инструментов разработчика 🚀🔥

Модель Bitcoin UTXO, обеспечивающая работу уникальной экосистемы

Руководство архитектора по созданию эталонной архитектуры для озера данных AI/ML

Нажмите, чтобы заработать: Telegram может привлечь следующие 10 миллиардов пользователей криптовалюты до Соланы

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps