Migración de datos de Dell ECS a MinIO

Los clústeres de Dell ECS le permiten migrar sus datos a cualquier tienda compatible con S3. Dell ECS denomina a esta función "Movimiento de datos", también llamada copia a la nube. Es una función introducida en ECS 3.8.0.1 que le permite copiar objetos de Dell ECS a MinIO, que es bastante popular entre los clientes actuales y potenciales que están modernizando su pila de almacenamiento para satisfacer sus requisitos de infraestructura de datos de IA. El movimiento de datos se basa en la herramienta de código abierto ECS Sync, que brinda la capacidad de copiar los datos en paralelo.

En esta descripción general, le mostraremos cómo migrar datos de Dell ECS a MinIO centrándonos específicamente en lo siguiente:

• Configuración de los depósitos de origen y destino
• Configuración de políticas de movimiento de datos
• Monitoreo y registro de la migración a MinIO

Configurar los depósitos de origen y destino

Antes de que podamos comenzar a crear la política para migrar los datos, asegurémonos de que los depósitos de origen y destino estén configurados para el movimiento de datos.

Configurar el depósito de origen de Dell ECS

Internamente, la política de movimiento de datos escanea el depósito de origen para enumerar todos los objetos para el movimiento de datos mediante la búsqueda de metadatos (MD).

Para que el movimiento de datos realmente mueva los datos, debe asegurarse de que MD Search esté habilitado en el depósito de origen de Dell ECS e incluir LastModified como un campo indexado.

A continuación, configuremos MinIO, el depósito de destino.

Configurar el depósito de destino MinIO

Para que los datos se transfieran a MinIO, necesitamos crear previamente el siguiente recurso en MInIO:

• Claves de acceso y secretas
• Nombre del depósito
• Política de IAM

Al crear el depósito, asegúrese de habilitar el control de versiones del depósito, a menos que el depósito de destino en MinIO esté dedicado únicamente a la política de movimiento de datos. Asegúrese de tomar nota de los detalles anteriores después de crearlos, ya que sus valores se necesitarán más adelante.

La política de IAM debe permitir las siguientes API:

• s3:Cubo de lista
• s3:Obtener objeto
• s3:PonerObjeto
• s3:EliminarObjeto

Siga esta guía para aprender a crear políticas de IAM, claves de acceso y depósitos en la consola MinIO.

1. Introduzca el nombre de usuario que se estableció al configurar el clúster.
2. Introduzca la contraseña que se estableció al configurar el clúster.
3. Haga clic en “Iniciar sesión”

4. Explorador de objetos : aquí se mostrarán los depósitos que se han creado y los datos que se han cargado.

   
   

5. Teclas de acceso : Teclas de acceso al estilo AWS IAM

   1. Crear clave de acceso : haga clic aquí para crear un acceso y un secreto separados de los que usamos para iniciar el clúster.

   
   

6. Cubos : enumera todos los cubos que están disponibles.

   1. Crear depósito : si no hay depósitos, siga adelante y cree uno nuevo.

   
   

7. Políticas : Políticas de IAM

   
   

8. Identidad : cree y conecte varios IDP como OpenID y LDAP.

   
   

9. Monitoreo : Monitorea todos los aspectos del cluster e incluso envíalo a Prometheus.

Una vez configurados los depósitos de origen y destino, configuremos la Política de movimiento de datos.

Política de movimiento de datos

Una política de movimiento de datos es una definición en Dell ECS que se puede configurar a través de la interfaz de usuario o la API y que define qué objetos de un depósito de origen de Dell ECS se deben copiar al depósito de destino de MinIO. Los trabajos de análisis de la política de movimiento de datos se activan automáticamente, pero se pueden pausar o reanudar en cualquier momento. Esto es muy similar a la política de MinIO. replicación por lotes proceso. De manera predeterminada, la política de movimiento de datos migra los datos a MinIO en orden de fecha y hora de Última modificación.

Le mostraremos dos escenarios diferentes de movimiento de datos para darle una idea de cómo podría funcionar esto, pero el cielo es el límite cuando se trata de cómo desea realizar la migración.

Movimiento de datos a MinIO

En esta configuración, agregaremos los elementos necesarios de MinIO para que Dell ECS se comunique. El primer paso, una vez que se habilite MD Search, es ON Data Mobility como se muestra a continuación.

Una vez que la Movilidad de datos esté ON , podemos continuar y configurar la política.

• Punto final : Establezca esto en el punto final MinIO http://<minio_ip>:<minio_port>
• Clave de acceso y secreta : Esta se creó en la consola MinIO y se guardó en un paso anterior.
• Nombre del depósito : nombre del depósito de destino de MinIO
• Cubo de registro: este es el cubo en Dell ECS que registra cualquier error durante la migración.

Hay otras configuraciones, no he revisado todas las configuraciones, solo las más importantes. Tenga en cuenta que si se eliminan datos del depósito de origen de Dell ECS, no se eliminarán del depósito de destino de MinIO una vez que se haya completado la migración.

Movimiento de datos con Dremio a MinIO

Ahora veamos cómo se vería la migración usando una aplicación que usa Dremio.

Hay algunos pasos que tienen lugar durante esta migración

1. Una aplicación orientada al cliente escribe en un depósito de Dell ECS.
2. ECS copia a un depósito de almacenamiento temporal dentro de MinIO configurado mediante la política de movimiento de datos.
3. Los datos se copian al depósito de almacenamiento provisional.
4. El depósito de almacenamiento temporal MinIO utilizará Notificación de eventos para enviar un mensaje a RabbitMQ, al cual se suscribirá Dremio.
5. Dremio lee el mensaje e ingiere los datos desde el depósito de almacenamiento temporal de MinIO al depósito de Dremio en MinIO.
6. Una vez que se hayan ingerido los datos, puede limpiar el depósito de almacenamiento temporal de MinIO utilizando un política de ciclo de vida .

Estos son solo dos ejemplos, pero puede utilizar esta metodología para migrar desde cualquier aplicación que utilice Dell ECS a MinIO.

Monitoreo y registro de movimiento de datos

Durante el proceso de migración de datos, es importante controlar el proceso de migración general a medida que se trasladan los datos a MinIO. La GUI de Dell ECS proporciona paneles de información general con supervisión avanzada que muestra la cantidad total de objetos copiados, la cantidad total de bytes copiados, el retraso de la marca de agua, la cantidad total de errores, los objetos copiados, las copias de bytes, entre otros.

Puede explorar más a fondo para mostrar información específica de origen/destino, como la cantidad de objetos y el tamaño del depósito durante un período seleccionado durante el proceso de migración.

En el diagrama inicial que aparece al comienzo de este blog, mostramos un contenedor de registros que tenemos en el lado de ECS, donde se registran todas las operaciones del movimiento de datos. Esto resulta muy útil para depurar cualquier problema durante el proceso de migración, especialmente cuando lleva mucho tiempo debido a limitaciones físicas y de hardware.

A continuación se muestra un ejemplo de cómo se ven los registros:

 2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS

¿Por qué migrar a MinIO?

MinIO es un binario único de Go que se puede ejecutar en muchos tipos diferentes de entornos locales y en la nube. Es muy liviano, pero también está repleto de funciones como replicación y cifrado, y ofrece integraciones con varias aplicaciones.

Nosotros tenemos comparado a 325 GiB/s (349 GB/s) en GET y 165 GiB/s (177 GB/s) en PUT con solo 32 nodos de SSD NVMe listos para usar, y se utiliza para construir lagos de datos/casas de lagos y cargas de trabajo de análisis e IA/ML.

No sólo eso, sino que MinIO también incluye:

• Cifrado: MinIO admite tanto el cifrado en Descansar y en Tránsito Esto garantiza que los datos estén encriptados en todas las facetas de la transacción desde el momento en que se realiza la llamada hasta que se coloca el objeto en el depósito.

  
  

• Protección contra la putrefacción :Existen varias razones por las que los datos pueden corromperse en los discos físicos. Puede deberse a picos de voltaje, errores en el firmware, lecturas y escrituras mal dirigidas, entre otras cosas. MinIO se asegura de que estos problemas se detecten y se solucionen sobre la marcha para garantizar la integridad de los datos.

  
  

• Codificación de borrado :En lugar de garantizar la redundancia de datos mediante RAID, lo que agrega sobrecarga adicional al rendimiento, MinIO utiliza esta función de redundancia y disponibilidad de datos para reconstruir objetos sobre la marcha sin ningún hardware o software adicional.

  
  

• ACL de acceso seguro y PBAC: admite políticas de estilo IAM S3 con IDP integrado, consulte Mejores prácticas de MinIO: seguridad y control de acceso Para más información.

  
  

• Nivelación :Para los datos a los que no se accede con tanta frecuencia, puede transferirlos a otro almacenamiento en frío que ejecute MinIO para poder optimizar los datos más recientes en su mejor hardware sin que los datos no utilizados ocupen espacio.

  
  

• Bloqueo y retención de objetos :MinIO admite el bloqueo de objetos (retención), que aplica operaciones de escritura única y de preparación múltiple para una retención legal indefinida y basada en la duración. Esto permite el cumplimiento de la retención de datos clave y cumple con los requisitos de SEC17a-4(f), FINRA 4511(C) y CFTC 1.31(c)-(d).

  
  

Sin mencionar que un buen software no es nada sin un buen soporte. MinIO ofrece uno de los mejores soportes que existen utilizando nuestro SUBRED portal. Contamos con ingenieros que trabajan en la base de código central de MinIO y responden preguntas directamente en un medio interactivo y colaborativo al estilo Slack. Cuando hablas con un ingeniero, en lugar de escalar interminablemente tu problema al ingeniero de nivel superior, las personas con las que hablas son capaces de resolver cualquier problema que surja. Incluso hemos tenido clientes que volvieron a nosotros después de optar por una plataforma de almacenamiento de la competencia debido a la falta de soporte adecuado. No importa si diseñas tu almacenamiento con todas las funciones posibles, si no brindas soporte a tu cliente de inmediato, no sirve de nada. Para nosotros, brindar soporte a nuestros clientes y lograr que tengan éxito es nuestra prioridad número uno.

Si tiene alguna pregunta sobre cómo migrar sus datos de Dell ECS a MinIO, asegúrese de comunicarse con nosotros en Flojo !