Los clústeres de Dell ECS le permiten migrar sus datos a cualquier tienda compatible con S3. Dell ECS denomina a esta función "Movimiento de datos", también llamada copia a la nube. Es una función introducida en ECS 3.8.0.1 que le permite copiar objetos de Dell ECS a MinIO, que es bastante popular entre los clientes actuales y potenciales que están modernizando su pila de almacenamiento para satisfacer sus requisitos de infraestructura de datos de IA. El movimiento de datos se basa en la herramienta de código abierto ECS Sync, que brinda la capacidad de copiar los datos en paralelo.   En esta descripción general, le mostraremos cómo migrar datos de Dell ECS a MinIO centrándonos específicamente en lo siguiente:  Configuración de los depósitos de origen y destino  Configuración de políticas de movimiento de datos  Monitoreo y registro de la migración a MinIO  Configurar los depósitos de origen y destino  Antes de que podamos comenzar a crear la política para migrar los datos, asegurémonos de que los depósitos de origen y destino estén configurados para el movimiento de datos.  Configurar el depósito de origen de Dell ECS  Internamente, la política de movimiento de datos escanea el depósito de origen para enumerar todos los objetos para el movimiento de datos mediante la búsqueda de metadatos (MD).  Para que el movimiento de datos realmente mueva los datos, debe asegurarse de que MD Search esté habilitado en el depósito de origen de Dell ECS e incluir LastModified como un campo indexado.   A continuación, configuremos MinIO, el depósito de destino.  Configurar el depósito de destino MinIO  Para que los datos se transfieran a MinIO, necesitamos crear previamente el siguiente recurso en MInIO:  Claves de acceso y secretas  Nombre del depósito  Política de IAM  Al crear el depósito, asegúrese de habilitar el control de versiones del depósito, a menos que el depósito de destino en MinIO esté dedicado únicamente a la política de movimiento de datos. Asegúrese de tomar nota de los detalles anteriores después de crearlos, ya que sus valores se necesitarán más adelante.  La política de IAM debe permitir las siguientes API:  s3:Cubo de lista  s3:Obtener objeto  s3:PonerObjeto  s3:EliminarObjeto  Siga esta   para aprender a crear políticas de IAM, claves de acceso y depósitos en la consola MinIO.  guía  Introduzca el nombre de usuario que se estableció al configurar el clúster.  Introduzca la contraseña que se estableció al configurar el clúster.  Haga clic en “Iniciar sesión”     : aquí se mostrarán los depósitos que se han creado y los datos que se han cargado. Explorador de objetos    : Teclas de acceso al estilo AWS IAM Teclas de acceso    : haga clic aquí para crear un acceso y un secreto separados de los que usamos para iniciar el clúster. Crear clave de acceso    : enumera todos los cubos que están disponibles. Cubos    : si no hay depósitos, siga adelante y cree uno nuevo. Crear depósito    : Políticas de IAM Políticas    : cree y conecte varios IDP como OpenID y LDAP. Identidad    : Monitorea todos los aspectos del cluster e incluso envíalo a Prometheus. Monitoreo  Una vez configurados los depósitos de origen y destino, configuremos la Política de movimiento de datos.  Política de movimiento de datos  Una política de movimiento de datos es una definición en Dell ECS que se puede configurar a través de la interfaz de usuario o la API y que define qué objetos de un depósito de origen de Dell ECS se deben copiar al depósito de destino de MinIO. Los trabajos de análisis de la política de movimiento de datos se activan automáticamente, pero se pueden pausar o reanudar en cualquier momento. Esto es muy similar a la política de MinIO.  proceso. De manera predeterminada, la política de movimiento de datos migra los datos a MinIO en orden de fecha y hora de Última modificación.   replicación por lotes  Le mostraremos dos escenarios diferentes de movimiento de datos para darle una idea de cómo podría funcionar esto, pero el cielo es el límite cuando se trata de cómo desea realizar la migración.  Movimiento de datos a MinIO  En esta configuración, agregaremos los elementos necesarios de MinIO para que Dell ECS se comunique. El primer paso, una vez que se habilite MD Search, es   Data Mobility como se muestra a continuación.  ON  Una vez que la Movilidad de datos esté   , podemos continuar y configurar la política. ON    : Establezca esto en el punto final MinIO  Punto final http://<minio_ip>:<minio_port>    : Esta se creó en la consola MinIO y se guardó en un paso anterior. Clave de acceso y secreta    : nombre del depósito de destino de MinIO Nombre del depósito    este es el cubo en Dell ECS que registra cualquier error durante la migración. Cubo de registro:  Hay otras configuraciones, no he revisado todas las configuraciones, solo las más importantes. Tenga en cuenta que si se eliminan datos del depósito de origen de Dell ECS, no se eliminarán del depósito de destino de MinIO una vez que se haya completado la migración.  Movimiento de datos con Dremio a MinIO  Ahora veamos cómo se vería la migración usando una aplicación que usa Dremio.   Hay algunos pasos que tienen lugar durante esta migración  Una aplicación orientada al cliente escribe en un depósito de Dell ECS.  ECS copia a un depósito de almacenamiento temporal dentro de MinIO configurado mediante la política de movimiento de datos.  Los datos se copian al depósito de almacenamiento provisional.  El depósito de almacenamiento temporal MinIO utilizará  para enviar un mensaje a RabbitMQ, al cual se suscribirá Dremio.   Notificación de eventos  Dremio lee el mensaje e ingiere los datos desde el depósito de almacenamiento temporal de MinIO al depósito de Dremio en MinIO.  Una vez que se hayan ingerido los datos, puede limpiar el depósito de almacenamiento temporal de MinIO utilizando un  .   política de ciclo de vida  Estos son solo dos ejemplos, pero puede utilizar esta metodología para migrar desde cualquier aplicación que utilice Dell ECS a MinIO.  Monitoreo y registro de movimiento de datos  Durante el proceso de migración de datos, es importante controlar el proceso de migración general a medida que se trasladan los datos a MinIO. La GUI de Dell ECS proporciona paneles de información general con supervisión avanzada que muestra la cantidad total de objetos copiados, la cantidad total de bytes copiados, el retraso de la marca de agua, la cantidad total de errores, los objetos copiados, las copias de bytes, entre otros.   Puede explorar más a fondo para mostrar información específica de origen/destino, como la cantidad de objetos y el tamaño del depósito durante un período seleccionado durante el proceso de migración.   En el diagrama inicial que aparece al comienzo de este blog, mostramos un contenedor de registros que tenemos en el lado de ECS, donde se registran todas las operaciones del movimiento de datos. Esto resulta muy útil para depurar cualquier problema durante el proceso de migración, especialmente cuando lleva mucho tiempo debido a limitaciones físicas y de hardware.  A continuación se muestra un ejemplo de cómo se ven los registros:   2024-08-31T11:40:51Z DM.COPY demo sourcebucket ASIAD708D0875B4F32F8 test.pdf 2022-08-31T09:30:52Z 1,951,137 5895c19c9e742a88d1bec75d40288e0f http://targetendpoint targetbucket AKIA7A04FF4B251997E0 288 SUCCESS  ¿Por qué migrar a MinIO?  MinIO es un binario único de Go que se puede ejecutar en muchos tipos diferentes de entornos locales y en la nube. Es muy liviano, pero también está repleto de funciones como replicación y cifrado, y ofrece integraciones con varias aplicaciones.  Nosotros tenemos  a 325 GiB/s (349 GB/s) en GET y 165 GiB/s (177 GB/s) en PUT con solo 32 nodos de SSD NVMe listos para usar, y se utiliza para construir lagos de datos/casas de lagos y cargas de trabajo de análisis e IA/ML.   comparado  No sólo eso, sino que MinIO también incluye:  Cifrado: MinIO admite tanto el cifrado en  y en  Esto garantiza que los datos estén encriptados en todas las facetas de la transacción desde el momento en que se realiza la llamada hasta que se coloca el objeto en el depósito.   Descansar   Tránsito  :Existen varias razones por las que los datos pueden corromperse en los discos físicos. Puede deberse a picos de voltaje, errores en el firmware, lecturas y escrituras mal dirigidas, entre otras cosas. MinIO se asegura de que estos problemas se detecten y se solucionen sobre la marcha para garantizar la integridad de los datos.   Protección contra la putrefacción  :En lugar de garantizar la redundancia de datos mediante RAID, lo que agrega sobrecarga adicional al rendimiento, MinIO utiliza esta función de redundancia y disponibilidad de datos para reconstruir objetos sobre la marcha sin ningún hardware o software adicional.   Codificación de borrado  ACL de acceso seguro y PBAC: admite políticas de estilo IAM S3 con IDP integrado, consulte  Para más información.   Mejores prácticas de MinIO: seguridad y control de acceso  :Para los datos a los que no se accede con tanta frecuencia, puede transferirlos a otro almacenamiento en frío que ejecute MinIO para poder optimizar los datos más recientes en su mejor hardware sin que los datos no utilizados ocupen espacio.   Nivelación  :MinIO admite el bloqueo de objetos (retención), que aplica operaciones de escritura única y de preparación múltiple para una retención legal indefinida y basada en la duración. Esto permite el cumplimiento de la retención de datos clave y cumple con los requisitos de SEC17a-4(f), FINRA 4511(C) y CFTC 1.31(c)-(d).   Bloqueo y retención de objetos  Sin mencionar que un buen software no es nada sin un buen soporte. MinIO ofrece uno de los mejores soportes que existen utilizando nuestro  portal. Contamos con ingenieros que trabajan en la base de código central de MinIO y responden preguntas directamente en un medio interactivo y colaborativo al estilo Slack. Cuando hablas con un ingeniero, en lugar de escalar interminablemente tu problema al ingeniero de nivel superior, las personas con las que hablas son capaces de resolver cualquier problema que surja. Incluso hemos tenido clientes que volvieron a nosotros después de optar por una plataforma de almacenamiento de la competencia debido a la falta de soporte adecuado. No importa si diseñas tu almacenamiento con todas las funciones posibles, si no brindas soporte a tu cliente de inmediato, no sirve de nada. Para nosotros, brindar soporte a nuestros clientes y lograr que tengan éxito es nuestra prioridad número uno.   SUBRED  Si tiene alguna pregunta sobre cómo migrar sus datos de Dell ECS a MinIO, asegúrese de comunicarse con nosotros en  !   Flojo

Developers do. Download MinIO and see for yourself. 

MinIO

Este audio es producido en el idioma original de la historia!

Migración de datos de Dell ECS a MinIO

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps