Nous sommes toujours étonnés du nombre de clients qui nous contactent pour migrer de HDFS vers un stockage objet moderne tel que MinIO. On pensait désormais que tout le monde avait fait la transition, mais chaque semaine, nous discutons avec une grande organisation très technique qui a décidé de faire la transition.  Très souvent, dans ces discussions, ils souhaitent conserver des éléments de leur infrastructure après leur migration. Il existe des frameworks et des logiciels issus de l'écosystème HDFS qui bénéficient d'une grande adhésion des développeurs et qui ont toujours leur place dans la pile de données moderne. En effet, nous avons souvent dit que beaucoup de bien était ressorti de l’écosystème HDFS. Le problème fondamental réside dans le stockage et le calcul étroitement couplés, pas nécessairement avec les outils et services issus de l’ère du Big Data.  Cet article de blog se concentrera sur la façon dont vous pouvez effectuer cette migration sans supprimer ni remplacer les outils et services qui ont de la valeur. La réalité est que si vous ne modernisez pas votre infrastructure, vous ne pouvez pas réaliser les progrès en matière d'IA/ML dont votre organisation a besoin, mais vous n'êtes pas obligé de tout jeter pour y parvenir.  Désagrégation du stockage et du calcul avec Spark et Hive  Nous avons déjà traversé certains  , ce qui dans certains cas constitue la voie à suivre. Cependant, examinons une autre façon de moderniser une implémentation HDFS.   stratégies pour une migration complète d'extraction et de remplacement  l'architecture implique la gestion de Kubernetes  et les conteneurs Apache Hive pour le traitement des données ; Spark s'intègre nativement à MinIO tandis que Hive utilise YARN. MinIO gère le stockage d'objets dans des conteneurs avec état et, dans cette architecture, s'appuie sur des configurations multi-locataires pour l'isolation des données.    Ce   Apache Spark  Aperçu architectural :    Kubernetes gère efficacement les conteneurs Apache Spark et Apache Hive sans état sur les nœuds de calcul, garantissant une utilisation optimale des ressources et une mise à l'échelle dynamique. Nœuds de calcul :    MinIO  et BitRot Protection signifie que vous pouvez perdre jusqu'à la moitié du nombre de disques et quand même récupérer, le tout sans avoir besoin de conserver les trois copies de chaque bloc de données requises par Hadoop. Couche de stockage :   Codage d’effacement    tous les accès au stockage d'objets MinIO sont unifiés via l'API S3, fournissant une interface transparente pour interagir avec les données stockées. Couche d'accès :    la sécurité des données est primordiale. MinIO crypte toutes les données à l'aide de clés par objet, garantissant ainsi une protection robuste contre les accès non autorisés. Couche de sécurité :    MinIO Enterprise s'intègre entièrement aux fournisseurs d'identité tels que WSO2, Keycloak, Okta, Ping Identity pour permettre aux applications ou aux utilisateurs de s'authentifier. Gestion des identités :  Un remplacement entièrement modernisé pour Hadoop qui permet à votre organisation de conserver Hive, YARN et tout autre produit de données de l'écosystème Hadoop pouvant s'intégrer au stockage objet qui constitue presque tout dans la pile de données moderne.  Interopérabilité dans la couche d'accès  S3a est un point de terminaison essentiel pour les applications cherchant à s'éloigner de Hadoop, offrant une compatibilité avec un large éventail d'applications au sein de l'écosystème Hadoop. Depuis 2006, les backends de stockage objet compatibles S3 ont été intégrés de manière transparente à de nombreuses plates-formes de données au sein de l'écosystème Hadoop en tant que fonctionnalité par défaut. Cette intégration remonte à l'incorporation d'une implémentation client S3 dans les technologies émergentes.  Sur toutes les plateformes liées à Hadoop, l'adoption du module   et   est une pratique courante, garantissant une prise en charge robuste de l'API S3. Cette approche standardisée facilite la transition en douceur des applications depuis les backends de stockage HDFS et S3. En spécifiant simplement le protocole approprié, les développeurs peuvent facilement faire passer leurs applications de Hadoop au stockage d'objets moderne. Le schéma de protocole pour S3 est indiqué par s3a://, tandis que pour HDFS, il est noté hdfs://. hadoop-aws aws-java-sdk-bundle  Avantages de la migration  Il est possible de parler longuement des avantages de la migration de Hadoop vers un stockage objet moderne. Si vous lisez ceci, vous savez déjà que sans migration hors des plates-formes héritées comme Hadoop, les avancées en matière d'IA et d'autres produits de données modernes seront probablement hors de question. La raison se résume aux performances et à l’échelle.  Il ne fait absolument aucun doute que les charges de travail modernes nécessitent des performances exceptionnelles pour rivaliser avec le volume de données traitées et la complexité des tâches désormais requises. Lorsque la performance n'est pas seulement une question d'analyse comparative vaniteuse, mais une exigence stricte, le champ des prétendants aux remplacements Hadoop  .   diminue considérablement  L’autre élément qui stimule les migrations est l’échelle cloud native. Lorsque le concept de cloud est moins un lieu physique qu'un lieu  il devient possible de faire des choses comme déployer une pile de données entière en quelques minutes à partir d'un seul fichier .yaml. Une mise en œuvre si rapide qu’elle ferait tomber n’importe quel ingénieur Hadoop de sa chaise.   modèle de fonctionnement  Une partie intégrante de ce concept réside dans les avantages économiques découlant de la libération du verrouillage du fournisseur, qui permet à une organisation de choisir les meilleures options pour des charges de travail spécifiques. Sans oublier la dispense de conserver trois copies distinctes des données pour les protéger, une chose du passé avec  et codage d'effacement. Investir dans une technologie évolutive signifie également qu’il est généralement plus facile de trouver et de recruter des professionnels talentueux pour travailler sur votre infrastructure. Les gens veulent travailler sur des choses qui font avancer une entreprise, et il n’y a presque rien qui fasse mieux que  . Ensemble, ces facteurs contribuent à créer une pile de données non seulement plus rapide et moins chère, mais également mieux adaptée aux besoins basés sur les données d'aujourd'hui et de demain.   réplication active-active   données  Commencer  Avant de plonger dans les spécificités de notre architecture, vous devrez rendre quelques composants opérationnels. Pour migrer hors de Hadoop, vous devrez évidemment l'avoir installé au préalable. Si vous souhaitez simuler cette expérience, vous pouvez démarrer ce didacticiel en configurant la distribution Hortonworks de Hadoop   . ici  Sinon, vous pouvez commencer par les étapes d'installation suivantes :    Ensuite,  , qui simplifiera la gestion de vos services en configurant automatiquement YARN pour vous. Ambari fournit un tableau de bord convivial pour gérer les services dans l'écosystème Hadoop et assurer le bon fonctionnement de tout. Configurer Ambari :   installer Ambari    Spark est essentiel pour traiter des données à grande échelle. Suivre la  procédures pour que Spark soit opérationnel. Installez Apache Spark :   installation standard    : En fonction de votre environnement, vous pouvez choisir entre deux approches d'installation :  ou  . Installer MinIO   Kubernetes   Tableau de barre  Après avoir installé avec succès ces éléments, vous pouvez configurer Spark et Hive pour utiliser MinIO au lieu de HDFS. Accédez à l'interface utilisateur Ambari   et connectez-vous à l'aide des informations d'identification par défaut :   ,  http://<ambari-server>:8080/ username: admin, password: admin  Dans Ambari, accédez aux services, puis à HDFS, puis au panneau Configs comme dans la capture d'écran ci-dessous. Dans cette section, vous configurez Ambari pour utiliser S3a avec MinIO au lieu de HDFS.   Faites défiler vers le bas et accédez à   . C'est ici que vous configurerez S3a.  Custom core-site   sudo pip install yq alias kv-pairify='yq ".configuration[]" | jq ".[]" | jq -r ".name + \"=\" + .value"'  À partir de là, votre configuration dépendra de votre infrastructure. Mais ce qui suit pourrait représenter un moyen pour   de configurer S3a avec MinIO fonctionnant sur 12 nœuds et 1,2 TiB de mémoire. core-site.xml   cat ${HADOOP_CONF_DIR}/core-site.xml | kv-pairify | grep "mapred" mapred.maxthreads.generate.mapoutput=2 # Num threads to write map outputs mapred.maxthreads.partition.closer=0 # Asynchronous map flushers mapreduce.fileoutputcommitter.algorithm.version=2 # Use the latest committer version mapreduce.job.reduce.slowstart.completedmaps=0.99 # 99% map, then reduce mapreduce.reduce.shuffle.input.buffer.percent=0.9 # Min % buffer in RAM mapreduce.reduce.shuffle.merge.percent=0.9 # Minimum % merges in RAM mapreduce.reduce.speculative=false # Disable speculation for reducing mapreduce.task.io.sort.factor=999 # Threshold before writing to drive mapreduce.task.sort.spill.percent=0.9 # Minimum % before spilling to drive  De nombreuses optimisations peuvent être explorées en consultant la documentation sur ce modèle de migration.  , et également dans la documentation Hadoop sur S3  et  .   ici   ici   ici  Redémarrez tout lorsque vous êtes satisfait de la configuration.   Vous devrez également accéder au panneau de configuration Spark2.   Faites défiler jusqu'à   et ajoutez la propriété suivante à configurer avec MinIO :  Custom spark-defaults   spark.hadoop.fs.s3a.access.key minio spark.hadoop.fs.s3a.secret.key minio123 spark.hadoop.fs.s3a.path.style.access true spark.hadoop.fs.s3a.block.size 512M spark.hadoop.fs.s3a.buffer.dir ${hadoop.tmp.dir}/s3a spark.hadoop.fs.s3a.committer.magic.enabled false spark.hadoop.fs.s3a.committer.name directory spark.hadoop.fs.s3a.committer.staging.abort.pending.uploads true spark.hadoop.fs.s3a.committer.staging.conflict-mode append spark.hadoop.fs.s3a.committer.staging.tmp.path /tmp/staging spark.hadoop.fs.s3a.committer.staging.unique-filenames true spark.hadoop.fs.s3a.committer.threads 2048 # number of threads writing to MinIO spark.hadoop.fs.s3a.connection.establish.timeout 5000 spark.hadoop.fs.s3a.connection.maximum 8192 # maximum number of concurrent conns spark.hadoop.fs.s3a.connection.ssl.enabled false spark.hadoop.fs.s3a.connection.timeout 200000 spark.hadoop.fs.s3a.endpoint http://minio:9000 spark.hadoop.fs.s3a.fast.upload.active.blocks 2048 # number of parallel uploads spark.hadoop.fs.s3a.fast.upload.buffer disk # use disk as the buffer for uploads spark.hadoop.fs.s3a.fast.upload true # turn on fast upload mode spark.hadoop.fs.s3a.impl org.apache.hadoop.spark.hadoop.fs.s3a.S3AFileSystem spark.hadoop.fs.s3a.max.total.tasks 2048 # maximum number of parallel tasks spark.hadoop.fs.s3a.multipart.size 512M # size of each multipart chunk spark.hadoop.fs.s3a.multipart.threshold 512M # size before using multipart uploads spark.hadoop.fs.s3a.socket.recv.buffer 65536 # read socket buffer hint spark.hadoop.fs.s3a.socket.send.buffer 65536 # write socket buffer hint spark.hadoop.fs.s3a.threads.max 2048 # maximum number of threads for S3A  Redémarrez tout une fois les modifications de configuration appliquées.   Accédez au panneau Hive pour terminer la configuration.   Faites défiler jusqu'à   et ajoutez la propriété suivante :  Custom hive-site   hive.blobstore.use.blobstore.as.scratchdir=true hive.exec.input.listing.max.threads=50 hive.load.dynamic.partitions.thread=25 hive.metastore.fshandler.threads=50 hive.mv.files.threads=40 mapreduce.input.fileinputformat.list-status.num-threads=50  Vous pouvez trouver des informations de configuration plus précises  . Redémarrez tout une fois les modifications de configuration effectuées.    ici  Ça y est vous pouvez maintenant tester votre intégration.  Explorez par vous-même  Cet article de blog présente une approche moderne de la migration depuis Hadoop sans qu'il soit nécessaire de remanier complètement vos systèmes existants. En tirant parti de Kubernetes pour gérer Apache Spark et Apache Hive, et en intégrant MinIO pour le stockage d'objets avec état, les organisations peuvent obtenir une architecture équilibrée qui prend en charge une mise à l'échelle dynamique et une utilisation efficace des ressources. Cette configuration non seulement conserve mais améliore les capacités de vos environnements de traitement de données, les rendant plus robustes et évolutifs.  Avec MinIO, vous bénéficiez d'une solution de stockage qui offre des performances élevées sur le matériel standard, réduit les coûts grâce au codage d'effacement (éliminant la redondance de la réplication des données de Hadoop) et contourne les limitations telles que le verrouillage du fournisseur et le besoin de magasins de métadonnées basés sur Cassandra. Ces avantages sont cruciaux pour les organisations qui cherchent à tirer parti des charges de travail avancées d’IA/ML sans abandonner les éléments essentiels de leurs systèmes de données existants.  N'hésitez pas à nous contacter pour des discussions plus détaillées ou des conseils spécifiques sur la manière dont vous pouvez adapter cette stratégie de migration pour répondre aux besoins uniques de votre organisation. Que ce soit par email à hello@min.io ou sur notre communauté  canal, nous sommes là pour vous aider à tirer le meilleur parti de vos investissements en infrastructure de données.   Mou

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Developers do. Download MinIO and see for yourself. 

MinIO

Cet audio est produit dans la langue originale de l'histoire !

La migration depuis Hadoop sans extraction ni remplacement est possible : voici comment procéder

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Libérer la puissance de l’IA. Une revue systématique des techniques de pointe : résumé et introduction

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Libérer la puissance de l’IA. Une revue systématique des techniques de pointe : résumé et introduction

Vous voulez gagner un concours d’écriture HackerNoon ? Voici ce que recommandent les gagnants du concours #crypto-api

Appuyez pour gagner : Telegram pourrait intégrer les 10 prochains milliards d'utilisateurs de crypto avant Solana

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps