Comment construire un cluster Raspberry Pi à 32 cœurs à partir de zéro

Un Raspberry Pi est une mini-carte d'ordinateur à laquelle vous pouvez connecter un moniteur, une souris et un clavier, et installer un système d'exploitation basé sur Linux avec une interface graphique. Ou vous pouvez l'utiliser en mode "headless" sans interface graphique et exécuter, par exemple, un serveur de base de données. Il existe que vous pouvez donner à un Raspberry Pi - de la construction d'un serveur Minecraft aux miroirs intelligents, les possibilités sont infinies. de nombreuses utilisations Depuis que j'ai commencé à découvrir MariaDB et que j'ai découvert les clusters de bases de données, et , l'idée de créer un cluster Raspberry Pi m'est venue à l'esprit. Un cluster comme celui-ci est un excellent moyen d'expérimenter des systèmes distribués. Distributed SQL Xpand Dans cet article, je vais vous montrer comment construire un cluster Raspberry Pi avec : 8 nœuds 32 cœurs 64 Go de RAM 2 To de stockage De quoi as-tu besoin Si vous souhaitez créer votre propre cluster, vous n'avez pas besoin d'acheter 8 appareils Raspberry Pi. Un seul appareil suffit pour apprendre des choses. Les instructions de cet article sont utiles même si vous prévoyez de configurer un seul Mon conseil, cependant, est d'avoir au moins trois appareils pour construire votre cluster si vous voulez vraiment booster vos compétences en administration , , , , … you name it ! Raspberry Pi. Linux Ansible Docker Kubernetes clusters de bases de données Dans cet esprit, veuillez remplacer 8 par votre numéro. Faites de même avec les spécifications des appareils Raspberry Pi si vous avez différents modèles avec moins ou plus de RAM ou de stockage. Voici ce que j'ai utilisé : 8 x (8 Go de RAM) Raspberry Pi 4 modèle B 1 x (10 ports) chargeur de bureau Anker 60W 8 x (5A, 40W, 23cm) câble USB type C court 8 x (256 Go) carte MicroSD 2 x (4 couches avec ventilateur de refroidissement) boîtier de cluster Raspberry Pi Adaptez les quantités à votre installation. Vous pouvez soit obtenir une ou plusieurs si vous avez très peu d'appareils (disons 1 ou 2) ou un chargeur multi-USB. Si vous optez pour un chargeur multi-USB, assurez-vous que chaque port peut fournir au moins 2,4 Am (5 V). Choisissez également des cartes microSD qui correspondent à vos objectifs et à votre budget. Je recommande d'utiliser des cartes SD d'au moins 32 Go. alimentations Raspberry Pi Du côté des câbles et du boîtier, choisissez tout ce qui convient à votre configuration. Vous n'avez pas nécessairement besoin de ventilateurs de refroidissement, mais je les recommande si vous prévoyez de laisser vos appareils allumés pendant de longues périodes. Je vous recommande également de vous procurer tous les ingrédients avant de commencer à "cuisiner", surtout si vous souhaitez utiliser plusieurs appareils Raspberry Pi. Installation du système d'exploitation Raspberry Pi (sans tête) Le système d'exploitation (OS) que nous utiliserons est , un système d'exploitation basé sur Debian optimisé pour les cartes Raspberry Pi. Raspberry Pi OS est installé sur les cartes microSD à l'aide de votre ordinateur. Vous connectez ensuite ces cartes microSD à vos appareils Raspberry Pi et démarrez-les. Raspberry Pi OS Obtenez toutes les cartes microSD et les boîtiers Raspberry Pi sur votre bureau. Vous aurez besoin d'un adaptateur de carte SD (ils sont généralement livrés avec des cartes microSD) ou d'un lecteur USB de carte SD si votre ordinateur de travail ne dispose pas d'un emplacement pour les cartes SD. Apportez également un Sharpie. Téléchargez l'application et installez-la sur votre ordinateur. Prenez une carte microSD et connectez-la à votre ordinateur. Ouvrez l'application Raspberry Pi Imager et cliquez sur . Dans la liste, cliquez sur et sélectionnez si vos appareils Raspberry Pi sont 64 bits ou sinon : Raspberry Pi Imager CHOOSE OS Raspberry Pi OS (autre) Raspberry Pi OS Lite (64 bits) Raspberry Pi OS Lite (32 bits) Cliquez sur et sélectionnez la carte microSD. Vérifiez que vous avez sélectionné le bon lecteur et cliquez sur l'icône "engrenage" (options avancées). Pour le nom d'hôte, utilisez , ou quelque chose de similaire. Vous nommerez les appareils , , , etc. CHOISIR LE STOCKAGE rpi01 rpi01 rp02 rp03 Cochez les options et de passe. Définissez un nom d'utilisateur (je laisserai le par défaut) et définissez un mot de passe sécurisé. Activer SSH Utiliser l'authentification par mot pi Cochez l'option et entrez le nom et le mot de passe de votre connexion WiFi. Configurez également vos paramètres régionaux. Configurer le LAN sans fil Étant donné que nous devons le faire une fois avec chaque carte microSD, assurez-vous de définir le champ Options de sur : . De cette façon, les paramètres seront enregistrés et le processus sera plus facile pour les prochaines cartes : personnalisation de l'image pour toujours utiliser Maintenant, vous pouvez cliquer sur puis sur pour démarrer le processus. Une fois terminé, éjectez la carte et connectez-la à l'un des appareils Raspberry Pi, remettez-la dans sa boîte, et marquez la boîte avec le numéro . Répétez ce processus pour tous les appareils. SAVE WRITE 01 Assemblage du cluster Selon le type de cas de cluster que vous avez, le processus d'assemblage peut varier. Suivez les instructions fournies avec votre étui ou recherchez des photos en ligne pour avoir une idée claire de la façon dont les appareils doivent être placés dans les couches. Je recommande d'anticiper pour décider quelles pièces assembler en premier. Par exemple, avec le cas que j'ai choisi, j'ai dû installer les ventilateurs de refroidissement avant de monter les appareils Raspberry Pi sur les couches. Une fois que vous avez monté un Raspberry Pi, utilisez un Sharpie pour écrire son numéro sur la couche. Cela vous aidera à l'avenir si vous devez retirer une carte microSD pour la reconfiguration ou toute autre tâche administrative impliquant de toucher le matériel. Une fois tous les appareils montés, connectez les câbles USB aux appareils Raspberry Pi et au chargeur multi-USB. Vous pouvez éventuellement utiliser et un au lieu du chargeur USB si vous préférez, mais je vous laisse explorer cela ; ça vaut vraiment le coup de vérifier. Power over Ethernet commutateur réseau Vous pouvez avoir le chargeur (ou le commutateur réseau si vous y allez) à côté de votre rack Raspberry Pi ou attaché à celui-ci. J'ai utilisé des élastiques pour maintenir le chargeur attaché sur le côté du boîtier. Cela a bien fonctionné. Avec les câbles USB branchés, vous êtes prêt à démarrer tous ces mini-ordinateurs ! Branchez le chargeur et allumez-le. Selon les modèles de Raspberry Pi que vous utilisez, le démarrage peut prendre un certain temps, alors soyez patient. Pendant ce temps, profitez du clignotement des LED et du démarrage des ventilateurs. Connexion via SSH Si tout s'est bien passé, vous devriez pouvoir accéder aux appareils Raspberry Pi via SSH. Essayez-le en exécutant ce qui suit depuis votre ordinateur : ssh pi@rpi01.local Entrez votre mot de passe et répondez pour ajouter l'appareil à la liste des hôtes connus. Félicitations! Votre cluster est maintenant actif. oui Vous pouvez exécuter des commandes pour vérifier les informations sur le matériel. Par exemple: : Informations sur l'architecture du CPU lscpu : utilisation de l'espace disque du système de fichiers df -H : informations sur la partition sudo fdisk -l : Quantité de RAM utilisée, libre et totale free -m : informations sur le noyau Linux cat /proc/version Configuration manuelle avec raspi-config Si vous avez un Raspberry Pi, vous pouvez vous y connecter via SSH comme décrit ci-dessus et utiliser le programme utilitaire pour configurer divers paramètres. Vous pouvez modifier la connexion WiFi ( ), changer le nom d'hôte ( ) et le mot de passe utilisateur ( ) et développer le système de fichiers ( ), entre autres choses. raspi-config S1 S4 S3 A1 Configuration automatisée avec Ansible Si vous avez plusieurs Raspberry Pi dans votre cluster, vous souhaiterez peut-être automatiser le processus de configuration à l'aide d'un outil comme . Avec Ansible, vous pouvez exécuter une commande sur plusieurs machines sans avoir à effectuer de tâches répétitives. Par exemple, disons que nous voulons étendre le système de fichiers sur chaque Raspberry Pi. Cela peut être fait à partir de la ligne de commande comme suit : Ansible sudo raspi-config --expand-rootfs Sans automatisation, vous devrez vous connecter en SSH à , exécuter la commande ci-dessus et mettre fin à la session SSH. Vous devrez répéter toutes ces étapes pour , , , etc. Au lieu de cela, vous pouvez simplement dire à Ansible d'exécuter la commande pour vous sur toutes les machines. Voyons comment procéder. rpi01.local rpi02.local pr03.local rp04.local Vous devez installer Ansible sur un connecté à votre réseau local. Il peut s'agir de l'un des appareils Raspberry Pi, de votre ordinateur portable de travail ou de toute autre machine tant qu'il exécute un système d'exploitation basé sur Unix comme Linux ou macOS. nœud de contrôle Il se trouve que j'ai un vieil ordinateur portable que j'ai connectée à mon réseau, je l'ai donc utilisé comme nœud de contrôle (je montrerai comment installer une base de données avec réplication dans les appareils Raspberry Pi dans un futur article). réutilisé comme base de données dédiée Je ne passerai pas par les instructions d'installation d'Ansible car le processus est différent sur différents systèmes d'exploitation. Consultez la et installez-la sur votre ordinateur portable ou sur tout appareil que vous souhaitez affecter en tant que nœud de contrôle. documentation officielle Avant de commencer, je vous recommande de générer un exemple de fichier de configuration que vous pourrez modifier ultérieurement à votre guise : sudo su ansible-config init --disabled -t all > /etc/ansible/ansible.cfg exit Dans ce fichier, désactivez la vérification de la clé de l'hôte pour simplifier le processus. Ne faites pas cela dans les environnements de production ! Modifiez la ligne suivante : ;host_key_checking=True pour ça: host_key_checking=False Ensuite, vous devez définir un inventaire. Il s'agit d'une liste de machines que vous souhaitez contrôler avec Ansible. L'inventaire est défini dans le fichier . Par exemple, vous pouvez ajouter les machines suivantes à l'inventaire en utilisant leurs adresses IP ou leurs noms d'hôte : /etc/ansible/hosts [mymachines] foo.example.com bar.example.com 192.0.2.50 192.0.2.51 Si les machines ont une sorte de modèle dans leurs adresses IP ou leurs noms d'hôte, vous pouvez également utiliser des plages. C'est ce que vous pouvez faire avec vos appareils Raspberry Pi. Modifiez le fichier en ajoutant ce qui suit à la fin : /etc/ansible/hosts [rpis] rpi[01-08].local Modifiez le modèle pour qu'il corresponde à vos noms d'hôte et numéros. Cela équivaut à : [rpis] rpi01.local rpi02.local rpi03.local rpi04.local rpi05.local rpi06.local rpi07.local rpi08.local Dans cet inventaire, est un nom arbitraire que vous pouvez utiliser pour faire référence à tous les appareils Raspberry Pi lorsque vous exécutez des commandes dessus à l'aide d'Ansible. rpis Vous devez configurer le nom d'utilisateur SSH qu'Ansible utilisera lors de la connexion aux machines. Ajoutez ce qui suit au fichier : /etc/ansible/hosts [rpis:vars] ansible_user=pi Il est temps de contrôler les machines. Un bon début est de leur envoyer un : ping ansible rpis -m ping --ask-pass Tapez le mot de passe SSH. Vous devriez voir dans la sortie comment le "ping" est répondu par un "pong" pour chaque machine (je n'en montre qu'un ici): rpi01.local | SUCCESS => { "ansible_facts": { "discovered_interpreter_python": "/usr/bin/python3" }, "changed": false, "ping": "pong" } Revenons à l'expansion du système de fichiers (bien que, je pense que de nos jours ce n'est plus nécessaire, faites-moi savoir dans les commentaires si vous pouvez le confirmer). Pour effectuer cette action sur toutes les machines, exécutez : ansible rpis -m shell -a "raspi-config --expand-rootfs" --become --ask-pass Et aussi simple que cela, tous vos appareils Raspberry Pi ont un système de fichiers étendu. C'est le bon moment pour mettre à jour le système sur toutes les machines : ansible rpis -m shell -a "apt update -y" --become --ask-pass ansible rpis -m shell -a "apt upgrade -y" --become --ask-pass Vous pouvez redémarrer tous les appareils comme suit : ansible rpis -m shell -a "reboot" --become --ask-pass Et une fois que vous avez terminé et que vous souhaitez éteindre toutes les machines en toute sécurité, exécutez simplement : ansible rpis -m shell -a "poweroff" --become --ask-pass Et après? Ce n'est que le commencement. Vous avez maintenant un cluster de petits ordinateurs prêts à être contrôlés par Ansible. Vous pouvez essayer de configurer n'importe quel type de logiciel serveur, y compris des serveurs Web ou des bases de données ( ). Il y a aussi beaucoup plus sur Ansible. voir cet exemple J'ai simplement effleuré la surface ici en utilisant , mais vous pouvez par exemple créer des qui contiennent l'état dans lequel vous voulez que votre cluster soit. Explorez la et amusez-vous ! des commandes ad hoc playbooks documentation Également publié ici

HackerNoon Mobile

Comment construire un cluster Raspberry Pi à 32 cœurs à partir de zéro

Trop long; Pour lire

Company Mentioned

@alejandroduarte

HISTOIRES CONNEXES