Intégration d'Apache Druid et d'Apache Superset avec MinIO

Les entreprises d'aujourd'hui ont besoin de données précises et actualisées pour pouvoir prendre des décisions. Des applications basées sur les données et des tableaux de bord construits sur des données de séries chronologiques se trouvent dans toutes les entreprises. Une grande partie des données commerciales sont des séries chronologiques : depuis les mesures des systèmes et des applications jusqu'aux conditions météorologiques, en passant par les cours des actions, la télémétrie réseau et les capteurs IoT, toutes reposent sur une analyse et une visualisation complexes de séries chronologiques pour fournir des informations commerciales. Il existe de nombreuses bases de données conçues pour ce type d'analyse, telles que Clickhouse (pour en savoir plus sur Clickhouse et MinIO, voir ), Snowflake, TimeStream et RedShift d'Amazon et Apache Druid. Un flux de travail typique consiste à collecter des données, probablement diffusées en temps réel ou extraites d'un lac de données, à les transformer et à les ingérer en base de données, puis à créer des applications et des tableaux de bord à l'aide de requêtes SQL exécutées sur la base de données. Intégration de ClickHouse avec MinIO Cet article de blog se concentre sur , en particulier sur la façon d'exécuter Druid avec MinIO comme stockage profond. Nous y reviendrons plus en détail plus tard, mais en bref, Druid enregistre les données dans le stockage profond S3 et les échange dans et hors de la mémoire locale selon les besoins lors de l'exécution de requêtes. Nous allons installer MinIO, installer Druid, modifier certains fichiers de configuration pour indiquer à Druid d'utiliser MinIO, puis importer des données de démonstration et les visualiser à l'aide . Apache Druid d'Apache Superset Préparez-vous à être étonné de la rapidité avec laquelle vous pouvez créer une pile d'analyse et de visualisation hautes performances avec des produits open source. Aperçu du Druide Druid est l'un des magasins de données les plus rapides du marché : il a été conçu pour combiner les avantages des entrepôts de données, des bases de données de séries chronologiques et des systèmes de recherche. Druid obtient des réponses aux requêtes extrêmement rapides en combinant les caractéristiques clés de ces trois systèmes dans sa couche d'ingestion, son format de stockage, sa couche de requête et son architecture de base. Druid est généralement déployé avec d'autres technologies open source telles qu'Apache Kafka, Apache Flink et se situe entre une couche de stockage ou de traitement et l'utilisateur final, servant de couche de requête pour les charges de travail analytiques. Pour en savoir plus sur le fonctionnement de Druid, veuillez consulter . Apache Druid 101 Druid est cloud natif et s'appuie sur une architecture basée sur des microservices. Chaque service principal de Druid (ingestion, requête, coordination) peut être déployé et mis à l'échelle indépendamment dans des conteneurs ou sur du matériel standard. De plus, les services Druid peuvent échouer et redémarrer indépendamment ou être mis à jour sans affecter les autres services. Druid a plusieurs types de processus : Les processus gèrent la disponibilité des données sur le cluster. du coordinateur Les processus contrôlent l’attribution des charges de travail d’ingestion de données. Overlord Les processus gèrent les requêtes des clients externes. du courtier Les processus sont facultatifs ; ils acheminent les demandes vers les courtiers, les coordinateurs et les suzerains. de routeur Les processus stockent des données interrogeables. historiques traite les données ingérées. MiddleManager Ces processus sont généralement déployés en groupes sur trois types de serveurs ou de nœuds différents : : Exécute les processus Coordinateur et Overlord, gère la disponibilité et l'ingestion des données. Master : exécute les processus Broker et facultatifs du routeur, gère les requêtes des clients externes. Requête : exécute les processus historiques et MiddleManager, exécute les charges de travail d'ingestion et stocke toutes les données interrogeables. Données Druid a trois dépendances externes majeures : le stockage profond, le stockage des métadonnées et ZooKeeper. En bref, les métadonnées sont utilisées pour suivre l'utilisation des segments et les informations sur les tâches, et sont généralement gérées par PostgreSQL ou MySQL. Zookeeper est utilisé pour la découverte et la coordination des services internes. Comme il s'agit du blog MinIO, nous allons nous concentrer sur le stockage profond. Le stockage profond est un système de fichiers partagé accessible par chaque serveur Druid où les données sont stockées après leur ingestion. Dans un déploiement sur un seul serveur, il s'agit simplement d'un lecteur local. Dans les déploiements en cluster, le stockage approfondi prendrait la forme d'un magasin d'objets distribués comme S3 ou MinIO, HDFS ou d'un système de fichiers monté en réseau. est la façon dont Druid transfère les données entre les processus et sauvegarde les données. Druid stocke les données dans des fichiers appelés segments. Il existe un mappage interne qui extrait les segments du stockage profond pour les mettre en cache sur les disques locaux et en mémoire. Afin de minimiser la latence, les requêtes sont exécutées sur les segments localement, et non sur les segments stockés dans le stockage profond. Le stockage profond permet la conception élastique et tolérante aux pannes de Druid. Druid offre une durabilité en s'amorçant à partir d'un stockage profond dans le cas où un nœud de données tombe en panne et redémarre. Une mise en garde est que vous aurez besoin de suffisamment d'espace libre sur les nœuds de données et dans un stockage profond pour les données avec lesquelles vous souhaitez travailler dans Druid. Le stockage profond Druid utilise l'API S3 pour le stockage d'objets pour un stockage profond. L'utilisation du stockage d'objets compatible avec l'API S3, tel que MinIO, vous donne la liberté d'exécuter Druid n'importe où, ce que vous souhaiterez peut-être faire pour améliorer les performances et la sécurité. MinIO est un superbe stockage profond pour Druid car il offre une excellente compatibilité S3, des performances permettant de répondre aux exigences d'OLAP en temps réel et, peut-être surtout, la capacité de fournir des performances à grande échelle. MinIO assure également et nécessaires. la protection des données la gestion du cycle de vie Vous pouvez exécuter Druid, MinIO et Superset directement sur Linux ou dans des conteneurs sur Docker ou Kubernetes. Il existe déjà d'excellentes ressources qui vous montrent comment faire fonctionner Druid. Si, pour une raison quelconque, cet article de blog ne vous satisfait pas, consultez pour Linux, pour Docker et pour Kubernetes. Apache Druid Quickstart Docker · Apache Druid Clustered Apache. Druid® sur votre ordinateur portable Installation de MinIO Si vous n'exécutez pas déjà MinIO, voici . Le processus est décrit en détail dans . les instructions d'installation le Guide de démarrage rapide MinIO Sous Linux, par exemple, téléchargez MinIO et exécutez-le (n'hésitez pas à changer le mot de passe root - et mémorisez-le) : wget https://dl.min.io/server/minio/release/linux-amd64/minio chmod +x minio MINIO_ROOT_USER=admin MINIO_ROOT_PASSWORD=password ./minio server /mnt/data --console-address ":9001" Lancez un navigateur et connectez-vous au serveur MinIO à en utilisant l'utilisateur root et le mot de passe que vous avez configurés précédemment. http:// :9000 La première fois que vous vous connectez, vous serez redirigé vers la page Buckets. Créez le bucket . druidbucket Dans le monde réel, vous souhaiteriez probablement sécuriser l'accès à vos données Druid, mais nous n'avons pas besoin de le faire dans notre laboratoire. Vous créeriez un compte de service (sous le menu Identité), modifieriez la politique utilisateur pour autoriser uniquement l'accès à et, dans la configuration Druid ci-dessous, utiliseriez la clé d'accès et la clé secrète du compte de service. druidbucket Installation de Druide Le moyen le plus simple de tester Druid est via Docker. Suivez les instructions et utilisez ce . Cela crée un conteneur pour chaque service Druid, ainsi que Zookeeper et PostgresSQL. Cette méthode utilise un pour spécifier la configuration Druid. Téléchargez là où vous avez enregistré les conteneurs de Druid. Pour les instructions ci-dessous (Configurer Druid pour MinIO), vous pouvez modifier le fichier d'environnement pour transmettre les variables aux fichiers standard ou modifier les fichiers de configuration directement dans le conteneur. Docker · Apache Druid docker-compose.yaml fichier d'environnement ce fichier de configuration Druid Démarrez Druid avec . Une fois le cluster affiché, ouvrez un navigateur et accédez à pour utiliser la console Druid. docker-compose up http://localhost:8888 Configurer Druid pour MinIO Il est maintenant temps de configurer Druid pour qu'il utilise MinIO pour le stockage en profondeur. Dans cette étape, vous devrez modifier les fichiers de configuration Druid (ou les fichiers d'environnement Docker comme décrit ci-dessus) pour référencer MinIO, puis redémarrer Druid. Le processus est entièrement décrit dans et nous incluons ici une version abrégée pour référence rapide. Comment configurer Druid pour utiliser Minio comme stockage profond - DZone Big Data Selon la façon dont vous avez installé Druid, dans le fichier , ajoutez à . Ajoutez des extensions par nom, entre guillemets et séparées par une virgule, par exemple : conf/druid/_common/common.runtime.properties "druid-s3-extensions" druid.extensions.loadList druid.extensions.loadList=["druid-parser-route", "druid-s3-extensions"] Selon l'article référencé ci-dessus, l'extension S3 pour le stockage en profondeur repose sur des jets3t sous le capot. Vous devez créer un fichier sur le chemin de classe. Pour cet exemple, nous allons créer un nouveau dans le répertoire avec ce qui suit : jets3t.properties jets3t.properties conf/druid/_common s3service.s3-endpoint=localhost s3service.s3-endpoint-http-port=9000 s3service.disable-dns-buckets=true s3service.https-only=false Maintenant, commentez les configurations pour le stockage local dans la section « Deep Storage » et ajoutez les valeurs appropriées pour Minio. Dans mon cas, j'exécute MinIO sur la même machine que Druid, donc l'URL du point de terminaison S3 inclut localhost et un port. Si vous exécutez sur une autre machine ou dans un conteneur, vous devrez modifier cette ligne pour adresser MinIO dans votre environnement. Après cela, la section « Deep Storage » devrait ressembler à : # # Deep storage # # For local disk (only viable in a cluster if this is a network mount): # druid.storage.type=local # druid.storage.storageDirectory=var/druid/segments # For HDFS: # druid.storage.type=hdfs # druid.storage.storageDirectory=/druid/segments # For S3: druid.storage.type=s3 druid.storage.bucket=druidbucket druid.storage.baseKey=druid/segments druid.s3.accessKey= druid.s3.secretKey= druid.s3.protocol=http druid.s3.enabePathStyleAccess=true druid.s3.endpoint.signingRegion=us-east-1 druid.s3.endpoint.url=http://localhost:9000/ Nous allons également configurer Druid pour stocker les journaux du service d'indexation dans Minio. C'est une bonne pratique de tout stocker au même endroit pour faciliter la recherche - Druid est déjà assez compliqué sans avoir à rechercher les journaux à plusieurs emplacements. Mettez à jour la section « Indexation des journaux de service » avec les valeurs appropriées dans . conf/druid/_common/common.runtime.properties Après cela, la section « Indexation des journaux du service » devrait ressembler à : # Indexing service logs # For local disk (only viable in a cluster if this is a network mount): # druid.indexer.logs.type=file # druid.indexer.logs.directory=var/druid/indexing-logs # For HDFS: # druid.indexer.logs.type=hdfs # druid.indexer.logs.directory=/druid/indexing-logs # For S3: druid.indexer.logs.type=s3 druid.indexer.logs.s3Bucket=druidbucket druid.indexer.logs.s3Prefix=druid/indexing-logs D'ACCORD! Cela couvre toutes les modifications de configuration à apporter à Druid. Enregistrez le fichier et redémarrez votre cluster. Lorsque vous travaillez avec Druid, vous verrez des segments et des indices écrits dans . druidbucket Installation du superset Apache Apache Superset est un outil de visualisation puissant fréquemment utilisé avec Druid. Superset est une application de business intelligence cloud native qui est rapide, légère, riche en fonctionnalités et, mieux encore, gratuite ! L'interface intuitive de Superset rend la création de tableaux de bord interactifs relativement simple. Superset fournit une prise en charge prête à l'emploi pour la plupart des bases de données SQL. Superset s'intègre aux backends d'authentification tels que la base de données, OpenID, LDAP et OAuth pour sécuriser les visualisations. En tant que logiciel cloud natif, Superset est hautement évolutif et hautement disponible. Il a été conçu pour s'adapter à de grands environnements distribués. Nous sommes plus intéressés par démarrer avec Superset que par sa mise à l'échelle en production, nous allons donc effectuer l'installation la plus simple possible à l'aide . C'est le moyen le plus rapide d'essayer Superset sous Linux ou Mac OSX. de Docker Compose Si Docker n'est pas déjà installé, veuillez suivre . Une fois que vous avez installé Docker, veuillez . les instructions de Docker installer Docker Compose Ouvrez une fenêtre de terminal et clonez le dépôt Superset : $ git clone https://github.com/apache/superset.git Cela créera un dossier sur-ensemble dans votre répertoire actuel. Accédez à ce répertoire et exécutez les commandes suivantes (ce qui peut prendre plusieurs minutes) : $ docker-compose -f docker-compose-non-dev.yml pull $ docker-compose -f docker-compose-non-dev.yml up Vous verrez beaucoup de texte d'initialisation passer sur votre terminal. Le superset est prêt une fois que vous voyez quelque chose comme ceci : superset_app | Loaded your LOCAL configuration at [/app/docker/pythonpath_dev/superset_config.py] superset_app | 127.0.0.1 - - [12/May/2022:23:59:35 +0000] "GET /health HTTP/1.1" 200 2 "-" "curl/7.74.0" Ouvrez un navigateur et accédez à pour accéder à Superset. Connectez-vous avec le nom d'utilisateur par défaut « admin » et le mot de passe « admin ». http://localhost:8088 Après vous être connecté à Superset, vous devez le connecter à Druid. En haut à droite, cliquez sur le « + » pour ajouter une base de données. Dans la liste déroulante, sélectionnez Apache Druid. Nommez ensuite la connexion et entrez ce qui suit sous SQLALCHEMY URI, en veillant à mettre à jour l'adresse IP ou à la remplacer par localhost si nécessaire. Si nous avions protégé l'API Druid en exigeant une authentification, nous saisirions également un nom d'utilisateur et un mot de passe. druid://10.0.0.10:8888/druid/v2/sql Testez la connexion pour vous assurer qu'elle fonctionne, puis cliquez sur Terminer. Woo-hoo ! Druid, MinIO et Superset fonctionnent désormais dans votre environnement. Avec le triumvirat Druid, SuperSet et MinIO, nous pouvons avoir une vue complète et opportune des données en temps réel. De nombreuses organisations ont créé des applications de gestion de données à l'échelle du Web en s'appuyant sur cette combinaison pour l'analyse des flux de clics (analyse Web et mobile), l'analyse des risques/fraudes, l'analyse de télémétrie réseau (surveillance des performances du réseau), l'analyse de la chaîne d'approvisionnement (métriques de fabrication). et les mesures de performances des applications. Cette pile d'analyse et de visualisation cloud native est flexible et extensible, évolutive et performante afin que vous puissiez créer des applications qui ravissent vos utilisateurs. Donnez-leur le pouvoir de surveiller, d’analyser et de visualiser les données en temps réel. Laissez-les découper, filtrer et regrouper selon n'importe quelle combinaison de colonnes afin qu'ils puissent prendre des décisions concluantes, orientées vers l'action, basées sur les données, au rythme des exigences de l'entreprise. Mettre tous ensemble Afin de démontrer un peu les fonctionnalités que nous avons créées, nous allons charger un fichier de données didacticiel des modifications de Wikipédia au fil du temps dans Druid, puis visualiser les modifications dans SuperSet. N'oubliez pas que cela est soutenu par MinIO en tant que stockage profond. Les modifications de Wikipédia sont traitées plus en détail dans . Quickstart · Apache Druid Ingestion dans Druide Druid charge les données en soumettant une spécification de tâche d'ingestion en JSON au serveur Overlord. Vous pouvez créer une spécification d'ingestion à l'aide de l'interface graphique Web ou l'écrire vous-même et la planifier. Une fois que vous avez créé et réglé une spécification d'ingestion, vous pouvez réutiliser le JSON afin de ne pas avoir à répéter la tâche. En production, les équipes planifient et automatisent fréquemment l’ingestion. Ouvrez un navigateur et chargez l'interface Web Druid à l' . adresse http://localhost:8888 En haut de la fenêtre, cliquez sur Charger les données. À partir de là, sélectionnez Exemples de données, puis sélectionnez Modifications Wikipédia dans la liste déroulante de droite et cliquez sur le bouton bleu Charger l'exemple. L'interface graphique Web vous guide dans la création d'une spécification d'ingestion qui lira les données d'une source et les stockera dans des segments sur un stockage profond. L'ingestion est basée sur un horodatage utilisé pour partitionner et trier les données, tandis que les données sont stockées sous forme de colonnes de dimensions et de métriques. Pour plus d'informations sur la façon d'optimiser les performances d'ingestion, veuillez consulter . Modélisation des données et performances des requêtes dans Apache Druid Avec les données du didacticiel, nous allons simplement cliquer sur le workflow d'ingestion en acceptant les valeurs par défaut, ou cliquer sur Modifier la spécification JSON, puis sur Soumettre. Si vous le souhaitez (ou en avez besoin), vous pouvez consulter le fichier brut au format JSON et l'analyser. Druid crée sa propre colonne de temps appelée pour organiser et segmenter les données. Parce que le temps est si important pour Druid, il est très efficace pour comprendre comment gérer les horodatages quel que soit leur format. De plus, nous pouvons transformer les données et optimiser les performances des requêtes en partitionnant les données et en dimensionnant les segments. Enfin, vous pouvez régler la tâche d'ingestion en termes de threads et d'utilisation de la mémoire, puis la planifier et l'exécuter. __time L'interface graphique vous envoie afficher les tâches : Il s'agit d'un très petit travail d'ingestion, il se termine donc presque immédiatement. À partir de là, vous pouvez exécuter des requêtes sur les données dans Druid et obtenir des réponses ultra-rapides. Vous pouvez exécuter des requêtes via l'interface graphique Web ou l'API. Druid se retrouve derrière de nombreux tableaux de bord en raison de sa capacité à fournir d'excellentes performances de requête sur d'énormes quantités de données à grande échelle. Visualisation dans Superset Revenez au navigateur dans lequel vous vous êtes connecté à Superset et cliquez à nouveau sur le «+» en haut à droite de l'écran d'accueil. Cliquez ensuite sur Graphique. Nous pourrions exécuter des requêtes SQL individuelles en bas de l'écran. Les tableaux de bord sont des groupes de requêtes individuelles. Les réponses aux requêtes répétitives sont mises en cache dans Superset pour améliorer les performances. Sélectionnez l'ensemble de données , puis sélectionnez une visualisation. Superset comprend un certain nombre de visualisations de séries chronologiques. Nous allons choisir Graphique de séries chronologiques, puis cliquer sur Nouveau graphique. druid.wikipedia Au début, vous ne verrez aucun résultat, mais ne vous laissez pas tromper. Tout d’abord, supprimez la plage de temps en la définissant sur « pas de filtre ». Le Time Grain est réglé trop haut sur « jour », alors changez-le sur « 5 minutes ». Nous visualisons maintenant un graphique du nombre de modifications de Wikipédia effectuées dans des fenêtres de 5 minutes dans nos exemples de données. Vous pouvez filtrer et regrouper les résultats à l'aide de Superset. Pour enregistrer le graphique, cliquez sur Enregistrer en haut de l'écran, puis donnez un nom au graphique et enregistrez-le. Vous avez maintenant appris les étapes de base pour installer Druid et MinIO, ingérer votre premier ensemble de données et générer votre premier graphique Superset. Une prochaine étape utile pourrait consister à en savoir plus sur . l'exploration des données dans un superensemble Analyses massivement évolutives Dans cet article de blog, nous avons présenté un groupe d'applications cloud natives : Apache Druid pour l'analyse, Apache Superset pour la visualisation et MinIO pour le stockage profond S3. Cette démo simple est le début de la création d'une pile d'analyse et de visualisation cloud native, et peut être étendue avec Apache Spark pour ML ou Jupyter pour la science des données. Merci d'avoir lu cette démo. Si vous avez des questions, envoyez-nous un e-mail à hello@min.io, ou rejoignez la et posez-les. chaîne Slack MinIO Également publié . ici