Utiliser les conteneurs Kali Linux Docker pour prendre en charge le grattage Web caché

Libérez la puissance de Kali Linux sur les réseaux Docker en ajoutant une interface graphique au conteneur et améliorez la collecte d'informations avec le grattage Web anonymisé alimenté par Python, Selenium et le navigateur Tor. En tant qu'ingénieur DevOps, j'ai à la fois expédié et permis à d'autres ingénieurs d'expédier plusieurs centaines de milliers de conteneurs. J'utilise la livraison continue et diverses méthodes d'orchestration : Kubernetes, Lambda Containers sur AWS, Elastic Container Service (ECS) soutenu par Elastic Compute Cloud (EC2) et Fargate. Les conteneurs sont utiles pour les systèmes de construction personnalisés, les déploiements automatisés, l'analyse des vulnérabilités, les objectifs de recherche, l'analyse des données, l'apprentissage automatique, l'archivage des logiciels hérités, le développement local et le grattage Web. Dans ce guide, je passerai en revue les étapes que j'ai suivies pour ajouter une interface graphique au en utilisant Xvfb et un serveur VNC. Le code dont je parle ici est publié dans le référentiel open source et est continuellement livré à pour une utilisation générale. Enfin, dans la partie 2 de cette série, tout ce qui se trouve dans les conteneurs sera mis à l'épreuve. J'utiliserai un script Python personnalisé, Pytest et Selenium pour automatiser l'instance du navigateur Tor et collecter des données sur le Web. conteneur officiel Kali Linux de DockerHub kalilinux-xvfb Docker Hub Réseaux de conteneurs Une partie de la motivation derrière Kali Linux dans un conteneur est de gagner en visibilité sur l'espace réseau privé créé par la machine hôte pour les conteneurs. La configuration par défaut de Docker Desktop consiste à utiliser un réseau NAT. À moins que le ou les ports ne soient liés à la machine hôte, avec , ce service ne sera pas accessible depuis l'hôte. docker run -p Les logiciels Voici des sections récapitulatives ajoutées avec des liens pour chacun des progiciels suivants : Kali Linux Bureau Docker Navigateur Tor Lanceur de navigateur Tor Xvfb Sélénium Liens supplémentaires pour les logiciels que j'ai utilisés : Xfce 4 Serveur VNC serré Serveur OpenSSH et Python3 Pip3 Geckodriver Kali Linux Kali Linux est une distribution Linux basée sur Debian destinée aux tests de pénétration avancés et à l'audit de sécurité. 1 J'ai choisi Kali Linux pour la quantité d'outils axés sur la sécurité disponibles. L'équipe Kali Linux fournit une image Docker régulièrement mise à jour. Une grande partie des logiciels requis est disponible pour l'image Kali Linux Docker et j'utiliserai le gestionnaire de packages pour les installer. Bureau Docker est un framework permettant d'exécuter des conteneurs localement. Les conteneurs sont un moyen de regrouper le système d'exploitation et l'état de l'application dans une image de système d'exploitation réutilisable. Des ressources supplémentaires sont disponibles sur le . Docker Desktop site Web de Docker Les conteneurs et les machines virtuelles présentent des avantages similaires en matière d'isolation et d'allocation des ressources, mais fonctionnent différemment car les conteneurs virtualisent le système d'exploitation au lieu du matériel. 2 Étant donné que les conteneurs Docker sont plus légers que les machines virtuelles, je les privilégie fortement dans mes efforts de développement. À long terme, cet état peut être stocké sous forme de petit fichier texte et il est beaucoup plus facile de suivre les changements au fil du temps avec git et des outils similaires. La possibilité de dériver à nouveau une image à partir d'un fichier texte est puissante. Cependant, il est tout à fait possible qu'un Dockerfile tombe en ruine au fil du temps et ne puisse pas être construit à une date ultérieure. Comme tout autre système d'exploitation et infrastructure en tant que code, il est important de tout garder à jour. Une alternative à Docker serait d'utiliser une machine virtuelle ou une installation bare metal. Cependant, je pense que les conteneurs sont le banc d'essai idéal pour exécuter des robots d'exploration Web éphémères, car ils sont faciles à provisionner et à nettoyer. Je peux exécuter plusieurs conteneurs sur une seule machine, en parallèle, qui peuvent être démarrés et arrêtés presque instantanément. Ensuite, chaque fois que j'ai besoin d'une isolation supplémentaire, toute cette configuration peut également être exécutée à partir d'une machine virtuelle. Navigateur Tor Le routeur Onion (Tor) est un réseau mondial d'ordinateurs qui acheminent le trafic via une série de sauts cryptés. Cela permet à un utilisateur de naviguer sur Internet de manière quelque peu anonyme et permet également à un utilisateur d'accéder à des sites Web qui ne sont disponibles que sur le réseau Tor. est une version lourdement configurée de Firefox qui met l'accent sur la confidentialité et la sécurité. Il peut utiliser le réseau Tor prêt à l'emploi. Tor Browser est inclus dans de nombreux systèmes d'exploitation Linux et permet de démarrer un navigateur Web sur le réseau Tor extrêmement facilement. torbrowser-launcher Sélénium est un outil d'automatisation des navigateurs Web. J'ai choisi Python dans cet exemple, mais il existe de nombreux langages et outils disponibles. Selenium J'utiliserai Selenium pour automatiser ce navigateur Tor sur le réseau Tor. J'essaie de tirer parti de la configuration existante du navigateur soucieux de la sécurité pour limiter le partage d'informations aux cibles. Je pourrai nettoyer les états d'exécution des conteneurs en les arrêtant. La session WebDriver résultante aura une adresse IP aléatoire vendue via Tor, ce qui en fait un outil très puissant pour le grattage Web. Xvfb Le composant XOrg peut être utilisé pour simuler un écran pour le système X window. J'utiliserai ensuite cet écran pour démarrer un serveur X dans le conteneur. Cette technique d'émulation n'est pas particulièrement rapide, et les applications lourdes en graphisme bénéficieront d'un GPU. Xvfb Aperçu des fichiers Les Dockerfiles doivent s'appuyer sur n'importe quelle distribution Linux, macOS ou Windows pouvant exécuter Docker. J'ai testé cela sur Docker Desktop en utilisant un processeur Intel. Il existe une variante ARM pour le conteneur de base officiel de Kalilinux. J'apprécierais les commentaires de quiconque essaie de l'exécuter sur ARM. Fichier Docker TorBrowser.Dockerfile TorBrowser-root.Dockerfile startx-once.sh start-vnc-server-once.sh ssh-keys.sh torrc .github/workflows/main.yml Fichier Docker C'est le Dockerfile que j'ai utilisé pour créer l'image de base. J'ai ajouté quelques commentaires pour expliquer ce que fait chaque ligne. # From the official Kali Linux Docker image rolling release FROM kalilinux/kali-rolling # Leaving this here for now, but it's not needed ARG DISPLAY_NUMBER=1 ENV DISPLAY=:$DISPLAY_NUMBER # Install the packages we need # Got lucky with this one, there was a ticket about this: # https://github.com/dnschneid/crouton/issues/4461 `xfce4 dbus-launch not found` in this version of the image so installing dbus-x11 RUN apt-get update -y -q \ && apt-get install -y -q xvfb xfce4 xfce4-goodies tightvncserver net-tools curl openssh-server dbus-x11 # This line copies the shell scripts from the local directory to the container, and makes them executable. COPY *.sh /opt/ RUN chmod 755 /opt/*.sh # This line runs the shell scripts that start the X server, and generate the SSH keys. RUN /opt/startx-once.sh RUN /opt/ssh-keys.sh # This line sets the entrypoint to bash, so that we can run commands in the container. ENTRYPOINT /bin/bash startx-once.sh Aide à démarrer le serveur X. J'utilise la commande Xvfb pour démarrer le serveur X. Si un PID est présent et que quelque chose ne va pas avec le serveur X, je peux arrêter le processus et le redémarrer. J'ai expérimenté le blocage des sessions X du réseau, bien que cela puisse être inutile, je l'ajoute quand même: -nolisten tcp discussion on super user #!/bin/bash FILE=/opt/.x.pid if [[ -f "$FILE" ]]; then echo "$FILE exist" echo "PID: " `cat $FILE` else Xvfb -nolisten tcp $DISPLAY & echo $? > $FILE fi ssh-keys.sh Les clients VNC sont loin d'être idéaux pour copier et coller du texte. Cela peut être résolu en ajoutant des clés SSH au conteneur pour aider d'autres hôtes à s'y connecter. Cela ouvre la possibilité d'utiliser des tunnels SSH pour se connecter au conteneur. La commande suivante a été référencée à partir de cet ssh-keygen article Stack Exchange #!/bin/bash # Generate SSH keys ssh-keygen -b 2048 -t rsa -f ~/.ssh/id_rsa -q -N "" cat ~/.ssh/id_rsa >> ~/.ssh/authorized_keys Si je vais utiliser ces clés, j'ai besoin de la clé privée sur mon poste de travail. J'utilise les commandes suivantes pour copier la clé privée sur ma machine hôte à partir de docker, mais il existe une multitude de façons de le faire. Il y a eu une bonne discussion à ce sujet sur . Stack Overflow Trouver l'ID du conteneur avec la : commande ps docker ps Utilisation de l'ID de conteneur pour copier le avec la : commande cp # For root docker cp :/root/.ssh/id_rsa /target/path/on/host # Otherwise for the user configured in the Dockerfile docker cp :/home/username/.ssh/id_rsa /target/path/on/host torrc Cela doit être copié dans le conteneur, mais il ne s'agit que de sections non commentées de la configuration passe-partout fournie par le projet Tor . ici # /etc/tor/torrc ## Tor opens a SOCKS proxy on port 9050 by default -- even if you don't ## configure one below. Set "SOCKSPort 0" if you plan to run Tor only ## as a relay, and not make any local application connections yourself. SOCKSPort 9050 # Default: Bind to localhost:9050 for local connections. #SOCKSPort 192.168.0.1:9100 # Bind to this address:port too. ## Uncomment this to start the process in the background... or use ## --runasdaemon 1 on the command line. This is ignored on Windows; ## see the FAQ entry if you want Tor to run as an NT service. RunAsDaemon 1 ## The port on which Tor will listen for local connections from Tor ## controller applications, as documented in control-spec.txt. ControlPort 9051 ## If you enable the controlport, be sure to enable one of these ## authentication methods, to prevent attackers from accessing it. #HashedControlPassword 16:872860B76453A77D60CA2BB8C1A7042072093276A3D701AD684053EC4C CookieAuthentication 1 TorBrowser.Dockerfile Ce Dockerfile s'appuie sur le Dockerfile précédent et ajoute le navigateur Tor et Python au mélange. J'utilise le paquet pour installer le navigateur Tor. torbrowser-launcher # From the base Dockerfile: FROM excitingtheory/kalilinux-xvfb ARG DISPLAY_NUMBER=1 ENV DISPLAY=:$DISPLAY_NUMBER # More info about torbrowser-launcher: # https://github.com/micahflee/torbrowser-launcher RUN apt-get update -y -q \ && apt-get install -y -q torbrowser-launcher python3 python3-pip # Create a user and add them to the sudo group, sudo still TBD but leaving for now, will not be able to switch users in this container. RUN useradd -s /bin/bash -m username \ && usermod -aG sudo username # Install python packages RUN pip3 install selenium pytest COPY torrc /etc/tor/torrc # Set the user and home directory for the container USER username ENV USER=username ENV HOME=/home/username # Run the shell scripts that start the X server, and generate the SSH keys. RUN /opt/startx-once.sh RUN /opt/ssh-keys.sh # This line sets the entrypoint to bash, so that we can run commands in the container. ENTRYPOINT /bin/bash TorBrowser-root.Dockerfile Comme avant mais avec moins de configuration. Utilisera l'utilisateur root. # From the base Dockerfile: FROM excitingtheory/kalilinux-xvfb ARG DISPLAY_NUMBER=1 ENV DISPLAY=:$DISPLAY_NUMBER # More info about torbrowser-launcher: # https://github.com/micahflee/torbrowser-launcher RUN apt-get update -y -q \ && apt-get install -y -q torbrowser-launcher python3 python3-pip # Install python packages RUN pip3 install selenium pytest # Copy the tor config file into the containera COPY torrc /etc/tor/torrc # Run the shell scripts that start the X server, and generate the SSH keys. RUN /opt/startx-once.sh RUN /opt/ssh-keys.sh # This line sets the entrypoint to bash, so that we can run commands in the container. ENTRYPOINT /bin/bash .github/workflows/main.yml Le fichier de workflow Github Actions crée l'image Docker et la transmet à Docker Hub. Il s'agit du workflow de stock de , avec des balises supplémentaires en cours de poussée. J'ai ajouté un pour déclencher cette action une fois par jour. la documentation de Docker horaire name: docker build and push on: push: branches: - "main" schedule: - cron: '20 16 * * *' jobs: build: runs-on: ubuntu-latest steps: - name: Checkout uses: actions/checkout@v3 - name: Login to Docker Hub uses: docker/login-action@v2 with: username: ${{ secrets.DOCKERHUB_USERNAME }} password: ${{ secrets.DOCKERHUB_TOKEN }} - name: Set up Docker Buildx uses: docker/setup-buildx-action@v2 - name: Build and push base image uses: docker/build-push-action@v4 with: context: . file: ./Dockerfile push: true tags: excitingtheory/kalilinux-xvfb:latest - name: Build and push torbrowser root image uses: docker/build-push-action@v4 with: context: . file: ./TorBrowser-root.Dockerfile push: true tags: excitingtheory/kalilinux-xvfb:torbrowser-root - name: Build and push torbrowser image uses: docker/build-push-action@v4 with: context: . file: ./TorBrowser.Dockerfile push: true tags: excitingtheory/kalilinux-xvfb:torbrowser Utilisation des conteneurs Maintenant, je peux tester les conteneurs et voir s'ils fonctionnent. Je vais utiliser la balise pour cet exemple. torbrowser Construire les conteneurs (facultatif) Consultez la pour plus d'informations sur la commande . Pour créer des conteneurs localement, j'utilise les commandes suivantes, sinon ils peuvent être extraits de Docker Hub à la demande au cours des étapes suivantes. documentation de construction de l'interface de ligne de commande Docker docker build docker build -t excitingtheory/kalilinux-xvfb . docker build -t excitingtheory/kalilinux:torbrowser -f TorBrowser.Dockerfile . docker build -t excitingtheory/kalilinux:torbrowser-root -f TorBrowser-root.Dockerfile . Exécution des conteneurs avec un volume Je dois monter un volume sur le conteneur pour pouvoir accéder aux fichiers sur lesquels je travaille. J'utilise le répertoire comme volume. ${HOME}/src Quelques brèves notes sur les indicateurs que nous utilisons sont incluses ci-dessous, sinon consultez la pour plus d'informations sur la commande . documentation d'exécution de Docker CLI docker run est utilisé pour exécuter le conteneur en mode interactif. -it est utilisé pour supprimer les couches du conteneur lorsqu'il se termine. --rm est utilisé pour mapper le port du conteneur à la machine hôte. -p est utilisé pour monter un volume de la machine hôte vers le conteneur. -v # Run the base container docker run -it --rm -p 5901:5901 -v "${HOME}/src":/src excitingtheory/kalilinux-xvfb # Run the container with the default user docker run -it --rm -p 5901:5901 -v "${HOME}/src":/src excitingtheory/kalilinux-xvfb:torbrowser # Run the container with the root user docker run -it --rm -p 5901:5901 -v "${HOME}/src":/src excitingtheory/kalilinux-xvfb:torbrowser-root Utilisation du navigateur Tor à partir du conteneur Ensuite, je souhaite ouvrir le conteneur utilisateur, me connecter via VNC et exécuter le lanceur de navigateur Tor pour vérifier que tout fonctionne jusqu'à présent. Le lanceur de navigateur Tor ne fonctionnera pas avec l'utilisateur root. Démarrez le conteneur avec l'utilisateur par défaut : docker run -it --rm -p 5901:5901 -v "${HOME}/src":/src excitingtheory/kalilinux-xvfb:torbrowser En démarrant le serveur VNC dans le conteneur, le serveur demandera le mot de passe principal, je définis un mot de passe supplémentaire en lecture seule. /opt/start-vnc-server-once.sh Vous trouverez ci-dessous un exemple de sortie. Connectez-vous sur macOS La boîte de dialogue de connexion au serveur se trouve dans le menu Finder : -> . Go Connect to Server Une fois la boîte de dialogue ouverte, entrez l'adresse et cliquez sur . J'ai enregistré cette adresse en favori pour un accès facile. vnc://localhost:5901 Connect Se connecter sur Windows Un client vnc comme TightVNC peut s'y connecter sur . localhost:5901 Connecté au bureau Kali Linux Xfce4 Une fois connecté, je peux voir le bureau xfce4. Maintenant, je peux démarrer le lanceur de navigateur Tor à partir du terminal dans la session VNC. torbrowser-launcher Une fois le navigateur ouvert, je peux vérifier s'il fonctionne en accédant au vérificateur de connexion du projet Tor Un exemple de test réussi : J'ai ouvert le site sur ma machine hôte, qui n'était pas connectée, pour comparer : Progrès jusqu'à présent C'est la configuration du système d'exploitation que je voulais terminer avant de commencer à travailler avec Selenium et Python. Pour récapituler, j'ai fait ce qui suit : Dépendances installées pour Selenium, Python et un environnement de bureau xfce4 simple. Création et déploiement de trois images Docker interdépendantes avec GitHub Actions. Démarrage réussi d'un serveur VNC dans un conteneur Docker. Connecté à l'environnement de bureau d'un conteneur en cours d'exécution avec un client VNC. Testé l'exécution de Tor Browser Launcher à partir du conteneur et vérifié qu'il se connecte au réseau Tor. Maintenant qu'il existe un environnement de conteneur de travail. Consultez le prochain article de cette série sur le grattage Web Python secret.