Nutzen Sie die Leistungsfähigkeit von Kali Linux in Docker-Netzwerken, indem Sie dem Container eine grafische Benutzeroberfläche hinzufügen und die Informationserfassung mit anonymisiertem Web-Scraping auf Basis von Python, Selenium und Tor Browser verbessern.  Als DevOps-Ingenieur habe ich viele Hunderttausende Container versendet und anderen Ingenieuren die Möglichkeit gegeben, sie zu versenden. Ich verwende Continuous Delivery und verschiedene Orchestrierungsmethoden: Kubernetes, Lambda Containers auf AWS, Elastic Container Service (ECS), unterstützt von Elastic Compute Cloud (EC2) und Fargate. Container sind nützlich für benutzerdefinierte Build-Systeme, automatisierte Bereitstellungen, Schwachstellen-Scans, Forschungszwecke, Datenanalysen, maschinelles Lernen, Archivierung älterer Software, lokale Entwicklung und Web-Scraping.  In dieser Anleitung werde ich die Schritte durchgehen, die ich durchlaufen habe, um mithilfe von Xvfb und einem VNC-Server eine GUI zum offiziellen   hinzuzufügen. Der hier besprochene Code wird im Open-Source-Repository   veröffentlicht und kontinuierlich zur allgemeinen Verwendung an   bereitgestellt. Abschließend wird in Teil 2 dieser Serie alles in den Containern auf die Probe gestellt. Ich werde ein benutzerdefiniertes Python-Skript, Pytest und Selenium verwenden, um die Tor-Browser-Instanz zu automatisieren und Daten aus dem Web zu sammeln. Kali-Linux-Container von DockerHub kalilinux-xvfb Docker Hub  Containernetzwerke   Ein Teil der Motivation, Kali Linux in einem Container zu haben, besteht darin, Einblick in den privaten Netzwerkraum zu erhalten, der vom Host-Computer für Container erstellt wird. Das Standard-Setup von Docker Desktop ist die Verwendung eines NAT-Netzwerks. Sofern die Ports nicht mit   an den Host-Rechner gebunden sind, ist dieser Dienst vom Host aus nicht zugänglich. docker run -p  Die Software  Hier sind zusammenfassende Abschnitte mit Links für jedes der folgenden Softwarepakete hinzugefügt:  Kali Linux  Docker-Desktop  Tor Browser  Tor-Browser-Launcher  Xvfb  Selen  Zusätzliche Links zu der von mir verwendeten Software:   Xfce 4   Enger VNC-Server   OpenSSH-Server    und  Python3 Pip3   Geckodriver  Kali Linux  Kali Linux ist eine auf Debian basierende Linux-Distribution, die auf erweiterte Penetrationstests und Sicherheitsüberprüfungen abzielt.  1  Ich habe mich für Kali Linux entschieden, weil es so viele sicherheitsorientierte Tools gibt. Das Kali Linux-Team stellt ein Docker-Image bereit, das regelmäßig aktualisiert wird. Ein Großteil der erforderlichen Software ist für das Kali Linux Docker-Image verfügbar und ich werde sie mit dem Paketmanager installieren.  Docker-Desktop    ist ein Framework zum lokalen Ausführen von Containern. Container sind eine Möglichkeit, den Betriebssystem- und Anwendungsstatus in einem wiederverwendbaren Betriebssystem-Image zu verpacken. Weitere Ressourcen sind auf der   verfügbar. Docker Desktop Docker-Website  Container und virtuelle Maschinen bieten ähnliche Vorteile bei der Ressourcenisolation und -zuweisung, funktionieren jedoch unterschiedlich, da Container das Betriebssystem und nicht die Hardware virtualisieren.  2  Da Docker-Container leichter sind als virtuelle Maschinen, bevorzuge ich sie bei meinen Entwicklungsbemühungen stark. Langfristig kann dieser Status als kleine Textdatei gespeichert werden und es ist viel einfacher, Änderungen im Laufe der Zeit mit Git und ähnlichen Tools zu verfolgen. Die Möglichkeit, ein Bild erneut aus einer Textdatei abzuleiten, ist leistungsstark. Es ist jedoch durchaus möglich, dass eine Docker-Datei mit der Zeit unbrauchbar wird und die Erstellung zu einem späteren Zeitpunkt fehlschlägt. Wie bei jedem anderen Betriebssystem und bei Infrastructure as Code ist es wichtig, alles auf dem neuesten Stand zu halten.  Eine Alternative zu Docker wäre die Verwendung einer virtuellen Maschine oder einer Bare-Metal-Installation. Ich glaube jedoch, dass Container die perfekte Testumgebung für die Ausführung kurzlebiger Webcrawler sind, da sie einfach bereitzustellen und zu bereinigen sind. Ich kann viele Container parallel auf einer einzigen Maschine ausführen, die fast sofort gestartet und gestoppt werden können. Wenn ich dann zusätzliche Isolierung benötige, kann das gesamte Setup auch von einer virtuellen Maschine aus ausgeführt werden.  Tor Browser  Der Onion Router (Tor) ist ein globales Netzwerk von Computern, die den Datenverkehr über eine Reihe verschlüsselter Hops weiterleiten. Dadurch kann ein Benutzer einigermaßen anonym im Internet surfen und auf Websites zugreifen, die nur im Tor-Netzwerk verfügbar sind.    ist eine stark konfigurierte Version von Firefox mit Schwerpunkt auf Datenschutz und Sicherheit. Es kann das Tor-Netzwerk sofort nutzen. Tor Browser    ist in vielen Linux-Betriebssystemen enthalten und macht das Starten eines Webbrowsers im Tor-Netzwerk extrem einfach. torbrowser-launcher  Selen    ist ein Tool zur Automatisierung von Webbrowsern. In diesem Beispiel habe ich mich für Python entschieden, aber es stehen viele Sprachen und Tools zur Verfügung. Selenium  Ich werde Selenium verwenden, um diesen Tor-Browser im Tor-Netzwerk zu automatisieren. Ich versuche, die vorhandene Konfiguration des sicherheitsbewussten Browsers auszunutzen, um die Weitergabe von Informationen an Ziele einzuschränken. Ich kann die Laufzeitzustände der Container bereinigen, indem ich sie stoppe. Die resultierende WebDriver-Sitzung verfügt über eine zufällige IP-Adresse, die über Tor verkauft wird, was es zu einem sehr leistungsstarken Tool für Web-Scraping macht.  Xvfb  Mit der XOrg-Komponente   kann ein Bildschirm für das X-Window-System simuliert werden. Über diesen Bildschirm werde ich dann einen X-Server im Container starten. Diese Emulationstechnik ist nicht besonders schnell und grafikintensive Anwendungen profitieren von einer GPU. Xvfb  Übersicht über die Dateien  Die Docker-Dateien sollten auf jeder Linux-, macOS- oder Windows-Distribution aufbauen, die Docker ausführen kann. Ich habe dies auf Docker Desktop mit einem Intel-Prozessor getestet. Für den offiziellen Kalilinux-Basiscontainer gibt es eine ARM-Variante. Ich würde mich über Feedback von jedem freuen, der versucht, dies auf ARM auszuführen.  Docker-Datei  TorBrowser.Dockerfile  TorBrowser-root.Dockerfile  startx-once.sh  start-vnc-server-once.sh  ssh-keys.sh  torrc  .github/workflows/main.yml  Docker-Datei  Dies ist die Docker-Datei, die ich zum Erstellen des Basis-Images verwendet habe. Ich habe ein paar Kommentare hinzugefügt, um zu erklären, was jede Zeile bewirkt.   # From the official Kali Linux Docker image rolling release FROM kalilinux/kali-rolling # Leaving this here for now, but it's not needed ARG DISPLAY_NUMBER=1 ENV DISPLAY=:$DISPLAY_NUMBER # Install the packages we need # Got lucky with this one, there was a ticket about this: # https://github.com/dnschneid/crouton/issues/4461 `xfce4 dbus-launch not found` in this version of the image so installing dbus-x11 RUN apt-get update -y -q \ && apt-get install -y -q xvfb xfce4 xfce4-goodies tightvncserver net-tools curl openssh-server dbus-x11 # This line copies the shell scripts from the local directory to the container, and makes them executable. COPY *.sh /opt/ RUN chmod 755 /opt/*.sh # This line runs the shell scripts that start the X server, and generate the SSH keys. RUN /opt/startx-once.sh RUN /opt/ssh-keys.sh # This line sets the entrypoint to bash, so that we can run commands in the container. ENTRYPOINT /bin/bash  startx-once.sh  Hilft beim Starten des X-Servers. Ich verwende den Xvfb-Befehl, um den X-Server zu starten. Wenn eine PID vorhanden ist und etwas mit dem X-Server nicht stimmt, kann ich den Prozess abbrechen und erneut starten. Ich habe mit dem Blockieren von X-Sitzungen aus dem Netzwerk experimentiert, obwohl es vielleicht unnötig ist, füge ich es trotzdem hinzu:  -nolisten tcp diskussion auf Superuser   #!/bin/bash FILE=/opt/.x.pid if [[ -f "$FILE" ]]; then echo "$FILE exist" echo "PID: " `cat $FILE` else Xvfb -nolisten tcp $DISPLAY & echo $? > $FILE fi  ssh-keys.sh  VNC-Clients sind zum Kopieren und Einfügen von Text nicht ideal. Abhilfe schafft hier das Hinzufügen von SSH-Schlüsseln zum Container, um anderen Hosts die Verbindung zum Container zu erleichtern. Dies eröffnet die Möglichkeit, über SSH-Tunnel eine Verbindung zum Container herzustellen.  In diesem   wurde auf den folgenden Befehl   verwiesen Stack Exchange-Artikel ssh-keygen   #!/bin/bash # Generate SSH keys ssh-keygen -b 2048 -t rsa -f ~/.ssh/id_rsa -q -N "" cat ~/.ssh/id_rsa >> ~/.ssh/authorized_keys  Wenn ich diese Schlüssel verwenden möchte, benötige ich den privaten Schlüssel auf meiner Workstation. Ich verwende die folgenden Befehle, um den privaten Schlüssel von Docker auf meinen Host-Rechner zu kopieren, aber es gibt eine Vielzahl von Möglichkeiten, dies zu tun. Es gab eine gute Diskussion dazu auf   . Stack Overflow  Ermitteln der Container-ID mit dem   : ps-Befehl     docker ps  Verwenden der Container-ID zum Kopieren mit dem   : cp-Befehl   # For root docker cp <containerId>:/root/.ssh/id_rsa /target/path/on/host # Otherwise for the user configured in the Dockerfile docker cp <containerId>:/home/username/.ssh/id_rsa /target/path/on/host  torrc  Dies muss in den Container kopiert werden, ist aber nur unkommentierte Abschnitte aus der Boilerplate-Konfiguration, die das Tor-Projekt   bereitstellt. hier   # /etc/tor/torrc ## Tor opens a SOCKS proxy on port 9050 by default -- even if you don't ## configure one below. Set "SOCKSPort 0" if you plan to run Tor only ## as a relay, and not make any local application connections yourself. SOCKSPort 9050 # Default: Bind to localhost:9050 for local connections. #SOCKSPort 192.168.0.1:9100 # Bind to this address:port too. ## Uncomment this to start the process in the background... or use ## --runasdaemon 1 on the command line. This is ignored on Windows; ## see the FAQ entry if you want Tor to run as an NT service. RunAsDaemon 1 ## The port on which Tor will listen for local connections from Tor ## controller applications, as documented in control-spec.txt. ControlPort 9051 ## If you enable the controlport, be sure to enable one of these ## authentication methods, to prevent attackers from accessing it. #HashedControlPassword 16:872860B76453A77D60CA2BB8C1A7042072093276A3D701AD684053EC4C CookieAuthentication 1  TorBrowser.Dockerfile  Diese Docker-Datei baut auf der vorherigen Docker-Datei auf und fügt dem Mix Tor Browser und Python hinzu. Ich verwende das   Paket, um den Tor-Browser zu installieren. torbrowser-launcher-   # From the base Dockerfile: FROM excitingtheory/kalilinux-xvfb ARG DISPLAY_NUMBER=1 ENV DISPLAY=:$DISPLAY_NUMBER # More info about torbrowser-launcher: # https://github.com/micahflee/torbrowser-launcher RUN apt-get update -y -q \ && apt-get install -y -q torbrowser-launcher python3 python3-pip # Create a user and add them to the sudo group, sudo still TBD but leaving for now, will not be able to switch users in this container. RUN useradd -s /bin/bash -m username \ && usermod -aG sudo username # Install python packages RUN pip3 install selenium pytest COPY torrc /etc/tor/torrc # Set the user and home directory for the container USER username ENV USER=username ENV HOME=/home/username # Run the shell scripts that start the X server, and generate the SSH keys. RUN /opt/startx-once.sh RUN /opt/ssh-keys.sh # This line sets the entrypoint to bash, so that we can run commands in the container. ENTRYPOINT /bin/bash  TorBrowser-root.Dockerfile  Genau wie zuvor, aber mit weniger Konfiguration. Wird den Root-Benutzer verwenden.   # From the base Dockerfile: FROM excitingtheory/kalilinux-xvfb ARG DISPLAY_NUMBER=1 ENV DISPLAY=:$DISPLAY_NUMBER # More info about torbrowser-launcher: # https://github.com/micahflee/torbrowser-launcher RUN apt-get update -y -q \ && apt-get install -y -q torbrowser-launcher python3 python3-pip # Install python packages RUN pip3 install selenium pytest # Copy the tor config file into the containera COPY torrc /etc/tor/torrc # Run the shell scripts that start the X server, and generate the SSH keys. RUN /opt/startx-once.sh RUN /opt/ssh-keys.sh # This line sets the entrypoint to bash, so that we can run commands in the container. ENTRYPOINT /bin/bash  .github/workflows/main.yml  Die Github Actions-Workflowdatei erstellt das Docker-Image und überträgt es an Docker Hub. Dies ist der Standard-Workflow aus   , wobei zusätzliche Tags gepusht werden. Ich habe einen  hinzugefügt, um diese Aktion einmal am Tag auszulösen.  der Docker-Dokumentation Zeitplan   name: docker build and push on: push: branches: - "main" schedule: - cron: '20 16 * * *' jobs: build: runs-on: ubuntu-latest steps: - name: Checkout uses: actions/checkout@v3 - name: Login to Docker Hub uses: docker/login-action@v2 with: username: ${{ secrets.DOCKERHUB_USERNAME }} password: ${{ secrets.DOCKERHUB_TOKEN }} - name: Set up Docker Buildx uses: docker/setup-buildx-action@v2 - name: Build and push base image uses: docker/build-push-action@v4 with: context: . file: ./Dockerfile push: true tags: excitingtheory/kalilinux-xvfb:latest - name: Build and push torbrowser root image uses: docker/build-push-action@v4 with: context: . file: ./TorBrowser-root.Dockerfile push: true tags: excitingtheory/kalilinux-xvfb:torbrowser-root - name: Build and push torbrowser image uses: docker/build-push-action@v4 with: context: . file: ./TorBrowser.Dockerfile push: true tags: excitingtheory/kalilinux-xvfb:torbrowser  Verwendung der Container  Jetzt kann ich die Container testen und sehen, ob sie funktionieren. Ich werde für dieses Beispiel das   -Tag verwenden. torbrowser  Erstellen der Container (optional)  Weitere Informationen zum   Befehl finden Sie in der   . Um Container lokal zu erstellen, verwende ich die folgenden Befehle, ansonsten können sie in den nächsten Schritten bei Bedarf vom Docker Hub abgerufen werden. docker build Docker-CLI-Build-Dokumentation   docker build -t excitingtheory/kalilinux-xvfb . docker build -t excitingtheory/kalilinux:torbrowser -f TorBrowser.Dockerfile . docker build -t excitingtheory/kalilinux:torbrowser-root -f TorBrowser-root.Dockerfile .  Ausführen der Container mit einem Volume  Ich muss ein Volume im Container bereitstellen, damit ich auf die Dateien zugreifen kann, an denen ich arbeite. Ich verwende das Verzeichnis   als Volume. ${HOME}/src  Nachfolgend finden Sie einige kurze Hinweise zu den von uns verwendeten Flags. Weitere Informationen zum   Befehl finden Sie ansonsten in der   . docker run Docker CLI Run-Dokumentation    wird verwendet, um den Container im interaktiven Modus auszuführen. -it    wird verwendet, um die Containerebenen zu entfernen, wenn es beendet wird. --rm    wird verwendet, um den Port vom Container zum Host-Computer zuzuordnen. -p    wird verwendet, um ein Volume vom Host-Computer in den Container zu mounten. -v   # Run the base container docker run -it --rm -p 5901:5901 -v "${HOME}/src":/src excitingtheory/kalilinux-xvfb # Run the container with the default user docker run -it --rm -p 5901:5901 -v "${HOME}/src":/src excitingtheory/kalilinux-xvfb:torbrowser # Run the container with the root user docker run -it --rm -p 5901:5901 -v "${HOME}/src":/src excitingtheory/kalilinux-xvfb:torbrowser-root  Verwendung des Tor-Browsers aus dem Container  Als nächstes möchte ich den Benutzercontainer öffnen, mich über VNC anmelden und den Tor Browser Launcher ausführen, um zu überprüfen, ob bisher alles funktioniert. Der Tor-Browser-Launcher funktioniert nicht mit dem Root-Benutzer.  Starten Sie den Container mit dem Standardbenutzer:   docker run -it --rm -p 5901:5901 -v "${HOME}/src":/src excitingtheory/kalilinux-xvfb:torbrowser  Beim Starten des VNC-Servers im Container fordert der Server zur Eingabe des Hauptkennworts auf. Ich lege ein zusätzliches Nur-Anzeige-Kennwort fest.   /opt/start-vnc-server-once.sh  Nachfolgend finden Sie ein Beispiel für die Ausgabe.   Verbinden Sie sich unter macOS  Das Dialogfeld „Mit Server verbinden“ finden Sie im Finder-Menü:   ->   .  Go Connect to Server  Sobald das Dialogfeld geöffnet ist, geben Sie die Adresse   ein und klicken Sie auf   . Ich habe diese Adresse als Favorit gespeichert, um den Zugriff zu erleichtern. vnc://localhost:5901 Connect  Unter Windows verbinden  Ein VNC-Client wie TightVNC kann unter   eine Verbindung dazu herstellen. localhost:5901  Verbunden mit Kali Linux Xfce4 Desktop  Sobald die Verbindung hergestellt ist, kann ich den xfce4-Desktop sehen.   Jetzt kann ich den Tor Browser Launcher vom Terminal aus in der VNC-Sitzung starten.     torbrowser-launcher  Sobald der Browser geöffnet ist, kann ich mithilfe des   überprüfen, ob er funktioniert Tor Project Connection Checkers  Ein Beispiel für einen erfolgreichen Test:   Ich habe die Site auf meinem Host-Rechner geöffnet, der nicht verbunden war, um Folgendes zu vergleichen:   Bisherige Fortschritte  Dies ist das Betriebssystem-Setup, das ich abschließen wollte, bevor ich anfing, mit Selenium und Python zu arbeiten. Um es noch einmal zusammenzufassen: Ich habe Folgendes getan:  Installierte Abhängigkeiten für Selenium, Python und eine einfache xfce4-Desktopumgebung.  Mit GitHub Actions drei voneinander abhängige Docker-Images erstellt und gepusht.  Ein VNC-Server in einem Docker-Container wurde erfolgreich gestartet.  Mit einem VNC-Client mit der Desktop-Umgebung eines laufenden Containers verbunden.  Habe den Tor Browser Launcher aus dem Container getestet und überprüft, ob er eine Verbindung zum Tor-Netzwerk herstellt.  Jetzt gibt es eine funktionierende Containerumgebung. Schauen Sie sich den nächsten Beitrag dieser Reihe zum verdeckten Python-Web-Scraping an.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Come code with me!

"Use Kali Linux Docker Containers to Support Covert Web Scraping"

Read My Stories

DevOps Engineer

Dieses Audio ist in der Originalsprache der Geschichte produziert!

Zu lang; Lesen

Download free Tech Leaders Productivity Report!

Verwenden Sie Kali Linux Docker-Container, um verdecktes Web Scraping zu unterstützen

About Author

KOMMENTARE

Hängeetiketten

DIESER ARTIKEL WURDE VORGESTELLT IN

Related Stories

HackerNoon Decoded 2024: Wir feiern unsere Produktmanagement-Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

HackerNoon Decoded 2024: Wir feiern unsere Remote-Work-Community!

Starting 2025 with New Features: Settings Dashboard, HackerNoon Decoded, Updated Search UI, and More

HackerNoon Decoded 2024: Wir feiern unsere Produktmanagement-Community!

HackerNoon Decoded 2024: Celebrating Our Management Community!

HackerNoon Decoded 2024: Wir feiern unsere Remote-Work-Community!

Starting 2025 with New Features: Settings Dashboard, HackerNoon Decoded, Updated Search UI, and More

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps