Desbloqueie o poder do Kali Linux em redes Docker adicionando uma GUI de volta ao contêiner e aumente o nível da coleta de informações com a raspagem anônima da Web desenvolvida por Python, Selenium e Tor Browser.  Como engenheiro de DevOps, enviei e permiti que outros engenheiros enviassem muitas centenas de milhares de contêineres. Eu uso entrega contínua e uma variedade de métodos de orquestração: Kubernetes, Lambda Containers na AWS, Elastic Container Service (ECS) apoiado por Elastic Compute Cloud (EC2) e Fargate. Os contêineres são úteis para sistemas de construção personalizados, implantações automatizadas, verificação de vulnerabilidades, fins de pesquisa, análise de dados, aprendizado de máquina, arquivamento de software legado, desenvolvimento local e raspagem da web.  Neste guia, examinarei as etapas pelas quais passei para adicionar uma GUI ao   usando Xvfb e um servidor VNC. O código que discuto aqui é publicado no repositório de código aberto   e é entregue continuamente ao   para uso geral. Por fim, na Parte 2 desta série, tudo o que há nos contêineres será posto à prova. Usarei um script Python personalizado, Pytest e Selenium para automatizar a instância do navegador Tor e coletar dados da web. contêiner Kali Linux oficial do DockerHub kalilinux-xvfb Docker Hub  Redes de Contêineres   Parte da motivação por trás de ter o Kali Linux em um contêiner é ganhar visibilidade no espaço de rede privada criado pela máquina host para contêineres. A configuração padrão do Docker Desktop é usar uma rede NAT. A menos que as portas estejam vinculadas à máquina host, com   , esse serviço não estará acessível a partir do host. docker run -p  O software  Aqui estão as seções de resumo adicionadas com links para cada um dos seguintes pacotes de software:  Kali LinuxGenericName  Docker Desktop  Navegador Tor  Iniciador do navegador Tor  Xvfb  Selênio  Links adicionais para o software que usei:   Xfce 4   Servidor VNC apertado   Servidor OpenSSH    e  Python3 Pip3   Geckodriver  Kali LinuxGenericName  Kali Linux é uma distribuição Linux baseada em Debian voltada para testes avançados de penetração e auditoria de segurança.  1  Escolhi o Kali Linux pela grande quantidade de ferramentas com foco em segurança disponíveis. A equipe do Kali Linux fornece uma imagem do Docker que é atualizada regularmente. Grande parte do software necessário está disponível para a imagem Kali Linux Docker e usarei o gerenciador de pacotes para instalá-los.  Docker Desktop    é uma estrutura para executar contêineres localmente. Os contêineres são uma forma de empacotar o sistema operacional e o estado do aplicativo em uma imagem reutilizável do sistema operacional. Recursos adicionais estão disponíveis no   . O Docker Desktop site do Docker  Contêineres e máquinas virtuais têm benefícios semelhantes de isolamento e alocação de recursos, mas funcionam de maneira diferente porque os contêineres virtualizam o sistema operacional em vez do hardware.  2  Como os contêineres do Docker são mais leves do que as máquinas virtuais, eu os favoreço fortemente em meus esforços de desenvolvimento. A longo prazo, esse estado pode ser armazenado como um pequeno arquivo de texto e é muito mais fácil acompanhar as alterações ao longo do tempo com git e ferramentas semelhantes. A capacidade de derivar uma imagem novamente de um arquivo de texto é poderosa. No entanto, é totalmente possível que um Dockerfile caia em desuso ao longo do tempo e possa falhar na construção em uma data posterior. Assim como qualquer outro Sistema Operacional e Infraestrutura como Código, é importante manter tudo atualizado.  Uma alternativa ao Docker seria usar uma máquina virtual ou uma instalação bare metal. No entanto, acredito que os contêineres são o ambiente de teste perfeito para executar rastreadores efêmeros da Web porque são fáceis de provisionar e limpar. Posso executar muitos contêineres em uma única máquina, em paralelo, que podem ser iniciados e interrompidos quase instantaneamente. Então, sempre que eu precisar de isolamento adicional, toda essa configuração também pode ser executada de dentro de uma máquina virtual.  Navegador Tor  O Onion Router (Tor) é uma rede global de computadores que roteiam o tráfego por meio de uma série de saltos criptografados. Isso permite que um usuário navegue na Internet anonimamente e também permite que um usuário acesse sites que estão disponíveis apenas na Rede Tor.    é uma versão fortemente configurada do Firefox com foco em privacidade e segurança. Ele pode usar a Rede Tor pronta para uso. O Navegador Tor    está incluído em muitos sistemas operacionais Linux e torna extremamente fácil iniciar um navegador da Web na Rede Tor. O torbrowser-launcher  Selênio    é uma ferramenta para automatizar navegadores da web. Optei pelo Python neste exemplo, mas há muitas linguagens e ferramentas disponíveis. Selenium  Estarei usando o Selenium para automatizar este navegador Tor na rede Tor. Estou tentando aproveitar a configuração existente do navegador preocupado com a segurança para limitar o compartilhamento de informações aos alvos. Serei capaz de limpar os estados de tempo de execução dos contêineres parando-os. A sessão resultante do WebDriver terá um endereço IP aleatório fornecido pelo Tor, tornando-o uma ferramenta muito poderosa para web scraping.  Xvfb  O componente XOrg   pode ser usado para simular uma tela para o sistema X window. Em seguida, usarei esta tela para iniciar um servidor X no contêiner. Essa técnica de emulação não é particularmente rápida e os aplicativos gráficos pesados se beneficiarão de uma GPU. Xvfb  Visão geral dos arquivos  Os Dockerfiles devem ser construídos em qualquer distribuição Linux, macOS ou Windows que possa executar o Docker. Eu testei isso no Docker Desktop usando um processador Intel. Existe uma variante ARM para o contêiner base oficial do Kalilinux. Agradeceria o feedback de qualquer pessoa que tente executar isso no ARM.  Dockerfile  TorBrowser.Dockerfile  TorBrowser-root.Dockerfile  startx-once.sh  start-vnc-server-once.sh  ssh-keys.sh  torrc  .github/workflows/main.yml  Dockerfile  Este é o Dockerfile que usei para criar a imagem base. Eu adicionei alguns comentários para explicar o que cada linha faz.   # From the official Kali Linux Docker image rolling release FROM kalilinux/kali-rolling # Leaving this here for now, but it's not needed ARG DISPLAY_NUMBER=1 ENV DISPLAY=:$DISPLAY_NUMBER # Install the packages we need # Got lucky with this one, there was a ticket about this: # https://github.com/dnschneid/crouton/issues/4461 `xfce4 dbus-launch not found` in this version of the image so installing dbus-x11 RUN apt-get update -y -q \ && apt-get install -y -q xvfb xfce4 xfce4-goodies tightvncserver net-tools curl openssh-server dbus-x11 # This line copies the shell scripts from the local directory to the container, and makes them executable. COPY *.sh /opt/ RUN chmod 755 /opt/*.sh # This line runs the shell scripts that start the X server, and generate the SSH keys. RUN /opt/startx-once.sh RUN /opt/ssh-keys.sh # This line sets the entrypoint to bash, so that we can run commands in the container. ENTRYPOINT /bin/bash  startx-once.sh  Ajuda a iniciar o servidor X. Estou usando o comando Xvfb para iniciar o servidor X. Se houver um PID e algo estiver errado com o servidor X, posso interromper o processo e iniciá-lo novamente. Eu experimentei bloquear sessões X da rede, embora possa ser desnecessário, ainda estou adicionando de qualquer maneira:  -nolisten tcp discussão no superusuário   #!/bin/bash FILE=/opt/.x.pid if [[ -f "$FILE" ]]; then echo "$FILE exist" echo "PID: " `cat $FILE` else Xvfb -nolisten tcp $DISPLAY & echo $? > $FILE fi  ssh-keys.sh  Clientes VNC não são ideais para copiar e colar texto. Isso pode ser remediado adicionando chaves SSH ao contêiner para ajudar outros hosts a se conectarem a ele. Isso abre a possibilidade de usar túneis SSH para se conectar ao contêiner.  O seguinte comando   foi referenciado neste  ssh-keygen Artigo do Stack Exchange   #!/bin/bash # Generate SSH keys ssh-keygen -b 2048 -t rsa -f ~/.ssh/id_rsa -q -N "" cat ~/.ssh/id_rsa >> ~/.ssh/authorized_keys  Se vou usar essas chaves, preciso da chave privada em minha estação de trabalho. Estou usando os seguintes comandos para copiar a chave privada para minha máquina host do docker, mas há várias maneiras de fazer isso. Houve uma boa discussão sobre isso no   . Stack Overflow  Encontrando o ID do contêiner com o   : comando ps     docker ps  Usando o ID do contêiner para copiar com o   : comando cp   # For root docker cp <containerId>:/root/.ssh/id_rsa /target/path/on/host # Otherwise for the user configured in the Dockerfile docker cp <containerId>:/home/username/.ssh/id_rsa /target/path/on/host  torrc  Isso precisa ser copiado para o contêiner, mas são apenas seções não comentadas da configuração clichê que o Projeto Tor fornece   . aqui   # /etc/tor/torrc ## Tor opens a SOCKS proxy on port 9050 by default -- even if you don't ## configure one below. Set "SOCKSPort 0" if you plan to run Tor only ## as a relay, and not make any local application connections yourself. SOCKSPort 9050 # Default: Bind to localhost:9050 for local connections. #SOCKSPort 192.168.0.1:9100 # Bind to this address:port too. ## Uncomment this to start the process in the background... or use ## --runasdaemon 1 on the command line. This is ignored on Windows; ## see the FAQ entry if you want Tor to run as an NT service. RunAsDaemon 1 ## The port on which Tor will listen for local connections from Tor ## controller applications, as documented in control-spec.txt. ControlPort 9051 ## If you enable the controlport, be sure to enable one of these ## authentication methods, to prevent attackers from accessing it. #HashedControlPassword 16:872860B76453A77D60CA2BB8C1A7042072093276A3D701AD684053EC4C CookieAuthentication 1  TorBrowser.Dockerfile  Este Dockerfile se baseia no Dockerfile anterior e adiciona o Navegador Tor e o Python à mistura. Estou usando o pacote   para instalar o Navegador Tor. torbrowser-launcher   # From the base Dockerfile: FROM excitingtheory/kalilinux-xvfb ARG DISPLAY_NUMBER=1 ENV DISPLAY=:$DISPLAY_NUMBER # More info about torbrowser-launcher: # https://github.com/micahflee/torbrowser-launcher RUN apt-get update -y -q \ && apt-get install -y -q torbrowser-launcher python3 python3-pip # Create a user and add them to the sudo group, sudo still TBD but leaving for now, will not be able to switch users in this container. RUN useradd -s /bin/bash -m username \ && usermod -aG sudo username # Install python packages RUN pip3 install selenium pytest COPY torrc /etc/tor/torrc # Set the user and home directory for the container USER username ENV USER=username ENV HOME=/home/username # Run the shell scripts that start the X server, and generate the SSH keys. RUN /opt/startx-once.sh RUN /opt/ssh-keys.sh # This line sets the entrypoint to bash, so that we can run commands in the container. ENTRYPOINT /bin/bash  TorBrowser-root.Dockerfile  Assim como antes, mas com menos configuração. Usará o usuário root.   # From the base Dockerfile: FROM excitingtheory/kalilinux-xvfb ARG DISPLAY_NUMBER=1 ENV DISPLAY=:$DISPLAY_NUMBER # More info about torbrowser-launcher: # https://github.com/micahflee/torbrowser-launcher RUN apt-get update -y -q \ && apt-get install -y -q torbrowser-launcher python3 python3-pip # Install python packages RUN pip3 install selenium pytest # Copy the tor config file into the containera COPY torrc /etc/tor/torrc # Run the shell scripts that start the X server, and generate the SSH keys. RUN /opt/startx-once.sh RUN /opt/ssh-keys.sh # This line sets the entrypoint to bash, so that we can run commands in the container. ENTRYPOINT /bin/bash  .github/workflows/main.yml  O arquivo de fluxo de trabalho do Github Actions cria a imagem do Docker e a envia para o Docker Hub. Este é o fluxo de trabalho de estoque da   , com tags adicionais sendo enviadas. Adicionei uma  para acionar esta ação uma vez por dia.  documentação do Docker programação   name: docker build and push on: push: branches: - "main" schedule: - cron: '20 16 * * *' jobs: build: runs-on: ubuntu-latest steps: - name: Checkout uses: actions/checkout@v3 - name: Login to Docker Hub uses: docker/login-action@v2 with: username: ${{ secrets.DOCKERHUB_USERNAME }} password: ${{ secrets.DOCKERHUB_TOKEN }} - name: Set up Docker Buildx uses: docker/setup-buildx-action@v2 - name: Build and push base image uses: docker/build-push-action@v4 with: context: . file: ./Dockerfile push: true tags: excitingtheory/kalilinux-xvfb:latest - name: Build and push torbrowser root image uses: docker/build-push-action@v4 with: context: . file: ./TorBrowser-root.Dockerfile push: true tags: excitingtheory/kalilinux-xvfb:torbrowser-root - name: Build and push torbrowser image uses: docker/build-push-action@v4 with: context: . file: ./TorBrowser.Dockerfile push: true tags: excitingtheory/kalilinux-xvfb:torbrowser  Usando os Contêineres  Agora posso testar os contêineres e ver se funcionam. Vou usar a tag   para este exemplo. torbrowser  Construindo os Contêineres (Opcional)  Consulte a   para obter mais informações sobre o comando   . Para criar contêineres localmente, uso os seguintes comandos, caso contrário, eles podem ser extraídos do Docker Hub sob demanda durante as próximas etapas. documentação do Docker CLI Build docker build   docker build -t excitingtheory/kalilinux-xvfb . docker build -t excitingtheory/kalilinux:torbrowser -f TorBrowser.Dockerfile . docker build -t excitingtheory/kalilinux:torbrowser-root -f TorBrowser-root.Dockerfile .  Executando os contêineres com um volume  Preciso montar um volume no contêiner para poder acessar os arquivos nos quais estou trabalhando. Estou usando o diretório   como um volume. ${HOME}/src  Algumas notas breves sobre os sinalizadores que estamos usando estão incluídas abaixo, caso contrário, consulte a   para obter mais informações sobre o comando   . documentação de execução da CLI do Docker docker run    usado para executar o contêiner no modo interativo. -it    é usado para remover as camadas do contêiner ao sair. --rm    é usado para mapear a porta do contêiner para a máquina host. -p    é usado para montar um volume da máquina host para o contêiner. -v   # Run the base container docker run -it --rm -p 5901:5901 -v "${HOME}/src":/src excitingtheory/kalilinux-xvfb # Run the container with the default user docker run -it --rm -p 5901:5901 -v "${HOME}/src":/src excitingtheory/kalilinux-xvfb:torbrowser # Run the container with the root user docker run -it --rm -p 5901:5901 -v "${HOME}/src":/src excitingtheory/kalilinux-xvfb:torbrowser-root  Usando o Navegador Tor a partir do Contêiner  Em seguida, quero abrir o contêiner do usuário, fazer login por meio do VNC e executar o Tor Browser Launcher para verificar se tudo está funcionando até agora. O iniciador do navegador Tor não funcionará com o usuário root.  Inicie o contêiner com o usuário padrão:   docker run -it --rm -p 5901:5901 -v "${HOME}/src":/src excitingtheory/kalilinux-xvfb:torbrowser  Iniciando o servidor VNC no contêiner, o servidor solicitará a senha principal, estou definindo uma senha adicional somente para visualização.   /opt/start-vnc-server-once.sh  Abaixo está um exemplo da saída.   Conectar no macOS  A caixa de diálogo conectar ao servidor pode ser encontrada no menu localizador:   ->   .  Go Connect to Server  Quando a caixa de diálogo estiver aberta, insira o endereço   e clique em   . Salvei este endereço como favorito para facilitar o acesso. vnc://localhost:5901 Connect  Conectar no Windows  Um cliente vnc como o TightVNC pode se conectar a ele em   . localhost:5901  Conectado ao Kali Linux Xfce4 Desktop  Uma vez conectado, posso ver a área de trabalho do xfce4.   Agora posso iniciar o Tor Browser Launcher a partir do terminal na sessão VNC.     torbrowser-launcher  Assim que o navegador estiver aberto, posso verificar se está funcionando acessando o  Verificador de conexão do projeto Tor  Um exemplo de teste bem-sucedido:   Abri o site na minha máquina host, que não estava conectada, para comparar:   Progresso até agora  Esta é a configuração do sistema operacional que eu queria terminar antes de começar a trabalhar com Selenium e Python. Para recapitular, fiz o seguinte:  Dependências instaladas para Selenium, Python e um ambiente de desktop xfce4 simples.  Construiu e enviou três imagens interdependentes do Docker com o GitHub Actions.  Iniciado com sucesso um servidor VNC em um contêiner do Docker.  Conectado ao ambiente de área de trabalho de um contêiner em execução com um cliente VNC.  Testei a execução do Tor Browser Launcher a partir do contêiner e verifiquei se ele está se conectando à rede Tor.  Agora que existe um ambiente de contêiner funcional. Confira o próximo post desta série sobre a raspagem da web Python secreta.

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Come code with me!

"Use Kali Linux Docker Containers to Support Covert Web Scraping"

Read My Stories

DevOps Engineer

Este áudio é produzido no idioma original da história!

Use Kali Linux Docker Containers para oferecer suporte à raspagem secreta da Web

About Author

COMENTARIOS

Rótulos

ESTE ARTIGO FOI APRESENTADO EM

Related Stories

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Toque para ganhar: Telegram pode integrar os próximos 10 bilhões de usuários criptográficos antes de Solana

As camadas invisíveis: por que as entrevistas com usuários são um ativo insubstituível

Quer ganhar um concurso de redação do HackerNoon? Aqui está o que os vencedores do concurso #crypto-api recomendam

Guia do arquiteto para construir arquitetura de referência para um Datalake de IA/ML

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps