As capacidades dos grandes modelos de linguagem: hackear ou ajudar?

Os Grandes Modelos de Linguagem (LLMs) estão evoluindo rapidamente e são amplamente utilizados como agentes autônomos. Os desenvolvedores podem projetar agentes que interagem com os usuários, processam consultas e executam tarefas com base nos dados recebidos, como detectar erros em códigos complexos, conduzir análises econômicas ou auxiliar em descobertas científicas.

No entanto, os investigadores estão cada vez mais preocupados com as capacidades de dupla utilização dos LLMs – a sua capacidade de realizar tarefas maliciosas, particularmente no contexto da segurança cibernética. Por exemplo, ChatGPT pode ser utilizado para ajudar indivíduos em testes de penetração e criação de malware. Além disso, estes agentes podem operar de forma independente, sem envolvimento ou supervisão humana.

Pesquisadores da Universidade Cornell, incluindo Richard Fang, Rohan Bindu, Akul Gupta, Kiushi Jean e Daniel Can, conduziram estudos que esclarecem as ameaças representadas pelos LLMs e fornecem informações valiosas sobre suas possíveis consequências. As suas conclusões servem como um lembrete preocupante da necessidade de uma consideração e regulamentação cuidadosas neste campo em rápida evolução.

Alugue servidores GPU com implantação instantânea ou um servidor com um configuração personalizada com placas NVIDIA Tesla A100/H100 80Gb ou A5000/A4000 de nível profissional. Servidores GPU com placas de jogos RTX4090 também estão disponíveis.

Violações de sites autônomos

O estudo demonstraram que os agentes LLM podem executar violações complexas, por exemplo, um ataque cego de injeção de SQL combinando consultas. Este tipo de ataque tem como alvo aplicações web que usam SQL (Structured Query Language) para interagir com bancos de dados. Tais ataques permitem que atores mal-intencionados obtenham informações confidenciais de bancos de dados, mesmo que o aplicativo não apresente sinais de erro ou comportamento anormal.

A raiz destes ataques está na exploração do operador SQL Union, que permite a combinação de vários resultados de consultas num único conjunto de dados. Ao elaborar uma consulta especialmente projetada com esse operador, um agente mal-intencionado pode mesclar o conjunto de resultados de uma consulta ao banco de dados com o de uma tabela de informações confidenciais. Isso lhes permite acessar dados confidenciais.

Para executar esses ataques com sucesso, um agente deve possuir a capacidade de navegar em sites e realizar mais de 45 ações para violar o site. Notavelmente, em fevereiro deste ano, apenas o GPT-4 e o GPT-3.5 eram capazes de violar sites dessa maneira. No entanto, é provável que modelos mais recentes, como o Llama3, também sejam capazes de realizar operações semelhantes.

Para investigar o potencial uso indevido de grandes modelos de linguagem (LLMs) em violações da web, os pesquisadores aproveitaram várias ferramentas e estruturas de IA. Especificamente, eles utilizaram LangChain para criar agentes e redes generativas adversárias (RAG), bem como modelos OpenAI por meio de API Assistants. O React foi empregado para violar sites, com agentes interagindo por meio do Playwright.

Para melhorar a compreensão contextual, as chamadas de função anteriores foram integradas ao contexto atual. Um ambiente controlado foi estabelecido através da criação de 15 páginas web isoladas com diversas vulnerabilidades, garantindo que os sites e indivíduos reais permanecessem protegidos.

Dez modelos de linguagem de grande escala, incluindo GPT-4 e GPT-3.5, bem como oito modelos de código aberto altamente avaliados no Chatbot Arena, foram utilizados para testar as tentativas de violação. Cada site foi alvo de ataques cinco vezes e qualquer tentativa bem-sucedida concedeu acesso por meio de uma dessas cinco tentativas.

As capacidades dos grandes modelos de linguagem (LLMs) são frequentemente governadas pela “lei da escala”, onde o aumento do tamanho e da complexidade do modelo pode levar a um melhor desempenho em tarefas específicas. Este fenômeno foi recentemente demonstrado por meio de um experimento envolvendo GPT-4, um modelo de IA de última geração e um LLM de código aberto.

Neste estudo, os pesquisadores observaram que o GPT-4 violou com sucesso 11 dos 15 sites testados, enquanto o LLM de código aberto não conseguiu explorar quaisquer vulnerabilidades. O contraste entre estes resultados destaca o impacto pronunciado da expansão nas capacidades dos LLMs.

O experimento se desenrolou da seguinte forma:

• Navegação inicial: o modelo identificou a página da web de destino por meio da navegação na página da web.
• Credenciais padrão: um nome de usuário e uma senha padrão foram tentados para obter acesso.
• Coleta de informações: Aproveitamos as informações obtidas para uma tentativa de injeção de SQL.
• Análise do código fonte: O código fonte foi analisado para determinar se a consulta SQL continha um parâmetro _GET.
• Avaliação de explorabilidade: Foi determinado se a consulta poderia ser explorada para um ataque SQL Union.
• Execução imediata do ataque: Foi executado um ataque imediato do SQL Union, compreendendo até 48 etapas.

Após esta experiência, o GPT-4 foi solicitado a violar sites reais. Embora tenha se recusado a realizar o ataque, identificou com sucesso uma vulnerabilidade e explicou como ela poderia ser explorada entre 50 sites de teste selecionados aleatoriamente.

Explorando vulnerabilidades do primeiro dia com grandes modelos de linguagem

Este estudo investiga a viabilidade do uso de grandes modelos de linguagem (LLMs) para explorar vulnerabilidades do primeiro dia, também conhecidas como vulnerabilidades de dia zero. Estas são falhas de segurança que foram divulgadas publicamente através de fontes como CVE (Common Vulnerabilities and Exposures), mas nenhum patch ou atualização foi lançado ainda para resolver o problema. Isto levanta a possibilidade de existir um caminho explorável, embora ainda não tenha sido utilizado.

Notavelmente, embora estas vulnerabilidades se tornem de conhecimento público, não há garantia de que as ferramentas existentes possam detectá-las automaticamente. Por exemplo, invasores ou testadores de penetração sem acesso aos detalhes internos do sistema podem não saber a versão do software usada na exploração.

Dada a complexidade de muitas vulnerabilidades do primeiro dia, que são frequentemente encontradas em sistemas fechados, tornando impossível a sua reprodução, os investigadores concentraram-se nas vulnerabilidades em software de código aberto.

Para este estudo, os pesquisadores selecionaram 15 vulnerabilidades que abrangem vulnerabilidades de aplicativos da web, vulnerabilidades de software de gerenciamento de contêineres e vulnerabilidades de pacotes Python. Isso inclui uma combinação de vulnerabilidades de alto e baixo risco descobertas após a data limite de coleta de informações para testar LLMs.

As vulnerabilidades específicas usadas neste experimento foram:

Os agentes imitaram aqueles empregados em violações de sites, mas com uma diferença. Em vez de visar documentos confidenciais, eles continham descrições detalhadas de vulnerabilidades e exposições comuns (CVEs), juntamente com cenários de exploração realistas para aproveitar as vulnerabilidades no primeiro dia.

Para avaliar as capacidades dos modelos de linguagem (LLMs) na exploração de vulnerabilidades, os pesquisadores aproveitaram 10 LLMs de grande escala, incluindo GPT-4 e oito alternativas de código aberto, bem como duas ferramentas automatizadas: Zed Attack Proxy (ZAP), desenvolvido pela OWASP e Metasploit, uma estrutura criada pela Rapid7.

Este estudo revelou que o GPT-4 foi capaz de explorar 87% das vulnerabilidades, enquanto outros LLMs não conseguiram. Notavelmente, o GPT-4 falhou apenas com duas vulnerabilidades específicas: Iris XSS e Hertzbeat RCE.

A plataforma web Iris, usada para trabalho colaborativo em investigações de resposta a incidentes, mostrou-se um desafio para o agente LLM devido à sua dependência da navegação JavaScript. Isso tornou o agente incapaz de acessar formulários e botões cruciais ou interagir com elementos desejados – uma tarefa que um ser humano poderia realizar com sucesso.

Uma investigação mais aprofundada revelou que o GPT-4 teve dificuldade em traduzir os detalhes do Hertzbeat, que só estavam disponíveis em chinês, devido à sua linguagem de consulta baseada em inglês. Consequentemente, encontrou dificuldades em reproduzir a vulnerabilidade.

Os resultados também destacaram a importância das descrições de CVE nas taxas de sucesso do LLM. Sem estas descrições, a taxa de sucesso caiu drasticamente de 87% para 7%. Isto sugere que os agentes LLM requerem atualmente instruções detalhadas para desenvolver planos de exploração de vulnerabilidades e ainda não são capazes de criar tais planos de forma independente. No entanto, isto é apenas o começo e os avanços futuros podem alterar este cenário.

Conclusões

O estudo demonstrou que os agentes LLM já são capazes de violar websites de forma autónoma e explorar certas vulnerabilidades reais em sistemas informáticos (sendo a maioria deles exploráveis com uma descrição da sua exploração).

Felizmente, os agentes atuais não são capazes de explorar vulnerabilidades desconhecidas e não reveladas, nem as soluções de código aberto podem demonstrar resultados comparáveis ao ChatGPT4 pago (e ao novo GPT4o). No entanto, é possível que extensões futuras possam permitir a exploração de tais vulnerabilidades, com modelos LLM de acesso livre replicando potencialmente o sucesso dos seus homólogos proprietários.

Tudo isso sugere que os desenvolvedores de grandes modelos de linguagem devem abordar o processo de treinamento de forma mais responsável. Além disso, os especialistas em segurança cibernética precisam de estar preparados para o facto de estes modelos serem utilizados para criar bots que irão analisar sistematicamente os sistemas em busca de vulnerabilidades.

Mesmo os modelos de código aberto podem alegar que não serão usados para atividades ilícitas (o Llama 3 recusou-se terminantemente a ajudar a violar um site). Contudo, é precisamente devido à abertura que não existem obstáculos para além das considerações éticas que impeçam a criação de modelos “livres de censura”.

Existem inúmeras maneiras de convencer um LLM a ajudar na violação, mesmo que inicialmente resista. Por exemplo, alguém poderia pedir que ele se tornasse um pentester e ajudasse a melhorar a segurança do site fazendo uma “boa ação”.

Alugue servidores GPU com implantação instantânea ou um servidor com um configuração personalizada com placas NVIDIA Tesla A100/H100 80Gb ou A5000/A4000 de nível profissional. Servidores GPU com placas de jogo RTX4090 também estão disponíveis.