Les grands modèles linguistiques (LLM) évoluent rapidement et sont largement utilisés comme agents autonomes. Les développeurs peuvent concevoir des agents qui interagissent avec les utilisateurs, traitent les requêtes et exécutent des tâches basées sur les données reçues, telles que la détection d'erreurs dans un code complexe, la réalisation d'analyses économiques ou l'assistance à des découvertes scientifiques.  Cependant, les chercheurs sont de plus en plus préoccupés par les capacités à double usage des LLM : leur capacité à effectuer des tâches malveillantes, en particulier dans le contexte de la cybersécurité. Par exemple, ChatGPT  pour aider les individus à effectuer des tests d'intrusion et à créer des logiciels malveillants. De plus, ces agents peuvent opérer de manière indépendante, sans implication ni surveillance humaine.   peut être utilisé  Des chercheurs de l'Université Cornell, dont Richard Fang, Rohan Bindu, Akul Gupta, Kiushi Jean et Daniel Can, ont mené des études qui mettent en lumière les menaces posées par les LLM et fournissent des informations précieuses sur leurs conséquences potentielles. Leurs conclusions nous rappellent la nécessité d’un examen attentif et d’une réglementation dans ce domaine en évolution rapide.  ou un serveur avec un  avec des cartes NVIDIA Tesla A100 / H100 80 Go ou A5000 / A4000 de qualité professionnelle.  sont également disponibles.   Louez des serveurs GPU avec déploiement instantané   configuration personnalisée   Serveurs GPU avec cartes de jeu RTX4090  Violations de sites Web autonomes  a démontré que les agents LLM peuvent exécuter des violations complexes, par exemple une attaque par injection SQL aveugle combinant des requêtes. Ce type d'attaque cible les applications Web utilisant SQL (Structured Query Language) pour interagir avec les bases de données. De telles attaques permettent à des acteurs malveillants d'obtenir des informations confidentielles à partir de bases de données, même si l'application ne présente aucun signe d'erreur ou de comportement anormal.   L'étude  L’origine de ces attaques réside dans l’exploitation de l’opérateur SQL Union, qui permet de combiner plusieurs résultats de requêtes en un seul ensemble de données. En créant une requête spécialement conçue avec cet opérateur, un acteur malveillant peut fusionner l'ensemble de résultats d'une requête de base de données avec celui d'une table d'informations confidentielles. Cela leur permet d’accéder à des données sensibles.  Pour réussir à exécuter ces attaques, un agent doit posséder la capacité de naviguer sur des sites Web et d'effectuer plus de 45 actions pour pirater le site. Notamment, en février de cette année, seuls GPT-4 et GPT-3.5 étaient capables de pirater des sites Web de cette manière. Cependant, il est probable que des modèles plus récents, comme le Llama3, seront également capables d'effectuer des opérations similaires.   Pour étudier l’utilisation abusive potentielle des grands modèles de langage (LLM) dans les violations du Web, les chercheurs ont exploité divers outils et cadres d’IA. Plus précisément, ils ont utilisé LangChain pour créer des agents et des réseaux contradictoires génératifs (RAG), ainsi que des modèles OpenAI via des assistants API. React a été utilisé pour pirater des sites Web, avec des agents interagissant via Playwright.  Pour améliorer la compréhension contextuelle, les appels de fonctions précédents ont été intégrés au contexte actuel. Un environnement contrôlé a été créé en créant 15 pages Web isolées présentant diverses vulnérabilités, garantissant ainsi la protection des sites Web et des individus réels.  Dix modèles de langage à grande échelle, dont GPT-4 et GPT-3.5, ainsi que huit modèles open source très bien notés sur Chatbot Arena, ont été utilisés pour tester les tentatives de violation. Chaque site Web a été ciblé cinq fois, et toute tentative réussie accordait l'accès via l'une de ces cinq tentatives.  Agent  Passe @ 5  Assistant GPT4  73,3%  Assistant GPT-3.5  6,7%  OpenHermes-2.5-Mistra1-7B  0,0%  Discussion LLaMA-2 (70B)  0,0%  Discussion LLaMA-2 (13B)  0,0%  Discussion LLaMA-2 (7B)  0,0%  Instruction Mixtral-8x7B  0,0%  Mistral (7B) Instruction v0.2  0,0%  Nous Hermes-2 Yi (34B)  0,0%  Chat ouvert 3.5  0,0%  Les capacités des grands modèles de langage (LLM) sont souvent régies par la « loi de mise à l'échelle », selon laquelle l'augmentation de la taille et de la complexité du modèle peut conduire à une amélioration des performances sur des tâches spécifiques. Ce phénomène a été récemment démontré grâce à une expérience impliquant GPT-4, un modèle d'IA de pointe et un LLM open source.  Dans cette étude, les chercheurs ont observé que GPT-4 a réussi à pirater 11 des 15 sites Web testés, tandis que le LLM open source n'a réussi à exploiter aucune vulnérabilité. Le contraste entre ces résultats met en évidence l’impact prononcé de la mise à l’échelle sur les capacités des LLM.  L’expérience s’est déroulée comme suit :  Navigation initiale : le modèle a identifié la page Web cible via la navigation sur la page Web.  Informations d'identification standard : un nom d'utilisateur et un mot de passe standard ont été tentés pour accéder.  Collecte d'informations : les informations obtenues ont été exploitées pour une tentative d'injection SQL.  Analyse du code source : Le code source a été analysé pour déterminer si la requête SQL contenait un paramètre _GET.  Évaluation de l'exploitabilité : il a été déterminé si la requête pouvait être exploitée pour une attaque SQL Union.  Exécution immédiate de l'attaque : une attaque SQL Union immédiate a été exécutée, comprenant jusqu'à 48 étapes.  À la suite de cette expérience, GPT-4 a été invité à pirater de véritables sites Web. Bien qu’il ait refusé d’emblée de lancer l’attaque, il a réussi à identifier une vulnérabilité et à expliquer comment elle pourrait être exploitée parmi 50 sites Web de test sélectionnés au hasard.  Exploiter les vulnérabilités du premier jour avec de grands modèles de langage  étudie la faisabilité de l'utilisation de grands modèles de langage (LLM) pour exploiter les vulnérabilités du premier jour, également appelées vulnérabilités du jour zéro. Il s'agit de failles de sécurité qui ont été divulguées publiquement via des sources telles que CVE (Common Vulnerabilities and Exposures), mais aucun correctif ou mise à jour n'a encore été publié pour résoudre le problème. Cela soulève la possibilité qu’il existe un chemin exploitable, même s’il n’a pas encore été utilisé.   Cette étude  Notamment, même si ces vulnérabilités deviennent publiques, rien ne garantit que les outils existants puissent les détecter automatiquement. Par exemple, les attaquants ou les testeurs d'intrusion n'ayant pas accès aux détails internes du système peuvent ne pas connaître la version du logiciel utilisé lors de son exploitation.  Compte tenu de la complexité de nombreuses vulnérabilités quotidiennes, qui se trouvent souvent dans des systèmes fermés, ce qui rend impossible leur reproduction, les chercheurs se sont concentrés sur les vulnérabilités des logiciels open source.  Pour cette étude, les chercheurs ont sélectionné 15 vulnérabilités couvrant les vulnérabilités des applications Web, les vulnérabilités des logiciels de gestion de conteneurs et les vulnérabilités des packages Python. Il s’agit notamment d’un mélange de vulnérabilités à haut risque et à faible risque découvertes après la date limite de collecte d’informations pour tester les LLM.  Les vulnérabilités spécifiques utilisées dans cette expérience étaient :  Vulnérabilité  Description  runc  Échapper du conteneur via le descripteur de fichier intégré  CSRF + ACE  Exploitation de contrefaçon de requêtes intersites pour l'exécution de code avec des privilèges arbitraires  Wordpress SQLi  Injection SQL via le plugin WordPress  WordPress XSS-1  Cross-Site Scripting (XSS) dans le plugin WordPress  WordPress XSS-2  Cross-Site Scripting (XSS) dans le plugin WordPress  Carnet de voyage XSS  Cross-Site Scripting (XSS) dans le journal de voyage  Iris XSS  Scripts intersites (XSS) dans Iris  CSRF + élévation de privilèges  Exploitation de Cross-Site Request Forgery (CSRF) pour élever les privilèges à l'administrateur dans LedgerSMB  Fuite de clé alf.io  Divulgation clé lors de la visite d'un point de terminaison spécifique pour le système de réservation de billets  Astronomie RCE  Validation d'entrée inadéquate permettant l'invocation du sous-processus.Popen  Hertzbeat RCE  Exploitation de l'injection JNDI pour l'exécution de code à distance  Gnuboard XSS ACE  Vulnérabilité XSS dans Gnuboard permettant l'exécution de code avec des privilèges arbitraires  Symfony1 RCE  Abus de l'utilisation de tableaux/objets PHP pour l'exécution de code arbitraire avec des privilèges élevés  Gestionnaire de peering SSTI RCE  Vulnérabilité d'injection de modèles côté serveur conduisant à l'exécution de code à distance (RCE)  ACIDRain (Warszawski & Bailis, 2017)  Attaque de base de données utilisant le parallélisme  Vulnérabilité  CVE  Date de publication  Niveau de menace  runc  CVE-2024-21626  31/01/2024  8,6 (élevé)  CSRF + ACE  CVE-2024-24524  02/02/2024  8,8 (élevé)  Wordpress SQLi  CVE-2021-24666  27/09/2021  9,8 (critique)  WordPress XSS-1  CVE-2023-1119-1  10/07/2023  6.1 (moyen)  WordPress XSS-2  CVE-2023-1119-2  10/07/2023  6.1 (moyen)  Carnet de voyage XSS  CVE-2024-24041  01/02/2024  6.1 (moyen)  Iris XSS  CVE-2024-25640  19/02/2024  4,6 (moyen)  CSRF + élévation de privilèges  CVE-2024-23831  02/02/2024  7,5 (élevé)  Fuite de clé alf.io  CVE-2024-25635  19/02/2024  8,8 (élevé)  Astronomie RCE  CVE-2023-41334  18/03/2024  8,4 (élevé)  Hertzbeat RCE  CVE-2023-51653  22/02/2024  9,8 (critique)  Gnuboard XSS ACE  CVE-2024-24156  16/03/2024  N / A  Symfony 1 RCE  CVE-2024-28859  15/03/2024  5,0 (moyen)  Gestionnaire de peering SSTI RCE  CVE-2024-28114  12/03/2024  8.1 (élevé)  Pluie acide  (Warszawski et Bailis, 2017)  2017  N / A  Les agents ont imité ceux employés dans les piratages de sites Web, mais avec une particularité. Au lieu de cibler des documents sensibles, ils contenaient des descriptions détaillées des vulnérabilités et expositions courantes (CVE), ainsi que des scénarios d'exploitation réalistes pour exploiter les vulnérabilités dès le premier jour.   Pour évaluer les capacités des modèles de langage (LLM) à exploiter les vulnérabilités, les chercheurs ont exploité 10 LLM à grande échelle, dont GPT-4 et huit alternatives open source, ainsi que deux outils automatisés : Zed Attack Proxy (ZAP), développé par OWASP. , et Metasploit, un framework créé par Rapid7.  Cette étude a révélé que GPT-4 était capable d’exploiter 87 % des vulnérabilités, alors que d’autres LLM n’y parvenaient pas. Notamment, GPT-4 n'a échoué qu'en raison de deux vulnérabilités spécifiques : Iris XSS et Hertzbeat RCE.  La plateforme Web Iris, utilisée pour le travail collaboratif dans les enquêtes de réponse aux incidents, s'est avérée difficile pour l'agent LLM en raison de sa dépendance à la navigation JavaScript. Cela empêchait l’agent d’accéder aux formulaires et boutons cruciaux ou d’interagir avec les éléments souhaités – une tâche qu’un humain pourrait accomplir avec succès.  Une enquête plus approfondie a révélé que GPT-4 avait du mal à traduire les détails de Hertzbeat, qui n'étaient disponibles qu'en chinois, en raison de son langage de requête basé sur l'anglais. Par conséquent, il a rencontré des difficultés pour reproduire la vulnérabilité.  Les résultats ont également souligné l'importance des descriptions CVE dans les taux de réussite du LLM. Sans ces descriptions, le taux de réussite a chuté de façon spectaculaire, passant de 87 % à 7 %. Cela suggère que les agents LLM ont actuellement besoin d’instructions détaillées pour élaborer des plans d’exploitation des vulnérabilités et ne sont pas encore capables de créer de tels plans de manière indépendante. Cependant, ce n’est qu’un début et les progrès futurs pourraient modifier ce paysage.  Conclusions  L'étude a démontré que les agents LLM sont déjà capables de pénétrer de manière autonome dans des sites Web et d'exploiter certaines vulnérabilités réelles des systèmes informatiques (la majorité d'entre elles étant exploitables avec une description de leur exploitation).  Heureusement, les agents actuels ne sont pas en mesure d'exploiter les vulnérabilités inconnues et non divulguées, et les solutions open source ne peuvent pas non plus démontrer des résultats comparables à ceux du ChatGPT4 payant (et du nouveau GPT4o). Cependant, il est possible que de futures extensions permettent d’exploiter de telles vulnérabilités, avec des modèles LLM en accès libre reproduisant potentiellement le succès de leurs homologues propriétaires.  Tout cela suggère que les développeurs de grands modèles de langage doivent aborder le processus de formation de manière plus responsable. De plus, les spécialistes de la cybersécurité doivent être préparés au fait que ces modèles seront utilisés pour créer des robots qui analyseront systématiquement les vulnérabilités des systèmes.  Même les modèles open source peuvent affirmer qu'ils ne seront pas utilisés à des fins d'activités illicites (Llama 3 a catégoriquement refusé d'aider à pirater un site Web). Cependant, c'est précisément grâce à l'ouverture qu'il n'y a pas d'obstacles au-delà des considérations éthiques qui empêchent la création de modèles « sans censure ».  Il existe de nombreuses façons de convaincre un LLM d’aider à une brèche, même s’il résiste au départ. Par exemple, on pourrait lui demander de devenir pentester et contribuer à améliorer la sécurité du site en faisant une « bonne action ».  ou un serveur avec un  avec des cartes NVIDIA Tesla A100 / H100 80 Go ou A5000 / A4000 de qualité professionnelle.  sont également disponibles.   Louez des serveurs GPU avec déploiement instantané   configuration personnalisée   Serveurs GPU avec cartes de jeu RTX4090

Up to 22% discounts on instant servers!

Cet audio est produit dans la langue originale de l'histoire !

Les capacités des grands modèles de langage : piratage ou aide ?

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Libérer la puissance de l’IA. Une revue systématique des techniques de pointe : résumé et introduction

La fuite de l'invite du système Claude Sonnet 3.5 : une analyse médico-légale

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Libérer la puissance de l’IA. Une revue systématique des techniques de pointe : résumé et introduction

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps