Cela ressemble à de la science-fiction, mais avec tout le battage médiatique autour de l’IA, le danger du « kidnapping » mérite d’être évoqué.  Cela se passe comme ceci : les entreprises qui peuvent se permettre de créer leurs propres LLM internes jettent toute leur précieuse propriété intellectuelle (propriété intellectuelle, couvrant tout, des conceptions de secrets commerciaux aux campagnes marketing et stratégies de produits) dans le modèle pour que celui-ci génère des réponses pertinentes. Essentiellement, même s’il s’agit toujours d’un modèle d’IA non sensible, il s’agit également d’un référentiel de toutes les informations les plus précieuses dont dispose l’entreprise.  Cela en fait une cible fantastique pour un attaquant criminel, voire pour un concurrent contraire à l’éthique. S'il peut être empoisonné pour générer de mauvaises réponses, cloné pour donner à l'attaquant plus de connaissances privilégiées qu'il ne sait quoi faire, ou même verrouillé d'une manière ou d'une autre contre une rançon, alors il peut causer d'énormes dommages à l'entreprise.   Les entreprises ont du mal à sécuriser leurs systèmes, les gros titres faisant régulièrement la une des journaux montrant de grandes entreprises victimes de violations. Un modèle LLM, contenant tout sur l'entreprise, va rapidement devenir une cible privilégiée pour le « kidnapping » virtuel.  Qu'il s'agisse d'adapter un ransomware pour chiffrer des modèles, de les exfiltrer et de détruire la copie locale, ou de les transformer en une menace interne (par exemple, si le LLM a été intégré aux systèmes de facturation et de finance de l'entreprise sans surveillance humaine efficace), le potentiel car le mal est dramatique.  Pire encore, la valeur de ces modèles viendra de leur disponibilité et de leur accessibilité au sein de l’entreprise. Si personne ne peut les utiliser, ils ne sont qu’un puits de ressources. Ils doivent être utilisés efficacement pour avoir de la valeur, ce qui signifie qu’ils doivent être accessibles. Comment faire correspondre le besoin de disponibilité avec le besoin de sécurité sur ces systèmes ?  La sécurité des logiciels est-elle suffisante ?  Peut-être que les réseaux définis par logiciel pourraient être une solution ? Le problème est que toute solution logicielle est intrinsèquement vulnérable aux compromissions. Et si nous parlons d'un LLM intégré aux systèmes administratifs (cela est déjà en cours, l'éthique et les risques de cela constituent un article à part entière - peut-être un livre), alors ce serait la simplicité même pour un malveillant. partie pour inciter l’IA à créer une voie d’entrée pour de nouvelles attaques.  Les solutions logicielles et les dispositifs classiques tels que les pare-feu et les diodes de données ont certainement leur place dans la conception d'un système d'IA sécurisé, mais quelque chose qui a tant de valeur pour une entreprise justifie une approche beaucoup plus absolue. Si nous optons pour la vieille école, ce dont nous parlerions comme dernier recours en cas d’attaque, c’est de débrancher. En fin de compte, à moins qu’un attaquant ne puisse modifier les lois de la physique (ou ne se trouve à l’intérieur du centre de données, ce qui est peu probable), débrancher le réseau est plutôt imbattable.  Le problème est que débrancher et reconnecter le réseau prend du temps - appeler votre ingénieur réseau pour le brancher ou le débrancher à chaque fois que vous souhaitez envoyer une invite autorisée ne semble pas une bonne option.  Le coupe-feu Boucle d'or  Je suis récemment tombé sur un dispositif de sécurité qui m'a impressionné, ce qui n'arrive pas souvent de nos jours. Ce n’est pas à cause de sa toute nouvelle technologie de pare-feu quantique Dark Web AI, comme le annoncent de nombreux fournisseurs ces jours-ci. Au lieu de cela, c'est parce que c'est une entreprise qui a pris une idée très ancienne, y a réfléchi et l'a mise à jour d'une manière qui ouvre de nombreuses possibilités pour des topologies de réseau sécurisées.  L'approche est simple et plutôt imbattable (évidemment, rien n'est sécurisé à 100 %, mais les vecteurs d'attaque contre une déconnexion physique sont extrêmement rares). Essentiellement, le   (par opposition au pare-feu, bien sûr) débranche le câble réseau sur commande - ou le rebranche. Il ne s'agit pas vraiment d'avoir quelqu'un de garde dans le centre de données pour manipuler les câbles à la demande, mais c'est une façon simple de penser à ce sujet - sauf que la personne peut brancher ou débrancher les câbles en une fraction de seconde en réponse aux invites de n'importe quelle méthode de votre choix. FireBreak  Souvent, les réseaux de gestion ne sont séparés que par un pare-feu, alors que FireBreak lui-même dispose d'un plan de contrôle complètement hors bande du réseau. Je peux facilement imaginer associer FireBreak à votre système de tickets pour connecter physiquement les plans de gestion uniquement pendant les fenêtres de changement définies, les rendant ainsi indisponibles même pour l'attaquant le plus privilégié sans passer par un processus documenté.  « Opérant dans une « ère post-violation », le secteur de la sécurité semble résigné à l'idée que les cyberattaques sont une question de «   et non de «   . Chez Goldilock, nous voulions trouver un moyen de permettre aux individus et aux organisations de prendre davantage de responsabilités et de contrôler ce qu'il advient de leurs données. Notre produit phare, FireBreak, est né de cette idée. Son approche matérielle permet aux utilisateurs de segmenter physiquement tous les actifs numériques, des LLM aux réseaux entiers, à distance, instantanément et sans utiliser Internet. quand » si »  Cela permet aux utilisateurs de se connecter et de se déconnecter physiquement en cas de besoin, où qu'ils se trouvent dans le monde, cachant ainsi tous les actifs et améliorant leur profondeur de défense existante, y compris contre l'IA, qui n'est essentiellement qu'un type de logiciel.  En fin de compte, nous voulons que les gens repensent ce qui doit être conservé en ligne et s'éloignent du modèle « toujours actif » qui peut laisser des données sensibles exposées. Parce que toutes les données conservées en ligne risquent d’être violées. Alors que de plus en plus d’entreprises forment leurs propres modèles LLM en interne, un nouveau domaine de considérations en matière de sécurité doit être pris en compte. La segmentation des réseaux devrait faire partie d'une stratégie globale de cybersécurité qui éloigne les acteurs malveillants et garantit qu'ils peuvent être stoppés dans leur élan s'ils enfreignent les paramètres externes.  -- Tony Hasek, PDG et co-fondateur de Goldilock  Alors, en quoi cela aide-t-il avec les enlèvements de LLM ?  Les modèles LLM sont grands. Personne ne va en cloner un en quelques secondes. Ils peuvent également être utilisés de manière asynchrone : ils ne dépendent pas d'une connexion constante pour générer une réponse à une invite et peuvent facilement se reconnecter et l'envoyer une fois terminé, au lieu de travailler dans une session interactive.  Il n'est pas nécessaire qu'un utilisateur ait une session active sur le LLM pendant qu'il génère une invite. Ils n'ont pas besoin d'avoir une connexion active pendant qu'ils attendent que la réponse soit générée. Se connecter uniquement pendant la fraction de seconde nécessaire pour envoyer une invite ou recevoir la réponse est un moyen très efficace de minimiser le temps d’exposition aux menaces.  Cette déconnexion/reconnexion se produit trop rapidement pour que les humains soient conscients d'un quelconque retard, et les LLM ont très peu de cas d'utilisation qui sont critiques en termes de temps au niveau des microsecondes.  Ce n’est pas la seule couche de sécurité à appliquer, et il existe de nombreuses autres façons de l’appliquer, mais elle mérite certainement d’être réfléchie.

This story contains new, firsthand information uncovered by the writer.

Buy My Book

Read My Blog

Portfolio

Cet audio est produit dans la langue originale de l'histoire !

Trop long; Pour lire

Boost your HackerNoon story @ $159.99! 🚀

Verrouillez vos LLM : débranchez-vous

About Author

COMMENTAIRES

ÉTIQUETTES

CET ARTICLE A ÉTÉ PARU DANS

Related Stories

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Créer des produits cryptographiques centrés sur l'utilisateur : l'importance des retours clients

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

Naviguer sur les eaux : développer des applications RAG de qualité production avec des lacs de données

Le guide complet pour réussir une migration vers le cloud : stratégies et bonnes pratiques

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps