L'utilisation de LLM pour imiter un jumeau maléfique pourrait être un désastre

Qui savait que les invites de chatbot deviendraient si importantes un jour que cela pourrait être une carrière potentielle ? Et pas seulement noble, cette zone peut être un nouveau terrain de jeu pour les entités malveillantes.

Alors que les modèles d'apprentissage des langues ( LLM ) prennent le contrôle d'Internet et aveuglent les grandes technologies pour qu'elles se précipitent tête baissée à travers les murs de la concurrence, la puissance de l'invite atteint des sommets déterminants pour la carrière.

Par exemple, récemment , un PDG d'entreprise a pu récupérer 109 500 USD auprès de ses clients réticents en utilisant ChatGPT pour écrire un e-mail hostile officiel.

Avec la bonne invite, les choses peuvent tourner en votre faveur ou vous pourriez même toucher le jackpot. Cela signifie que, pour ceux qui veulent tirer le meilleur parti des LLM, il y a un nouvel apprentissage en magasin, comment donner les meilleures invites .

En fait, l'ingénierie rapide (oui, c'est une chose maintenant) est devenue un sujet brûlant après que ChatGPT et d'autres LLM ont été mis à l'honneur. Il a également fait une augmentation des cours, des ressources documentaires, des listes d'emplois, etc. Cependant, les experts disent également qu'à mesure que les LLM s'améliorent, le besoin d'une ingénierie rapide disparaîtra.

À l'heure actuelle, les LLM comme ChatGPT et les outils d'apprentissage automatique comme DALLE-2 sont des enfants. Vous devez être assez particulier si vous voulez qu'ils fassent exactement ce que vous voulez. Mais une fois qu'ils auront grandi, ils commenceront tout aussi bien à comprendre des invites plus subtiles, de sorte que la qualité de l'invite n'aura pas beaucoup d'importance.

À l'heure actuelle, les LLM comme ChatGPT et les outils d'apprentissage automatique comme DALLE-2 sont des enfants. Vous devez être assez particulier si vous voulez qu'ils fassent exactement ce que vous voulez. Mais une fois qu'ils auront grandi, ils commenceront tout aussi bien à saisir des invites plus subtiles, de sorte que la qualité de l'invite n'aura pas beaucoup d'importance.

Peut-être que ces LLM innocents apprendront également à générer avec plus de responsabilité.

ChatGPT, par exemple, a échoué aux examens de la fonction publique indienne, supervisés par l'équipe AIM . Mais maintenant, nous avons ChatGPT-4, déjà un peu plus mûr que son ancienne version. Au cours de l'expérience des services civils elle-même, l'équipe AIM a également déduit que le fait de modifier l'invite plusieurs fois conduisait le chatbot à la bonne réponse.

Invites maléfiques

Et si quelqu'un donnait une mauvaise incitation ? Innocent en tant qu'enfant vulnérable, un LLM pourrait être amené à faire des choses bizarres. Tout ce dont vous avez besoin, semble-t-il, est une "injection rapide".

Dans le cas de ChatGPT, une attaque par injection rapide a fait du chatbot le personnage de DAN (Do Anything Now) qui a ignoré la politique de contenu d'OpenAI et a donné des informations sur plusieurs sujets restreints. Ceux qui ont la puissance de l'invite peuvent exploiter cette vulnérabilité avec une intention malveillante, qui peut inclure le vol d'informations personnelles. Merde, ils doivent le faire en ce moment.

Innocent en tant qu'enfant vulnérable, un LLM pourrait être amené à faire des choses bizarres. Tout ce dont vous avez besoin, semble-t-il, est une "injection rapide"

Il y a aussi quelque chose appelé "invites de jailbreak" qui demandent au LLM de s'éloigner de son personnage d'origine et de jouer le rôle d'un autre. Ou lorsque l'on demande à un chatbot de changer les résultats corrects en résultats incorrects . Un peu comme un jumeau maléfique.

Des chercheurs en sécurité de l'Université de la Sarre ont discuté des invites dans un article intitulé "Plus que ce que vous avez demandé". Ils soutiennent qu'une invite bien conçue peut ensuite être utilisée pour collecter des informations sur les utilisateurs, transformant un LLM en une méthode pour exécuter une attaque d'ingénierie sociale. De plus, les LLM intégrés aux applications, comme Bing Chat et GitHub Copilot, sont plus à risque car des invites peuvent leur être injectées à partir de sources externes.

Si cela ne vous rappelle pas le personnage fictif de l'IA HAL 9000 de l'Odyssée de l'espace d'Arthur C. Clark, vous n'êtes pas assez nerd ou êtes vraiment courageux.

Je ne sais pas pour vous, mais si ChatGPT commence à chanter "Daisy Bell", je m'enfuirai.

Cet article a été initialement publié par Navanwita Bora Sachdev sur The Tech Panda.