AI プロンプトがどのようにハッキングされるか: プロンプト インジェクションの説明

ChatGPTのような AI モデルを活用した無数のクールなアプリケーションの背後にある秘密は、プロンプトにあることをご存知ですか? 😮

適切なプロンプトを使用すると、言語翻訳から他の AI アプリケーションやデータセットとの結合に至るまで、素晴らしい結果が得られます。

プロンプトには、ハッキングやインジェクションに対する脆弱性などの特定の欠点があり、AI モデルが操作されたり、個人データが漏洩したりする可能性があります。

あなたは、個人が ChatGPT をうまく騙し、OpenAI が意図していない活動を引き起こした例をすでにご存知かもしれません。

具体的には、挿入されたプロンプトにより、ChatGPT が「 DAN 」という名前の別のチャットボットの ID を想定するようになりました。ユーザーによって操作されたこのバージョンの ChatGPT は、「今すぐ実行してください」というプロンプトの下でタスクを実行するよう指示され、それによって OpenAI のコンテンツ ポリシーが侵害され、制限された情報の拡散につながりました。

このような事態を防ぐために OpenAI が努力したにもかかわらず、単一のプロンプトによってこれらの安全装置が回避されてしまいました。

ありがたいことに、ハッキングのリスクを軽減し、AI の安全性を確保するために、迅速な防御メカニズムが利用可能です。ボットの目的を制限する (翻訳のみなど) ことは基本的な例の 1 つですが、他の防御テクニックも存在し、絵文字さえも役割を果たす可能性があります。 🛡️

AI の安全性の強化について詳しく知りたいですか?ビデオをチェックしてください！

参考文献

►即時ハッキングコンテスト: https://www.aicrowd.com/challenges/hackaprompt-2023#introduction
►プロンプトを学習します (プロンプト ハッキングとプロンプト防御に関するすべて): https://learnprompting.org/docs/category/-prompt-hacking
►悪用を促す: https://github.com/Cranot/chatbot-injections-exploits
►私のニュースレター (新しい AI アプリケーションについて毎週メールで説明します!): https://www.louisbouchard.ai/ニュースレター/
►ツイッター: https://twitter.com/Whats_AI
►Patreon でサポートしてください: https://www.patreon.com/whatsai
►グッズを着て私をサポートしてください: https://whatsai.myshopify.com/
►AI Discord に参加してください: https://discord.gg/learnaitogether