LLM を使用して悪魔の双子を模倣すると、災害が発生する可能性があります

チャットボットのプロンプトが非常に重要になり、将来のキャリアになる可能性があることを誰が知っていましたか?そして、高貴なだけでなく、この領域は悪意のあるエンティティの新しい遊び場になる可能性があります.

言語学習モデル ( LLM ) がインターネットを乗っ取り、競争の壁を真っ逆さまに駆け抜けるように巨大な技術を盲目にするにつれて、プロンプトの力はキャリアを定義する高みへと上昇しています.

その好例として、最近、ある会社の CEO が、ChatGPT を使用して正式な敵意のあるメールを作成することで、消極的な顧客から 109,500 米ドルを取り戻すことができました。

適切なプロンプトがあれば、物事が好転するか、ジャックポットを獲得することさえあります。これは、LLM を最大限に活用したい人にとって、最良のプロンプトを出す方法という新しい学習が用意されていることを意味します。

実際、ChatGPT やその他の LLM が脚光を浴びた後、迅速なエンジニアリング (ええ、それは今のことです) がホットな話題になりました。また、コース、リソース資料、求人情報なども急増しています。しかし、専門家は、LLM が改善されるにつれて、迅速なエンジニアリングの必要性がなくなるとも言っています。

現時点では、ChatGPT などの LLM や DALLE-2 などの機械学習ツールは子供です。あなたが望むようにそれらを正確に実行したい場合は、非常に細心の注意を払う必要があります.しかし、彼らが成長すると、より微妙なプロンプトにも同様に追いつき始めるので、プロンプトの質はそれほど重要ではなくなります.

現時点では、 ChatGPTなどの LLM や DALLE-2 などの機械学習ツールは子供です。あなたが望むようにそれらを正確に実行したい場合は、非常に細心の注意を払う必要があります.しかし、成長すると、より微妙なプロンプトにも同様に追いつくようになるため、プロンプトの品質はそれほど重要ではなくなります。

おそらく、これらの罪のないLLMも、より多くの責任を持って生成することを学ぶでしょう.

たとえば、ChatGPT は、 AIM チームが監督するインドの公務員試験に合格しませんでした。しかし今、ChatGPT-4 があり、古いバージョンよりも少し成熟しています。公務員の実験自体で、AIM チームは、プロンプトを数回変更することで、チャットボットが正しい答えに導かれることも推測しました。

邪悪なプロンプト

邪悪なプロンプトを出した場合はどうなりますか？脆弱な子供のように無邪気なLLMは、奇妙なことをするように作られる可能性があります.必要なのは「迅速な注射」だけのようです。

ChatGPT の場合、 プロンプト インジェクション攻撃により、チャットボットは OpenAI のコンテンツ ポリシーを無視し、いくつかの制限されたトピックに関する情報を提供する DAN (Do Anything Now) のペルソナを取得しました。プロンプトの力を持つ者は、悪意を持ってこの脆弱性を悪用し、個人情報の盗難を含む可能性があります。地獄、彼らは今それをしているに違いない。

脆弱な子供のように無邪気なLLMは、奇妙なことをするように作られる可能性があります.必要なのは「迅速な注射」だけのようです

また、LLM に元のペルソナから離れて別の役割を演じるように求める「ジェイルブレイク プロンプト」と呼ばれるものもあります。または、正しい結果を間違った結果に変更するようにチャットボットに促す場合。悪魔の双子のようなもの。

ザールランド大学のセキュリティ研究者は、「あなたが求めた以上のもの」というタイトルの論文でプロンプトについて議論しました。彼らは、適切に設計されたプロンプトを使用してユーザー情報を収集し、LLM をソーシャル エンジニアリング攻撃を実行する方法に変えることができると主張しています。また、Bing Chat や GitHub Copilot などのアプリケーション統合 LLM は、外部ソースからプロンプトが挿入される可能性があるため、より危険にさらされます。

アーサー C. クラークの宇宙の旅 に登場する架空の AI キャラクター HAL 9000 を思い出せない場合は、オタクではないか、本当に勇敢です。

あなたのことはわかりませんが、ChatGPT が「Daisy Bell」を歌い始めたら、私は逃げます。

この記事は、 The Tech Panda で Navanwita Bora Sachdev によって最初に公開されました。