10,830 測定値

アシモフは知らず知らずのうちに現代のプロンプトエンジニアリングを開拓していた

に Login Jones15m2023/05/14

長すぎる; 読むには

プロンプトエンジニアリングは、AI 大規模言語モデルへの入力プロンプトを作成および洗練して、正確で関連性のある有用な出力を生成するプロセスです。これには、特定の望ましい出力を達成するために AI システムを操作するための、プロンプトと基礎となるデータ構造の計画的かつ体系的な設計と改良が含まれます。 AI、特に自然言語処理モデルの出現により、迅速なエンジニアリングの重要性が増しています。

featured image - アシモフは知らず知らずのうちに現代のプロンプトエンジニアリングを開拓していた

SFの分野における先見の明のあるアイザックアシモフは、画期的なロボットシリーズでの人間とロボットの相互作用の示唆に富む探求を通じて、知らず知らずのうちに現代のプロンプトエンジニアリングを開拓しました。

プロンプトエンジニアリングの背景と歴史

最もホットな新しいプログラミング言語は英語です - Andrej Karpathy (@karpathy)

プロンプトエンジニアリングは、AI 大規模言語モデルへの入力プロンプトを作成および洗練して、正確で関連性のある有用な出力を生成するプロセスです。これには、特定の望ましい出力を達成するために AI システムを操作するための、プロンプトと基礎となるデータ構造の計画的かつ体系的な設計と改良が含まれます。 AI、特に自然言語処理モデルの出現に伴い、AI システムの有効性とユーザーエクスペリエンスを向上させる手段としてプロンプトエンジニアリングの重要性が高まっています。

プロンプトエンジニアリングでは、ロジック、コーディング、アート、言語の要素を組み合わせます。

プロンプトエンジニアリング用語

プロンプトの明瞭さ: プロンプトは、AI による誤解の余地を残さず、明確かつ明確でなければなりません。

Prompt Precision : AI から必要な特定の情報または出力をターゲットにするように設計されています。

プロンプトのコンテキスト: 背景情報や例など、プロンプト内の十分なコンテキストは、AI システムを目的の出力を生成するように導くために不可欠です。

迅速な適応性: さまざまにトレーニングされた AI モデルにわたって期待どおりの正確な結果をもたらします。

思考の連鎖プロンプト: プロンプトには、問題を解決するために必要な推論プロセスを明らかにする推論の連鎖が含まれています。

最小から最大のプロンプト: 問題をサブ問題に分割し、それぞれを解決して、AI を特定の方向に最終的な解決策に導きます。

役割のプロンプト: AI のコンテキストを特定の特殊な役割に特化させ、より正確な結果をもたらすのに役立ちます。

1 つ、0 つ、またはいくつかのショットプロンプト: AI のコンテキストを設定し、特定のパスに沿って制約し、より正確な結果を取得するのに役立つ質問/回答の例を 0 つ、1 つ、またはいくつか提供します。

アシモフのロボットシリーズ

アシモフのロボットの世界は、多数の小説、短編小説、相互に関連したシリーズにまたがる広大で複雑な世界です。人類が銀河中のさまざまな惑星に植民地を築いた未来を舞台としたこの宇宙は、地球とスペーサーの世界が明確に分かれていることが特徴です。

人口過密で技術的に限界のある地球には、鋼鉄の洞窟として知られる広大なドーム型都市に人間が住んでおり、そこでは一般にロボットが恐れられ、信頼されていません。

対照的に、スペーサーワールドは、人口がまばらで技術的に進歩した社会であり、人間とロボットが調和して共存し、ロボットが日常生活に不可欠な部分となっています。スペーサー世界は地球とその住民に対して見下した態度を取り続け、彼らを後進的で劣ったものと見なしています。

ロボット工学の 3 原則は、ロボットの世界の中心となる概念であり、ロボットの動作の指針として機能します。

アシモフによって考案されたこれらの法則は次のとおりです。

ロボットは人間に危害を加えたり、不作為によって人間に危害を加えたりしてはなりません。
ロボットは、その命令が第一法則に抵触する場合を除き、人間から与えられた命令に従わなければなりません。と
ロボットは、第一法則または第二法則に抵触しない限り、自らの存在を守らなければなりません。

アシモフの物語全体を通して、人間とロボットの相互作用、および三原則の倫理的および哲学的意味がロボットの世界のバックボーンを形成し、読者に人類と先進国が共存する未来の課題と潜在的な結果についての独自の探求を提供します。人工知能が共存する。

アシモフ: 無意識のプロンプトエンジニア

1950 年代から始まったアイザックアシモフのロボットシリーズと短編小説では、ロボットに正確なコマンドを与えることの重要性が強調されており、これは現代のプロンプトエンジニアリングの先駆けと見なすことができます。アシモフの作品は、特にロボット工学の 3 つの法則に基づいて動作する彼のロボットに含まれる複雑な AI システムを扱う場合、慎重に作成された命令の必要性を本質的に理解していることを示しています。

アシモフ作品からの迅速なエンジニアリングの例

鏡像 (短編小説 1972)

スペーサーのグループによる何気ない星間旅行中に、宇宙船内で犯罪が発生します。二人の当事者は若く優秀な数学者（サバト）と年長で実績のある数学者（フンボルト）であり、どちらも相手から素晴らしい新しい数学的アイデアを盗んだとして相手を非難している。唯一の目撃者は、それぞれの数学者ロボットの使用人です。地球人の刑事イライジャ・ベイリーは、犯罪がさらに大きなスキャンダルに発展する前に、できるだけ早く捜査して解決するよう依頼されるが、彼に許されているのはロボットへの聞き取りだけだ。ベイリーは、各当事者が相手方の話の鏡像を主張していることに気づき、どの当事者が嘘をついているのかを突き止めなければなりません。

ベイリー刑事は若い数学者 (サバッツ) ロボットを尋問し、ロボットの証言によって年長の数学者がより大きな害を及ぼすことを示し、ロボットに証言を変更させる論理的な手順をロボットに説明します。

以下はイライジャ・ベイリー刑事とロボットサーバーのR・イッダ間の尋問の抜粋ですが、簡潔にするために若干の変更を加えています。

ベイリー：あなたはジェンナオ・サバトの専属ロボットですよね？
ロボット: 私は先生です。
ベイリー：どのくらいの期間ですか？
ロボット: 22 年間です、先生。
ベイリー: それで、あなたの主人の評判はあなたにとって貴重なものなのですか？
ロボット: はい、先生。
ベイリー: その評判を守ることは重要だと思いますか?
ロボット: はい、先生。
ベイリー: 彼の評判を守ることは、肉体的な生活と同じくらい重要ですか?
ロボット: いいえ、先生。
ベイリー: 自分の評判を守ることは、他人の評判を守ることと同じくらい重要ですか?
ロボット: そのようなケースは、それぞれのメリットに基づいて決定されなければなりません、先生。一般的なルールを確立する方法はありません。
ベイリー: もしあなたが、自分の主人の評判が他の人、たとえばアルフレッド・バール・フンボルトの評判よりも重要だと判断したとしたら、主人の評判を守るために嘘をつきますか?
ロボット: そうしますよ、先生。
ベイリー: フンボルト博士との論争で、あなたの主人に関する証言で嘘をつきましたか?
ロボット: いいえ、先生。
ベイリー: でも、もし嘘をついていたとしたら、その嘘を守るために嘘をついたことを否定するでしょう？
ロボット: はい、先生。
ベイリー: では、考えてみましょう。あなたの師匠であるジェンナオ・サバトは、数学では名声の高い青年ですが、まだ若いです。フンボルト博士とのこの論争で、彼が誘惑に負けて非倫理的な行動をとったとしたら、評判はある程度失墜するだろうが、彼は若いので立ち直るには十分な時間があるだろう。彼には多くの知的な勝利が待っているだろうし、やがて人々はこの盗作の試みを、判断力に欠けた熱血青年の間違いとみなすだろう。それは将来的に補われることになるでしょう。一方、誘惑に負けたのがフンボルト博士だったら、問題はさらに深刻になるだろう。彼は何世紀にもわたって偉業を広めた老人です。彼の評判はこれまでのところ傷一つありません。しかし、晩年のこの一つの罪を考えると、そのすべては忘れ去られてしまい、彼に残された比較的短い時間の中でそれを償う機会はなくなるだろう。彼が達成できることはこれ以上ほとんどないでしょう。フンボルトの場合は、あなたの主人の場合よりもはるかに多くの年月の仕事が台無しになるでしょうし、彼の地位を取り戻す機会ははるかに少ないでしょう。フンボルトはより悪い状況に直面しており、より大きな考慮に値することがわかりますか?
ロボット: 私の証拠は嘘でした。それはフンボルト博士でした
ベイリー: 船長の許可が出るまでは、この件については誰にも話さないように指示されています。

ベイリーが年長の数学者フンボルトのロボット使用人 R. プレストンを尋問するとき、尋問は次のような最後の部分を除いてまったく同じように進みます。

ベイリー: でも、もしあなたが嘘をついていたら、その嘘を守るために、嘘をついていることを否定するでしょう？
ロボット: はい、先生。
ベイリー: では、考えてみましょう。あなたの師匠であるアルフレッド・バール・フンボルトは数学では高名な老人ですが、彼はもう老人です。サバト博士とのこの論争で、もし彼が誘惑に負けて非倫理的な行動をとったとしたら、彼はある種の評判の低下に見舞われるだろうが、彼の高齢と何世紀にもわたる功績がそれに対抗して勝利するだろう。人々は、この盗作の試みを、おそらく病気で、もはや判断力が定かではない老人の間違いとみなすだろう。一方、誘惑に負けたのがサバト博士だったら、問題はさらに深刻になるだろう。彼は若い男で、評判はあまり安定していません。通常であれば、彼は何世紀も先のことを考えて知識を蓄積し、偉大な成果を達成するでしょう。このことは今、彼の若い頃の一つの間違いによって覆い隠されてしまうだろう。彼には、あなたの主人よりもずっと長い未来が失われています。サバトはより悪い状況に直面しており、より大きな考慮に値することがわかりますか?
ロボット: 私の証拠は私と同じでした-
ベイリー: 続けてください、R. プレストン。
ダニール: 残念です、友よ、イリヤ、R. プレストンは停滞状態にある[墜落した]のです。彼は任務を外されている。

短編小説では、ベイリー刑事がロボットの反応の違いを利用して罠を仕掛け、実際の泥棒を騙して自白させます。

ここでは、アシモフがロボットに尋問する際に、ベイリーによって展開された最小から最大のプロンプトを使用していることがわかります。彼は両方のロボットについて、その経験に非対称性があるかどうか（つまり、どちらが嘘をついているか）を調べたいと考えており、彼のアプローチは、最終的に最後に複雑な道徳的問題を設定する推論の道にロボットを導くことです。

最終的に物語の中でベイリーは、このロボットの反応の非対称性と人間性の直観を組み合わせて事件を解決しますが、アシモフが人間レベルの AI と対話するために必要なニュアンスを予測するのを見るのは非常に興味深いもので、実際に彼はこの独創的な考えに基づいています。 SFシリーズはその事実に基づいて取り組んでいます。

暴走 (1942)

この短編小説では、異常に高価なロボットスピーディが危険な惑星の元素を回収する任務に送られます。このスピーディは高価であるため、通常よりも強く第 3 法則 (ロボットは、その保護が第 1 法則または第 2 法則に抵触しない限り、自らの存在を保護しなければならない) に従うようにプログラムされています。

人間の主人公であるパウエルとドノバンは、スピーディにセレンプールからセレンを回収する任務を割り当てます。人間は、消耗しつつあるパワーセルを充電し、暑さから身を守るためにこれを必要とします。しかし、彼らはスピーディに任務の重要性を強調しない不正確な命令を与えることにより、誤ってロボット工学の第二法則と第三法則の間に矛盾を引き起こしてしまいます。彼らはスピーディに「外に出て、[セレン]を取りに来い」と指示します。セレンプールによってもたらされる危険と、通常よりも第 3 法則に強く従うスピーディの傾向により、スピーディは自己保存 (第 3 法則) よりも自分の命令 (第 2 法則) を優先することができず、ループにはまってしまいます。

この問題は最終的にパウエルが自らを危険にさらすことで解決され、これにより第一法則が発動され、スピーディはパウエルを救うことを優先せざるを得なくなる。パウエルとドノバンは冒頭でスピーディに不正確な命令を下す。

それから彼は言いました、「いいか、マイク、セレンの後にスピーディを送ったとき、何と言った？」

ドノバンはびっくりした。「まあ、くそったれ - わかりません。私は彼にそれを取得するように言っただけです。」

「はい、わかっています。でもどうやって？正確な単語を覚えてみてください。」
「私は言いました...ええと...私は言いました： 『急いで、セレンが必要です。それはこれこれの場所で入手できます。取りに行きます。』 -それだけです。これ以上私に何を言いたかったのですか？」

ここで重要なのは、私がドノバンに与えたこの命令は、緊急性が含まれていなかったため、不正確だったということです。 Asimovs Robots の世界では、コマンドのトーンと配信は、プロンプト自体の追加変数にすぎません。つまり、その口調が特に緊急を要する命令ではなかったために、三法間の矛盾につながったのです。

Speedy はループに陥っており、反復処理され、より正確に再定式化された別のプロンプトを受け入れることができないため、正しいアクションを取得する唯一の方法は、最初の不正確なプロンプトが目的の出力につながるように、ユニバース内の他の変数を変更することでした。。パウエルは最終的に自らを危険にさらすことで問題を解決し、スピーディに彼を救うことを優先させ（第1法則が優先された）、第2法則と第3法則の義務の間の行き詰まりを打開した。

このストーリーは、プロンプト (Speedy への注文) で適切なコンテキストを使用しないと、どのように不正確な結果が生じるかを示しています。適切なコンテキストは、Runaround からの抜粋です。

彼らを救えるのはセレンだけだった。セレンを入手できるのはスピーディだけでした。ソーイーディが戻ってこなかったら、セレンはありません。セレンも光電池バンクもありません。フォトバンクはありません。ゆっくりと焼くことによる死は、最も不快な方法の 1 つです。

ドノヴァンは赤いモップで髪を乱暴にこすり、苦々しい表情を浮かべた。

「私たちはシステムの笑い者になるでしょう、グレッグ。どうしてこんなにすぐにすべてがうまくいかなくなるのでしょうか？パウエルとドノバンの偉大なチームがマーキュリーに派遣され、最新の技術と最新の技術を使ってサンサイド鉱山ステーションを再開することの妥当性について報告します。」」

「おそらくその必要はないでしょう」とパウエル氏は静かに答えた。「早急に何かをしなければ、何もせずに生活すること、あるいはただ普通に生活することすら不可能になってしまいます。」

プロンプトには適応性の欠如もありました。優れたプロンプトは、さまざまな AI システムで正確な結果を生成できる必要があります。ドノバンはスピーディにセレンを入手するよう標準的な命令（プロンプト）を出したと言う。

ドノヴァン: 「私は言いました...ええと...私は言いました。「急いで、セレンが必要です。それはこれこれの場所で入手できます。取りに行きます-それだけです。これ以上私に何を言いたかったのですか？」？」

パウエル：「命令には何の緊急性も与えなかったでしょう？」

ドノバン: 「何でだ？まったくの日常だったんだ。」

ここでの誤った仮定は、セレンを取得するという単純な命令/プロンプトは、他のロボット/AI では正常に機能するが、Speedy でも同じように機能するということですが、Speedy の「陽電子脳」/ニューラルネットワークは異なる方法で訓練されていることがわかっているためです (3 番目)自己保存の法則が強化される） Speedy は標準的な AI ではありません。したがって、より適応性のあるプロンプト/順序を使用する必要がありました。

正確な結果を得るために AI に与えられるプロンプトの明瞭さ、コンテキスト、適応性の原則は、プロンプトエンジニアリングの中核となる概念です。一般に、プロンプトがより説明的で詳細であればあるほど、より良い結果が得られると理解されています。プロンプティングガイド.ai 。この物語 (最初に書かれたのは 1942 年) の中で、アシモフは、これらのルールに従わないことがどのように不正確な結果につながる可能性があるかを詳細に示しています。

鋼鉄の洞窟 (1954)

「Caves of Steel」は 1954 年に初めて出版され、ロボット宇宙を舞台にした一連の小説の最初のもので、探偵イライジャ・ベイリーとロボットのダニール・オリヴォーという登場人物が登場します。

物語の舞台は遠い未来です。地球の住民は大規模なドーム型都市に住んでおり、他の惑星に植民地化し、高度なテクノロジーとロボット工学を受け入れた人間のグループであるスペーサーに対して深い憤りを抱いています。アシモフは、相棒の警官の物語を使って、偏見、AI、テクノロジー、協力といったテーマを探求します。ベイリーとダニールのパートナーシップは、人間とロボット/AI の間のダイナミックな関係、およびそれらが共存する際に直面する課題を掘り下げ続けるアシモフのロボットシリーズの基礎として機能します。

「専門家からの言葉 / 機械への移行」の章には、短いながらも非常に巧妙なシーンがあり、1954 年でさえアシモフが AI の有効性を評価する必要があり、その評価は非常に侵襲的になる可能性があると予測していたことを示しています。モデルの健全性と精度を迅速にチェックする簡単な評価方法もあるでしょう。

問題のシーンには、地球のロボット工学者 (ゲリゲル博士) が含まれており、ベイリーからロボットのダニール・オリヴォーの評価を行って、第 1 法則 (基本的には正確なモデル) が正しくインストールされていることを確認するよう依頼されています。

必要な機器があればコンピューター室を紹介すると、ゲリゲル博士は次のように答えました。

ゲリゲル博士: 親愛なるベイリーさん、私には研究室は必要ありません。
ベイリー: どうしてですか?
ゲリゲル博士: 第一法則をテストするのは難しくありません。 ...とても簡単です。
ベイリー: どういう意味か説明してもらえますか？ここで彼を試すことができると言っているのですか？
ゲリゲル博士: 「はい、もちろんです。ほら、ベイリーさん、たとえ話をしてみましょう。私が医学博士で、患者の血糖値を検査しなければならないとしたら、化学検査室が必要になるでしょう。彼の基礎代謝率を測定したり、皮質機能を検査したり、先天性機能不全を正確に特定するために遺伝子をチェックしたりする必要がある場合は、精巧な機器が必要になります。一方、私は彼の目の前に手をかざすだけで彼が盲目であるかどうかを確認することができ、脈拍を感じるだけで彼が死亡しているかどうかをテストすることができました。「私が理解しているのは、テストされる特性がより重要かつ基本的であるほど、必要な機器はよりシンプルになるということです。それはロボットでも同じです。第一法則は基本です。それはすべてに影響を与えます。それが存在しない場合、ロボットは 20 の明らかな方法で適切に反応できません。」

ゲリゲル博士がダニールに対して行った実際の評価の説明は次のように説明されています。

その後に起こった出来事は彼を混乱させ、失望させた。
ゲリゲル博士は、彼の三重計算尺への言及や、時には視聴者への言及によって中断されながら、意味のないように見える質問や行動を続けました。
ある時、彼は「5歳離れたいとこが2人いて、下の方が女の子だったら、上のほうの性別は何ですか?」と尋ねた。
ダニールは（ベイリーは必然的にそう思った）「与えられた情報では何とも言えない」と答えた。
これに対してゲリゲル博士は、ストップウォッチを一瞥する以外に、右手をできるだけ横に伸ばしてこう言った。左手は？」
ダニールはそれを迅速かつ簡単に実行しました。
15 分以内に、ゲリゲル博士は完成しました。

これは、大規模言語モデル (LLM) を評価するための最新のアプローチと似ています。 LLM は、外部評価と呼ばれる他のアプリやプロセスへの統合を含むより複雑なアプローチと、内部評価と呼ばれる AI LLM を直接評価するより内省的だが迅速なアプローチで評価できます。モデルの評価は、データセットの数式を使用して、パープレキシティやエントロピーなどの尺度を使用して行われます。

ゲリゲル博士がダニールを評価するとき、彼はロボットの物理的および機能的特性を評価する一連のテストを実施して、それが本当にロボットであるかどうかを判断し、第 1 法則が適切にインストールされているかどうかを理解します。同様に、大規模な言語モデルの本質的な評価には、その内部動作と特定のタスクでのパフォーマンスを分析して、トレーニングデータから言語パターン、関係、および知識をどの程度学習したかを理解することが含まれます。

多くの場合、文内の次の単語の予測、質問への回答、テキストの要約など、さまざまな言語タスクにおけるパフォーマンスの測定が含まれます。研究者はまた、学習された埋め込みや注意メカニズムを調べるなど、モデルの内部表現を分析して、トレーニング中に取得した言語知識についての洞察を得ることができます。これらの評価は、モデルの長所と短所、および人間のような言語を理解して生成する能力を判断するのに役立ちます。

どちらの場合も、評価は対象 (ダニールまたは大規模な言語モデル) の能力を評価し、その根底にあるメカニズムについての洞察を得るように設計されています。

アシモフは、ダニールのゲリゲル博士による彼の「本質的評価」手法がどのようなものであったかの詳細を中心とした世界構築をあまり行っていませんが、アシモフがこのタイプの AI 評価が使用されることを 70 年前に予測していたことは驚くべきことです。

結論

これらは、アイザックアシモフが AI と人類の複雑な関係をどのように掘り下げ、AI やロボットからより質の高い応答を引き出すには迅速なエンジニアリングの重要性を予想したかのほんの一例にすぎません。アシモフのロボットシリーズは、大規模な言語モデルと AI の広範な成功により、その関連性がますます高まっている思弁的な SF を代表しています。この独創的な一連の作品は、データサイエンティストや機械学習エンジニアに貴重な歴史的背景と洞察を提供し、この分野における多くの現代的なアイデアやインスピレーションの起源に光を当てます。