GPT が処理する元の情報のほとんどを保持しながら、プロンプトのサイズを 40% ～ 60% 縮小する無料の Web アプリである をご紹介します。 gptrim も です。 gptrim Python ライブラリ 使い方 GPT プロンプトを に貼り付けます。トリミングされたテキストをコピーして GPT に渡します。 gptrim トリミングされたテキストは意味不明のように見えます。しかし、GPTはそれを理解しています! 😁 圧縮品質を確認するために使用できるプロンプトは次のとおりです。 This is an instance of compressed text. Rewrite it so that it has perfect grammar and is understandable by a human. Try to interpret it as faithfully as possible. Do not paraphrase or add anything to the text. 問題: コンテキスト ウィンドウが小さすぎる! GPT をいじったことがあるなら、達成できる最大の制限がコンテキスト ウィンドウ、つまり GPT が一度に表示できるトークンの総数から来ることを知っています。 この記事の時点での状況は次のとおりです ( )。 OpenAI の概要 コンテキスト ウィンドウのサイズはトークンで測定されます。 1000 トークンは約 750 語に相当します。 GPT-3.5 API には、4k トークンまたは約 6 Word ページのコンテキスト ウィンドウがあります。 GPT-4 API を使用すると、支払う金額に応じて、8k または 32k のサイズのコンテキスト ウィンドウを取得できます。 お金を払っても、GPT-4 API は限定ベータ版であり、私を含めほとんどの人はアクセスできません。 OpenAI さん、まだその招待を待っています。 API を使用している場合、すべてのトークンにコストがかかります。 月額料金で、 で GPT-4 をインタラクティブに使用できます。残念ながら、チャット メッセージは少数の文字しか収まりません。 ChatGPT も私も時々その制限を超えて、メッセージが中断されます。 ChatGPT 実際には、これにより、大量のテキストを処理するアプリケーションを構築することが非常に困難になります。 プロンプトでトークンを減らすとは、次のことを意味します。 コンテキスト ウィンドウを大きくして、よりクールなものを構築できます。 同じ仕事に費やすお金が減ります。 一般に、コンテキスト ウィンドウが多すぎることはありません。 32,000 の料金を支払う意思がある場合でも、さらに多くの料金が必要になります。 解決策: 読みやすさを忘れる GPT は人間の言語を予測するように訓練されています。日常的に、人間の言語を予測することは、これまでのどの人間よりもはるか ています。高度に凝縮された圧縮されたテキストを与えると、それでも読むことができます。 に優れ スペースの使用を検討してください。人間はテキスト 必要があるため、単語間にスペースが必要です。しかし、私がスペースなしで書いたなら、おそらくあなたはまだ私を理解できるでしょう. を見る 私の推測では、テキスト内のスペースの 95% は、読みやすくするためのものです。 GPTは気にしません。削除するすべてのスペースは、情報を伝えるために使用できる 1 つの余分なトークンです。 スペースを削除するよりも良いことはありますか?もちろん、GPTに問い合わせました。 (大量のブログ投稿をフィードしようとしていて、制限に達し続けていたので、イライラしました。) 次のことを行う Python 関数を思い付きました。 テキストをトークン化する ストップワードを削除します を適用します。 Porter ステミング アルゴリズム いくつかの一般的な単語を削除: 「the」、「a」、「an」、「in」、「on」、「at」、「for」、「to」、「of」 すべてのスペースを削除し、単語をごちゃ混ぜにします コードを読むことができます。とても簡単です！これは標準の NLP 前処理です。しかし、この目的でそれを使用している人はまだ見たことがありません。 ここで 数週間前、Twitter は「Shoggoth Tongue」 。GPT は、独自のインスタンスが理解できる特異な言語で高度に圧縮されたテキストを記述できます。これは非常に魅力的です。ただし、コストを節約する方法としては効果的ではありません。 GPT は、圧縮に GPT を使用する必要があるためです。 を発見しました gptrim は、テキストを圧縮するために GPT を必要としないため、迅速かつ無料になります。 どうすればこれを使用できますか? gptrim はプロンプトを書き換えて、最大 50% 短くします。短縮されたプロンプトを ChatGPT に貼り付けるか、API にフィードするだけです。その後、GPT はユーザーの指示に従います。特別な説明は必要ありません。 GPT は、あなたのテキストについて奇妙なことは何も見ません! それはどのくらいうまく機能しますか? 私はこれを広範囲にテストしていません。私が見た限りでは、GPT は元の意味のほとんどを復元できます。これは GPT-3.5 にも当てはまります。 圧縮品質を確認する最善の方法は、GPT にテキストの解凍を依頼することです。そのためのプロンプトを記事の上部で共有しました。 圧縮は完全ではありません。一部の文では、意味が失われたり、誤解されたりします。ニュアンスが重要なアプリケーション (医療診断など) にこれを使用することはお勧めしません。 今後のステップ このプロジェクトは、ある夜に一緒にハッキングされました。それは非常に協力的な努力でした。私がアイデアを思いつき、GPT がトリミング関数を作成しました。また、Flask Web アプリを作成するための大変な作業も行いました。 追加できる改善点がいくつかあります。 これをプログラムで行うには、Python ライブラリを公開します。 文字数ではなく、GPT トークンで節約を測定します。 OpenAI の価格設定に基づいて節約額を計算します。 さらに実験を実行します。 GPT に省略された言語で答えてもらい、省略された言語で考えさせ、最後のステップとしてテキストを解凍するだけにできますか? 最後に、GPT を使用せ GPT テキストを圧縮するためのより良い方法が必要です。この空間で新しいアイデアが生まれることを楽しみにしています。 ずに 用に レッツコネクト！ 私は AI で何かを構築し、それについて書くのが好きです。 と で私を見つけてください。 LinkedIn Twitter
