Gptrim: Reduzieren Sie die Größe Ihrer GPT-Eingabeaufforderung kostenlos um 50 %!

Wir stellen vor: gptrim , eine kostenlose Web-App, die die Größe Ihrer Eingabeaufforderungen um 40–60 % reduziert und gleichzeitig die meisten Originalinformationen für die Verarbeitung durch GPT beibehält. gptrim ist ebenfalls eine Python-Bibliothek .

Wie es funktioniert

Fügen Sie Ihre GPT-Eingabeaufforderung in gptrim ein. Kopieren Sie den zugeschnittenen Text und geben Sie ihn an GPT weiter.

Der beschnittene Text sieht aus wie Kauderwelsch. Aber GPT versteht es! 😁

Hier ist die Eingabeaufforderung, mit der Sie die Komprimierungsqualität überprüfen können:

 This is an instance of compressed text. Rewrite it so that it has perfect grammar and is understandable by a human. Try to interpret it as faithfully as possible. Do not paraphrase or add anything to the text.

Das Problem: Das Kontextfenster ist verdammt klein!

Wenn Sie mit GPT herumgespielt haben, wissen Sie, dass die größte Grenze für das, was Sie erreichen können, vom Kontextfenster herrührt, also der Gesamtzahl der Token, die GPT gleichzeitig sehen kann.

Hier ist der Stand der Dinge zum Zeitpunkt dieses Artikels ( OpenAI-Übersicht ):

• Die Größe des Kontextfensters wird in Token gemessen. 1000 Token entsprechen etwa 750 Wörtern.

• Die GPT-3.5-API verfügt über ein Kontextfenster mit 4.000 Token oder etwa 6 Word-Seiten.

• Mit der GPT-4-API können Sie ein Kontextfenster der Größe 8 KB oder 32 KB erhalten, je nachdem, wie viel Sie zu zahlen bereit sind.

• Selbst wenn Sie bereit sind zu zahlen, befindet sich die GPT-4-API in der eingeschränkten Betaversion und die meisten Leute, mich eingeschlossen, können nicht darauf zugreifen. Hallo OpenAI, ich warte immer noch auf diese Einladung.

• Wenn Sie die APIs nutzen, kostet Sie jeder einzelne Token.

• Gegen eine monatliche Gebühr können Sie GPT-4 interaktiv in ChatGPT nutzen. Leider passen Chatnachrichten nur auf eine geringe Anzahl von Zeichen. Sowohl ChatGPT als auch ich überschreiten manchmal diese Grenze und unsere Nachrichten werden unterbrochen.

  
  

In der Praxis macht es dies sehr schwierig, Anwendungen zu erstellen, die mit großen Textmengen arbeiten.

Das Reduzieren der Token in Ihren Eingabeaufforderungen bedeutet:

1. Sie können ein größeres Kontextfenster haben und coolere Dinge erstellen.
2. Sie werden weniger Geld für die gleiche Arbeit ausgeben.

Im Allgemeinen gibt es nie zu viel Kontextfenster. Selbst wenn Sie bereit sind, für 32.000 zu zahlen, werden Sie dennoch mehr wollen.

Die Lösung: Vergessen Sie die Lesbarkeit

GPT ist darauf trainiert, menschliche Sprache vorherzusagen. Im Alltag ist es viel besser darin, die menschliche Sprache vorherzusagen, als es jedem Menschen jemals gelingen wird. Wenn Sie ihm einen Text geben, der stark verdichtet und komprimiert ist, kann er ihn trotzdem lesen.

Berücksichtigen Sie die Verwendung von Leerzeichen. Menschen brauchen Leerzeichen zwischen Wörtern, weil wir den Text sehen müssen. Aber wenn ich ohne Leerzeichen schreiben würde, könntest du mich wahrscheinlich trotzdem verstehen.

Ich vermute, dass 95 % der Leerzeichen in einem Text nur dazu dienen, das Lesen für die Augen zu erleichtern. GPT ist das egal. Jedes Feld, das Sie eliminieren, ist ein zusätzlicher Token, den Sie zur Übermittlung von Informationen verwenden können.

Können wir es besser machen, als nur Leerzeichen zu entfernen? Natürlich habe ich GPT gefragt. (Ich war frustriert, weil ich versuchte, große Blog-Beiträge zu füttern, und immer wieder an die Grenze stieß.) Es entstand eine Python-Funktion, die Folgendes tut:

• Tokenisiert den Text

• Entfernt Stoppwörter

• Wendet den Porter-Stemming-Algorithmus an

• Entfernt einige gebräuchliche Wörter: „the“, „a“, „an“, „in“, „on“, „at“, „for“, „to“, „of“

• Entfernt alle Leerzeichen und bringt die Wörter durcheinander

  
  

Den Code können Sie hier lesen. Es ist sehr einfach! Das ist Standard-NLP-Vorverarbeitungsmaterial. Aber ich habe noch niemanden gesehen, der es für diesen Zweck verwendet.

Vor ein paar Wochen hat Twitter „Shoggoth Tongue“ entdeckt . Sie können GPT dazu bringen, hochkomprimierten Text in einer eigenwilligen Sprache zu schreiben, die seine eigenen Instanzen verstehen können. Das ist äußerst faszinierend. Als Methode zum Geldsparen ist es jedoch nicht effektiv GPT, da Sie für die Komprimierung weiterhin GPT verwenden müssen.

gptrim benötigt kein GPT zum Komprimieren von Text, was es schnell und kostenlos macht.

Wie kann ich das nutzen?

gptrim schreibt Ihre Eingabeaufforderungen um, sodass sie etwa 50 % kürzer sind. Sie können die verkürzte Eingabeaufforderung einfach in ChatGPT einfügen oder an Ihre API weiterleiten. GPT wird dann Ihren Anweisungen folgen. Es bedarf keiner besonderen Erklärung. GPT erkennt nichts Seltsames an Ihrem Text!

Wie gut funktioniert es?

Ich habe das nicht ausführlich getestet. Nach allem, was ich gesehen habe, kann GPT den größten Teil der ursprünglichen Bedeutung wiederherstellen. Dies gilt auch für GPT-3.5.

Der beste Weg, die Komprimierungsqualität zu überprüfen, besteht darin, GPT zu bitten, den Text zu dekomprimieren. Ich habe oben im Artikel eine Aufforderung dazu gepostet.

Die Komprimierung ist nicht perfekt. Bei manchen Sätzen geht die Bedeutung verloren oder wird falsch interpretiert. Ich empfehle dies nicht für Anwendungen, bei denen es auf Nuancen ankommt (z. B. medizinische Diagnose).

Zukünftige Schritte

Dieses Projekt wurde an einem Abend zusammen gehackt. Es war vor allem eine gemeinsame Anstrengung. Ich hatte die Idee und GPT hat die Trimmfunktion geschrieben. Es hat auch die schwere Arbeit beim Schreiben der Flask-Web-App geleistet.

Es gibt mehrere Verbesserungen, die hinzugefügt werden könnten:

• Veröffentlichen Sie eine Python-Bibliothek, um dies programmgesteuert zu tun.

• Messen Sie Einsparungen in GPT-Tokens, nicht in Zeichenzahlen.

• Berechnen Sie die Dollareinsparungen basierend auf den Preisen von OpenAI.

• Führen Sie weitere Experimente durch. Können wir GPT dazu bringen, in gekürzter Sprache zu antworten, in gekürzter Sprache zu denken und den Text erst als letzten Schritt zu dekomprimieren?

  
  

Schließlich muss es bessere Methoden zum Komprimieren von Text für GPT geben, ohne GPT zu verwenden. Ich freue mich auf neue Ideen in diesem Bereich.

Lasst uns verbinden!

Ich mag es, Dinge mit KI zu bauen und darüber zu schreiben. Finden Sie mich auf LinkedIn und Twitter .