Présentation de , une application Web gratuite qui réduira la taille de vos invites de 40 % à 60 % tout en préservant la plupart des informations d'origine à traiter par GPT. gptrim est également une . gptrim bibliothèque Python Comment ça fonctionne Collez votre invite GPT dans . Copiez le texte coupé et donnez-le à GPT. gptrim Le texte coupé ressemble à du charabia. Mais GPT l'a bien compris ! 😁 Voici l'invite que vous pouvez utiliser pour vérifier la qualité de la compression : This is an instance of compressed text. Rewrite it so that it has perfect grammar and is understandable by a human. Try to interpret it as faithfully as possible. Do not paraphrase or add anything to the text. Le problème : la fenêtre contextuelle est trop petite ! Si vous avez joué avec GPT, vous savez que la plus grande limite de ce que vous pouvez réaliser vient de la fenêtre contextuelle, c'est-à-dire du nombre total de jetons que GPT peut voir en même temps. Voici où en sont les choses au moment de cet article ( ) : vue d'ensemble d'OpenAI La taille de la fenêtre de contexte est mesurée en jetons. 1000 jetons correspondent à environ 750 mots. L'API GPT-3.5 a une fenêtre contextuelle de 4k jetons ou environ 6 pages Word. Avec l'API GPT-4, vous pouvez obtenir une fenêtre contextuelle de taille 8k ou 32k, selon le montant que vous êtes prêt à payer. Même si vous êtes prêt à payer, l'API GPT-4 est en version bêta limitée et la plupart des gens, moi y compris, ne peuvent pas y accéder. Hey OpenAI, j'attends toujours cette invitation. Lorsque vous utilisez les API, chaque jeton vous coûte. Vous pouvez utiliser GPT-4 de manière interactive dans , moyennant des frais mensuels. Malheureusement, les messages de chat ne peuvent contenir qu'un petit nombre de caractères. ChatGPT et moi-même franchissons parfois cette limite et nos messages sont interrompus. ChatGPT En pratique, cela rend très difficile la création d'applications qui fonctionnent sur de grandes quantités de texte. Réduire les jetons dans vos invites signifie : Vous pouvez avoir une plus grande fenêtre de contexte, créer des choses plus cool. Vous dépenserez moins d'argent pour le même travail. En général, il n'y a jamais trop de fenêtre contextuelle. Même si vous êtes prêt à payer pour 32 000, vous en voudrez toujours plus. La solution : oubliez la lisibilité GPT est formé à la prédiction du langage humain. Au jour le jour, il est meilleur pour prédire le langage humain que n'importe quel humain ne le sera jamais. Si vous lui donnez un texte très condensé et compressé, il pourra toujours le lire. bien Considérez l'utilisation des espaces. Les humains ont besoin d'espaces entre les mots parce que nous avons besoin de le texte. Mais si j'écrivais sans espaces, vous pourriez probablement encore me comprendre. voir Je suppose que 95% des espaces dans un texte sont juste là pour rendre la lecture plus facile pour les yeux. GPT s'en fiche. Chaque espace que vous éliminez est un jeton supplémentaire que vous pouvez utiliser pour transmettre des informations. Pouvons-nous faire mieux que simplement supprimer les espaces ? Bien sûr, j'ai demandé à GPT. (J'étais frustré parce que j'essayais de le nourrir de gros articles de blog et que je me heurtais à la limite.) Il a créé une fonction Python qui fait ce qui suit : Tokénise le texte Supprime les mots vides Applique l' algorithme de radicalisation de Porter Supprime quelques mots courants : 'le', 'a', 'an', 'in', 'on', 'at', 'for', 'to', 'of' Supprime tous les espaces et mélange les mots ensemble Vous pouvez lire le code . C'est très simple! Il s'agit d'éléments de prétraitement NLP standard. Mais je n'ai encore vu personne l'utiliser à cette fin. ici Il y a quelques semaines, Twitter "Shoggoth Tongue". Vous pouvez demander à GPT d'écrire du texte hautement compressé dans un langage idiosyncrasique que ses propres instances peuvent comprendre. C'est extrêmement fascinant. Cependant, ce n'est pas efficace comme méthode pour économiser de l'argent sur GPT, car vous devez toujours utiliser GPT pour la compression. a découvert gptrim n'a pas besoin de GPT pour compresser le texte, ce qui le rend rapide et gratuit. Comment puis-je l'utiliser ? gptrim réécrit vos invites afin qu'elles soient environ 50 % plus courtes. Vous pouvez simplement coller l'invite raccourcie dans ChatGPT ou la transmettre à votre API. GPT suivra alors vos instructions. Aucune explication spéciale n'est nécessaire. GPT ne verra rien de bizarre dans votre texte ! Comment fonctionne-t-il ? Je n'ai pas testé cela de manière approfondie. D'après ce que j'ai vu, GPT peut récupérer la majeure partie du sens original. Cela est également vrai pour GPT-3.5. La meilleure façon de vérifier la qualité de la compression est de demander à GPT de décompresser le texte. J'ai partagé une invite pour cela en haut de l'article. La compression n'est pas parfaite. Pour certaines phrases, le sens se perd ou est mal interprété. Je ne recommande pas de l'utiliser pour des applications où la nuance est cruciale (par exemple, un diagnostic médical). Étapes futures Ce projet a été hacké ensemble en une soirée. C'était vraiment un effort de collaboration. J'ai eu l'idée et GPT a écrit la fonction de découpage. Il a également fait le gros du travail pour écrire l'application Web Flask. Plusieurs améliorations pourraient être ajoutées : Publiez une bibliothèque Python pour le faire par programmation. Mesurez les économies en jetons GPT, pas en nombre de caractères. Calculez les économies en dollars en fonction des tarifs d'OpenAI. Exécutez plus d'expériences. Pouvons-nous faire en sorte que GPT réponde dans un langage rogné, pense à lui-même dans un langage rogné et ne décompresse le texte que dans une dernière étape ? Enfin, il doit y avoir de meilleures méthodes pour compresser le texte GPT, utiliser GPT. J'attends avec impatience de nouvelles idées dans cet espace. pour sans Connectons-nous ! J'aime construire des trucs avec l'IA et écrire à ce sujet. Retrouvez-moi sur et . LinkedIn Twitter
