Gptrim: ¡Reduzca el tamaño de su mensaje GPT en un 50% gratis!

Presentamos gptrim , una aplicación web gratuita que reducirá el tamaño de sus indicaciones entre un 40 % y un 60 % y conservará la mayor parte de la información original para que la procese GPT. gptrim también es una biblioteca de Python .

Cómo funciona

Pegue su solicitud de GPT en gptrim . Copie el texto recortado y déselo a GPT.

El texto recortado parece un galimatías. ¡Pero GPT lo entiende! 😁

Este es el aviso que puede usar para verificar la calidad de la compresión:

 This is an instance of compressed text. Rewrite it so that it has perfect grammar and is understandable by a human. Try to interpret it as faithfully as possible. Do not paraphrase or add anything to the text.

El problema: ¡La ventana de contexto es demasiado pequeña!

Si ha jugado con GPT, sabe que el mayor límite de lo que puede lograr proviene de la ventana de contexto, es decir, la cantidad total de tokens que GPT puede ver al mismo tiempo.

Así es como están las cosas en el momento de este artículo ( descripción general de OpenAI ):

• El tamaño de la ventana de contexto se mide en tokens. 1000 tokens corresponden a aproximadamente 750 palabras.

• La API GPT-3.5 tiene una ventana de contexto de tokens 4k o aproximadamente 6 páginas de Word.

• Con la API de GPT-4, puede obtener una ventana de contexto de 8k o 32k de tamaño, según cuánto esté dispuesto a pagar.

• Incluso si está dispuesto a pagar, la API GPT-4 está en versión beta limitada y la mayoría de las personas, incluido yo mismo, no pueden acceder a ella. Hola, OpenAI, todavía estoy esperando esa invitación.

• Cuando usa las API, cada token le cuesta.

• Puede usar GPT-4 de forma interactiva en ChatGPT , por una tarifa mensual. Desafortunadamente, los mensajes de chat solo pueden contener una pequeña cantidad de caracteres. Tanto ChatGPT como yo a veces cruzamos ese límite y nuestros mensajes se interrumpen.

  
  

En la práctica, esto hace que sea muy difícil crear aplicaciones que funcionen con grandes cantidades de texto.

Reducir los tokens en sus avisos significa:

1. Puedes tener una ventana de contexto más grande, construir cosas más geniales.
2. Gastarás menos dinero haciendo el mismo trabajo.

En general, nunca hay demasiada ventana de contexto. Incluso si está dispuesto a pagar por 32k, aún querrá más.

La solución: olvídate de la legibilidad

GPT está capacitado para predecir el lenguaje humano. En el día a día, es mucho mejor para predecir el lenguaje humano que cualquier ser humano. Si le das un texto muy condensado y comprimido, aún podrá leerlo.

Considere el uso de los espacios. Los humanos necesitamos espacios entre las palabras porque necesitamos ver el texto. Pero si escribiera sin espacios, probablemente aún podrías entenderme.

Supongo que el 95% de los espacios en un texto están ahí para facilitar la lectura a la vista. A GPT no le importa. Cada espacio que elimines es una ficha adicional que puedes usar para transmitir información.

¿Podemos hacer algo mejor que simplemente eliminar espacios? Por supuesto, le pregunté a GPT. (Estaba frustrado porque estaba tratando de alimentarlo con grandes publicaciones de blog y seguí corriendo hasta el límite). Se me ocurrió una función de Python que hace lo siguiente:

• Tokeniza el texto

• Elimina palabras vacías

• Aplica el algoritmo de derivación de Porter.

• Elimina algunas palabras comunes: 'the', 'a', 'an', 'in', 'on', 'at', 'for', 'to', 'of'

• Elimina todos los espacios y mezcla las palabras juntas

  
  

Puedes leer el código aquí . ¡Es muy sencillo! Este es un material estándar de preprocesamiento de PNL. Pero todavía no he visto a nadie usarlo para este propósito.

Hace un par de semanas, Twitter descubrió "Shoggoth Tongue". Puede hacer que GPT escriba texto altamente comprimido en un lenguaje idiosincrásico que sus propias instancias puedan entender. Esto es extremadamente fascinante. Sin embargo, no es efectivo como método para ahorrar dinero en GPT, porque aún necesita usar GPT para la compresión.

gptrim no necesita GPT para comprimir texto, lo que lo hace rápido y gratuito.

¿Cómo puedo usar esto?

gptrim reescribe sus indicaciones para que sean un 50 % más cortas. Simplemente puede pegar el aviso abreviado en ChatGPT o enviarlo a su API. GPT seguirá sus instrucciones. No se necesita una explicación especial. ¡GPT no verá nada raro en tu texto!

¿Qué tan bien funciona?

No he probado esto extensamente. Por lo que he visto, GPT puede recuperar la mayor parte del significado original. Esto también es cierto para GPT-3.5.

La mejor manera de verificar la calidad de la compresión es pedirle a GPT que descomprima el texto. He compartido un mensaje para eso en la parte superior del artículo.

La compresión no es perfecta. Para algunas oraciones, el significado se pierde o se malinterpreta. No recomiendo usar esto para aplicaciones donde los matices son cruciales (por ejemplo, diagnóstico médico).

Pasos futuros

Este proyecto fue pirateado en una noche. Fue en gran medida un esfuerzo de colaboración. Se me ocurrió la idea y GPT escribió la función de recorte. También hizo el trabajo pesado para escribir la aplicación web Flask.

Hay varias mejoras que se podrían añadir:

• Publique una biblioteca de Python para hacer esto mediante programación.

• Mida los ahorros en tokens GPT, no en números de caracteres.

• Calcule los ahorros en dólares según los precios de OpenAI.

• Haz más experimentos. ¿Podemos hacer que GPT responda en un lenguaje recortado, piense por sí mismo en un lenguaje recortado y solo descomprima el texto como paso final?

  
  

Finalmente, debe haber mejores métodos para comprimir texto para GPT, sin usar GPT. Espero nuevas ideas en este espacio.

¡Conectémonos!

Me gusta construir cosas con IA y escribir sobre ello. Encuéntrame en LinkedIn y Twitter .