GPT가 처리할 원본 정보를 대부분 보존하면서 메시지 크기를 40%-60%까지 줄이는 무료 웹 앱인 소개합니다. gptrim은 이기도 합니다. gptrim을 Python 라이브러리 작동 방식 에 GPT 프롬프트를 붙여넣습니다. 잘린 텍스트를 복사하여 GPT에 제공하세요. gptrim 잘린 텍스트는 횡설수설처럼 보입니다. 하지만 GPT는 그것을 이해합니다! 😁 압축 품질을 확인하는 데 사용할 수 있는 프롬프트는 다음과 같습니다. This is an instance of compressed text. Rewrite it so that it has perfect grammar and is understandable by a human. Try to interpret it as faithfully as possible. Do not paraphrase or add anything to the text. 문제: 컨텍스트 창이 너무 작습니다! GPT를 사용해 본 적이 있다면 달성할 수 있는 최대 제한이 컨텍스트 창, 즉 GPT가 한 번에 볼 수 있는 총 토큰 수에 있다는 것을 알고 계실 것입니다. 이 기사를 작성하는 시점의 상황은 다음과 같습니다( ). OpenAI 개요 컨텍스트 창의 크기는 토큰 단위로 측정됩니다. 1000개 토큰은 약 750단어에 해당합니다. GPT-3.5 API에는 4k 토큰 또는 약 6개의 Word 페이지로 구성된 컨텍스트 창이 있습니다. GPT-4 API를 사용하면 지불하려는 금액에 따라 8k 또는 32k 크기의 컨텍스트 창을 얻을 수 있습니다. 기꺼이 비용을 지불하더라도 GPT-4 API는 제한된 베타 버전이므로 나를 포함한 대부분의 사람들은 액세스할 수 없습니다. 안녕하세요 OpenAI, 아직도 초대를 기다리고 있습니다. API를 사용하면 모든 토큰 하나에 비용이 발생합니다. 월별 요금으로 에서 GPT-4를 대화형으로 사용할 수 있습니다. 안타깝게도 채팅 메시지는 소수의 문자만 입력할 수 있습니다. ChatGPT와 저는 때때로 해당 한도를 초과하여 메시지가 중단되는 경우가 있습니다. ChatGPT 실제로 이로 인해 많은 양의 텍스트를 처리하는 애플리케이션을 구축하기가 매우 어렵습니다. 프롬프트에서 토큰을 줄이는 것은 다음을 의미합니다. 더 큰 컨텍스트 창을 갖고 더 멋진 것을 만들 수 있습니다. 같은 일을 하면서 돈을 덜 쓰게 됩니다. 일반적으로 컨텍스트 창은 너무 많지 않습니다. 32,000원에 기꺼이 지불하더라도 여전히 더 많은 것을 원할 것입니다. 해결책: 가독성은 잊어버리세요 GPT는 인간의 언어를 예측하도록 훈련되었습니다. 매일매일 인간의 언어를 예측하는 데는 그 어떤 인간보다 더 뛰어납니다. 고도로 압축되고 압축된 텍스트를 주면 여전히 읽을 수 있습니다. 훨씬 공간 활용을 고려해보세요. 인간은 텍스트를 하기 때문에 단어 사이에 공백이 필요합니다. 하지만 제가 띄어쓰기 없이 썼다면 여러분은 아마도 제 말을 이해하실 수 있을 것입니다. 봐야 내 추측으로는 텍스트의 공백 중 95%는 눈이 읽기 쉽게 하기 위해 존재하는 것입니다. GPT는 상관하지 않습니다. 제거하는 모든 공간은 정보를 전달하는 데 사용할 수 있는 추가 토큰입니다. 공백을 제거하는 것보다 더 잘할 수 있습니까? 물론 GPT에 물어봤습니다. (큰 블로그 게시물을 제공하려고 하다가 계속 한계에 부딪혀서 좌절했습니다.) 다음을 수행하는 Python 함수가 나타났습니다. 텍스트를 토큰화합니다. 불용어를 제거합니다. 적용합니다. 포터 형태소 분석 알고리즘을 몇 가지 일반적인 단어를 제거합니다: 'the', 'a', 'an', 'in', 'on', 'at', 'for', 'to', 'of' 모든 공백을 제거하고 단어를 뒤죽박죽으로 만듭니다. 코드를 읽을 수 있습니다. 매우 간단합니다! 이것은 표준 NLP 전처리 항목입니다. 하지만 아직까지 이런 용도로 사용하는 사람은 본 적이 없습니다. 여기에서 몇 주 전에 트위터는 "Shoggoth Tongue" . GPT가 자체 인스턴스가 이해할 수 있는 독특한 언어로 고도로 압축된 텍스트를 작성하도록 할 수 있습니다. 이것은 매우 매력적입니다. 그러나 비용을 절약하는 방법으로는 효과적이지 않습니다. GPT, 압축에는 여전히 GPT를 사용해야 하기 때문입니다. 를 발견했습니다 gptrim은 텍스트를 압축하는 데 GPT가 필요하지 않으므로 빠르고 무료입니다. 어떻게 사용할 수 있나요? gptrim은 프롬프트를 다시 작성하여 ~50% 더 짧게 만듭니다. ChatGPT에 단축 프롬프트를 붙여넣거나 API에 피드할 수 있습니다. 그러면 GPT가 귀하의 지시를 따릅니다. 특별한 설명은 필요하지 않습니다. GPT는 귀하의 텍스트에서 이상한 점을 발견하지 못합니다! 얼마나 잘 작동합니까? 나는 이것을 광범위하게 테스트하지 않았습니다. 제가 본 바에 따르면 GPT는 원래 의미를 대부분 복구할 수 있습니다. 이는 GPT-3.5에서도 마찬가지입니다. 압축 품질을 확인하는 가장 좋은 방법은 GPT에 텍스트 압축 해제를 요청하는 것입니다. 기사 상단에 이에 대한 프롬프트를 공유했습니다. 압축이 완벽하지 않습니다. 일부 문장의 경우 의미가 잃거나 잘못 해석됩니다. 미묘한 차이가 중요한 응용 프로그램(예: 의료 진단)에는 이 방법을 사용하지 않는 것이 좋습니다. 향후 단계 이 프로젝트는 저녁에 함께 해킹되었습니다. 그것은 매우 협력적인 노력이었습니다. 제가 아이디어를 냈고, GPT가 트리밍 기능을 작성해 줬어요. 또한 Flask 웹 앱을 작성하기 위한 무거운 작업도 수행했습니다. 추가할 수 있는 몇 가지 개선 사항이 있습니다. 프로그래밍 방식으로 이 작업을 수행하려면 Python 라이브러리를 게시하세요. 문자 숫자가 아닌 GPT 토큰으로 절감액을 측정하세요. OpenAI 가격을 기준으로 비용 절감액을 계산하세요. 더 많은 실험을 실행하세요. GPT가 잘린 언어로 답변하고, 잘린 언어로 스스로 생각하고, 마지막 단계로만 텍스트 압축을 풀도록 할 수 있나요? 마지막으로, GPT를 사용 GPT 텍스트를 압축하는 더 나은 방법이 있어야 합니다. 나는 이 공간에서 새로운 아이디어를 기대한다. 하지 않고 용으로 연결하자! 저는 AI로 무언가를 만들고 그것에 관해 글을 쓰는 것을 좋아합니다. 과 에서 저를 찾아보세요. LinkedIn Twitter
