Giới thiệu   , một ứng dụng web miễn phí sẽ giảm 40%-60% kích thước lời nhắc của bạn trong khi vẫn giữ lại hầu hết thông tin gốc để GPT xử lý. gptrim cũng là một   . gptrim thư viện Python  Làm thế nào nó hoạt động  Dán lời nhắc GPT của bạn vào   . Sao chép văn bản đã cắt và cung cấp cho GPT.  gptrim  Các văn bản cắt trông giống như vô nghĩa. Nhưng GPT hiểu điều đó! 😁   Đây là lời nhắc mà bạn có thể sử dụng để kiểm tra chất lượng nén:   This is an instance of compressed text. Rewrite it so that it has perfect grammar and is understandable by a human. Try to interpret it as faithfully as possible. Do not paraphrase or add anything to the text.  Vấn đề: Cửa sổ ngữ cảnh quá nhỏ!  Nếu bạn đã chơi với GPT, bạn sẽ biết rằng giới hạn lớn nhất đối với những gì bạn có thể đạt được đến từ cửa sổ ngữ cảnh, tức là tổng số mã thông báo mà GPT có thể thấy cùng một lúc.  Đây là nơi mọi thứ đang diễn ra tại thời điểm viết bài này (   ): Tổng quan về OpenAI  Kích thước của cửa sổ ngữ cảnh được đo bằng mã thông báo. 1000 mã thông báo tương ứng với khoảng 750 từ.  API GPT-3.5 có cửa sổ ngữ cảnh gồm 4k mã thông báo hoặc khoảng 6 trang Word.  Với API GPT-4, bạn có thể nhận được cửa sổ ngữ cảnh có kích thước 8k hoặc 32k, tùy thuộc vào số tiền bạn sẵn sàng trả.  Ngay cả khi bạn sẵn sàng trả tiền, API GPT-4 vẫn ở phiên bản beta giới hạn và hầu hết mọi người, bao gồm cả tôi, không thể truy cập vào nó. Xin chào OpenAI, vẫn đang chờ lời mời đó.  Khi bạn đang sử dụng API, mỗi mã thông báo đều có giá của bạn.  Bạn có thể sử dụng GPT-4 một cách tương tác trong   , với một khoản phí hàng tháng. Thật không may, tin nhắn trò chuyện chỉ có thể chứa một số ký tự nhỏ. Cả ChatGPT và tôi đôi khi vượt quá giới hạn đó và tin nhắn của chúng tôi bị gián đoạn. ChatGPT  Trong thực tế, điều này làm cho việc xây dựng các ứng dụng hoạt động trên một lượng lớn văn bản trở nên rất khó khăn.  Giảm mã thông báo trong lời nhắc của bạn có nghĩa là:  Bạn có thể có một cửa sổ ngữ cảnh lớn hơn, xây dựng những thứ hay ho hơn.  Bạn sẽ tốn ít tiền hơn khi làm cùng một công việc.  Nói chung, không bao giờ có quá nhiều cửa sổ ngữ cảnh. Ngay cả khi bạn sẵn sàng trả 32k, bạn vẫn sẽ muốn nhiều hơn nữa.  Giải pháp: Quên về khả năng đọc  GPT được đào tạo để dự đoán ngôn ngữ của con người. Trên cơ sở hàng ngày, việc dự đoán ngôn ngữ của con người tốt hơn   so với bất kỳ con người nào từng làm. Nếu bạn cung cấp cho nó một văn bản có độ cô đọng và được nén cao, nó vẫn có thể đọc được. nhiều  Xem xét việc sử dụng không gian. Con người cần khoảng cách giữa các từ vì chúng ta cần   văn bản. Nhưng nếu tôi viết mà không có khoảng trắng thì có lẽ bạn vẫn hiểu tôi. xem  Tôi đoán là 95% khoảng trắng trong văn bản chỉ ở đó để giúp mắt đọc dễ dàng hơn. GPT không quan tâm. Mỗi khoảng trống bạn loại bỏ là một mã thông báo bổ sung mà bạn có thể sử dụng để truyền tải thông tin.  Chúng ta có thể làm tốt hơn là chỉ xóa khoảng trắng không? Tất nhiên, tôi đã hỏi GPT. (Tôi đã thất vọng vì tôi đã cố gắng cung cấp cho nó các bài đăng trên blog lớn và liên tục vượt quá giới hạn.) Nó đã đưa ra một hàm Python thực hiện như sau:  Mã hóa văn bản  Xóa từ khóa  Áp dụng  thuật toán xuất phát Porter  Loại bỏ một số từ phổ biến: 'the', 'a', 'an', 'in', 'on', 'at', 'for', 'to', 'of'  Loại bỏ tất cả các khoảng trắng và trộn các từ lại với nhau  Bạn có thể đọc mã   . Nó rất đơn giản! Đây là công cụ tiền xử lý NLP tiêu chuẩn. Nhưng tôi chưa thấy ai sử dụng nó cho mục đích này. ở đây  Một vài tuần trước, Twitter   "Shoggoth Tongue". Bạn có thể yêu cầu GPT viết văn bản được nén ở mức độ cao bằng một ngôn ngữ mang phong cách riêng mà các phiên bản của chính nó có thể hiểu được. Điều này cực kỳ hấp dẫn. Tuy nhiên, đây không phải là phương pháp hiệu quả để tiết kiệm tiền GPT, vì bạn vẫn cần sử dụng GPT để nén. đã phát hiện ra  gptrim không cần GPT để nén văn bản, giúp nó nhanh chóng và miễn phí.  Tôi có thể sử dụng cái này như thế nào?  gptrim viết lại lời nhắc của bạn để chúng ngắn hơn ~50%. Bạn có thể chỉ cần dán lời nhắc rút gọn vào ChatGPT hoặc đưa lời nhắc đó vào API của mình. GPT sau đó sẽ làm theo hướng dẫn của bạn. Không cần giải thích đặc biệt. GPT sẽ không thấy bất kỳ điều gì lạ về văn bản của bạn!  Nó hoạt động tốt như thế nào?  Tôi đã không thử nghiệm điều này rộng rãi. Từ những gì tôi đã thấy, GPT có thể khôi phục hầu hết ý nghĩa ban đầu. Điều này cũng đúng với GPT-3.5.  Cách tốt nhất để xác minh chất lượng nén là yêu cầu GPT giải nén văn bản. Tôi đã chia sẻ lời nhắc cho điều đó ở đầu bài viết.  Quá trình nén không hoàn hảo. Đối với một số câu, ý nghĩa bị mất hoặc hiểu sai. Tôi không khuyên bạn nên sử dụng điều này cho các ứng dụng mà sắc thái là rất quan trọng (ví dụ: chẩn đoán y tế).  Bước Tương Lai  Dự án này đã bị hack cùng nhau trong một buổi tối. Đó là rất nhiều nỗ lực hợp tác. Tôi nảy ra ý tưởng và GPT đã viết chức năng cắt xén. Nó cũng đã thực hiện công việc nặng nhọc để viết ứng dụng web Flask.  Có một số cải tiến có thể được thêm vào:  Xuất bản thư viện Python để thực hiện việc này theo chương trình.  Đo lường khoản tiết kiệm bằng mã thông báo GPT, không phải số ký tự.  Tính toán số tiền tiết kiệm được dựa trên giá của OpenAI.  Chạy nhiều thử nghiệm hơn. Chúng tôi có thể yêu cầu GPT trả lời bằng ngôn ngữ đã rút gọn, tự suy nghĩ bằng ngôn ngữ đã rút gọn và chỉ giải nén văn bản ở bước cuối cùng không?  Cuối cùng, phải có các phương pháp tốt hơn để nén văn bản   GPT   sử dụng GPT. Tôi mong đợi những ý tưởng mới trong không gian này. cho mà không cần  Hãy kết nối!  Tôi thích xây dựng công cụ bằng AI và viết về nó. Tìm tôi trên   và   . LinkedIn Twitter

This story contains new, firsthand information uncovered by the writer.

The writer is smart, but don't just like, take their word for it. #DoYourOwnResearch

The code in this story is for educational purposes. The readers are solely responsible for whatever they build with it.

2022 - HackerNoon Contributor of the Year - Data Science

2022 - HackerNoon Contributor of the Year - Programming

2022 - HackerNoon Contributor of the Year - Sql

2022 - Pythonistas Paradise

Subscribe to my free Substack

Follow me on LinkedIn

Nominated for 2022 - HackerNoon Contributor of the Year - Sql

Nominated for 2022 - Pythonistas Paradise

Nominated for 2022 - HackerNoon Contributor of the Year - Data Science

Nominated for 2022 - HackerNoon Contributor of the Year - Programming

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

Gptrim: Giảm miễn phí 50% kích thước lời nhắc GPT của bạn!

About Author

BÌNH LUẬN

chuyên mục

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI

Related Stories

94 Stories To Learn About John Locke

309 Stories To Learn About Smart Contracts

189 Stories To Learn About Reading Books

61 Stories To Learn About Polotical Philosophy

94 Stories To Learn About John Locke

309 Stories To Learn About Smart Contracts

189 Stories To Learn About Reading Books

61 Stories To Learn About Polotical Philosophy

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps