Đây là năm đột phá của Generative AI Tốt; ít nhất phải nói rằng, năm nay tôi có rất nhiều lựa chọn về cách chạy Mô hình LLM tại địa phương. Hãy bắt đầu: 1) Máy biến áp ôm mặt: Tất cả hình ảnh được tạo bởi Bing Image Creator Để chạy Hugging Face Transformers ngoại tuyến mà không cần truy cập internet, hãy làm theo các bước sau: Cài đặt Transformers với các phụ thuộc cần thiết đồng thời đảm bảo bạn không dựa vào các bản cập nhật tự động trong quá trình cài đặt. Bạn có thể cài đặt qua pip hoặc conda như được mô tả trong tài liệu Ôm mặt pip install transformers==4.xy Tải các mô hình đã được huấn luyện trước từ máy cục bộ của bạn sau khi tải chúng xuống từ Hugging Face Hub có quyền truy cập internet. Lưu mô hình bằng save_pretrain(), sau đó tải mô hình sau ở chế độ ngoại tuyến. from transformers import AutoModelForSequenceClassification, BertTokenizerFast Lần đầu tiên, tải xuống và lưu mô hình model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased") model.save_pretrained("/my/local/directory/bert-base-uncased") Sau đó, tải mô hình đã lưu ngoại tuyến model = AutoModelForSequenceClassification.from_pretrained("/my/local/directory/bert-base-uncased") tokenizer = BertTokenizerFast.from_pretrained("/my/local/directory/bert-base-uncased") Đặt các biến môi trường TRANSFORMERS_OFFLINE và HF_DATASETS_OFFLINE để cho phép sử dụng ngoại tuyến. export TRANSFORMERS_OFFLINE=1 export HF_DATASETS_OFFLINE=1 Sao chép trực tiếp kho lưu trữ mô hình nếu bạn không muốn tải xuống các tệp riêng lẻ. git clone https://huggingface.co/<username>/<repository> /my/local/directory Đảm bảo rằng tất cả các tệp cần thiết đều có trong thư mục nơi bạn dự định thực thi tập lệnh của mình. Hãy nhớ rằng chỉ cài đặt TRANSFORMERS_OFFLINE thành 1 sẽ không hiệu quả nếu kiểu máy này chưa có sẵn tại địa phương. Bạn phải tải xuống mô hình có quyền truy cập internet và lưu nó cục bộ hoặc sao chép kho lưu trữ mô hình. 2) gpt4all là một dự án nguồn mở cho phép mọi người truy cập và sử dụng các mô hình AI mạnh mẽ như GPT-3. Dưới đây là hướng dẫn từng bước để cài đặt và sử dụng gpt4all: gpt4all Cài đặt: gpt4all yêu cầu Python 3.7 trở lên và một số gói phụ thuộc Python. Cách dễ nhất để cài đặt gpt4all là thông qua pip: pip install gpt4all Nhận khóa API: Bạn cần có khóa API để truy cập các mô hình thông qua gpt4all. Bạn có thể nhận khóa API miễn phí bằng cách đăng ký tại . https://platform.openai.com Thiết lập xác thực: Khi bạn có khóa API, hãy đặt biến môi trường có tên với khóa API làm giá trị. OPENAI_API_KEY export OPENAI_API_KEY="YOUR_API_KEY_HERE" Sử dụng gpt4all: Bây giờ bạn đã sẵn sàng sử dụng gpt4all trong Python để truy cập GPT-3 và các mô hình khác. Dưới đây là ví dụ nhắc Davinci (phiên bản GPT-3) tóm tắt một đoạn văn bản: from gpt4all import completions summary = completions.generate(engine="text-davinci-003", prompt="Summarize this text: [insert long text here]", max_tokens=50) print(summary.text) Tham khảo tài liệu gpt4all để biết thêm ví dụ về cách sử dụng các mô hình khác nhau 3) olamma Ollamma là thư viện mã nguồn mở cung cấp khả năng truy cập dễ dàng vào các mô hình ngôn ngữ lớn như GPT-3. Dưới đây là chi tiết về yêu cầu hệ thống, cài đặt và cách sử dụng: Yêu cầu hệ thống: Python 3.7 trở lên Thư viện yêu cầu Khóa API OpenAI hợp lệ Cài đặt: pip install ollamma Cách sử dụng: Đặt khóa API import os os.environ["OPENAI_API_KEY"] = "<YOUR_API_KEY>" Nhập và tạo ứng dụng khách from ollamma import Client client = Client() Tạo văn bản response = client.generate( engine="text-davinci-003", prompt="Hello world", max_tokens=100 ) print(response.generations[0].text) Phương thức tạo cho phép bạn chỉ định công cụ, lời nhắc và các tham số như mã thông báo tối đa để định cấu hình yêu cầu của bạn. Bạn cũng có thể tinh chỉnh công cụ, kiểm duyệt nội dung, v.v. Tham khảo tài liệu của Ollamma để biết thêm chi tiết về tất cả các phương pháp có sẵn. Vì vậy, tóm lại - Ollamma giúp việc tận dụng GPT-3 và các mô hình khác thực sự dễ dàng chỉ bằng một vài dòng mã Python sau khi được cài đặt và định cấu hình! 4) Xưởng LM LM Studio là một công cụ nguồn mở giúp hợp lý hóa quy trình đào tạo, đánh giá và sử dụng các mô hình ngôn ngữ tiên tiến tại địa phương. Dưới đây là các bước để LM Studio chạy cục bộ: Cài đặt: LM Studio yêu cầu Docker và Docker Compose. Để cài đặt: Một. Cài đặt Docker Engine và Docker Compose trên máy của bạn b. Sao chép kho lưu trữ LM Studio GitHub: git clone https://github.com/lm-studio/lm-studio.git Cấu hình: LM Studio dựa vào các file cấu hình trong thư mục . Các tập tin phổ biến bao gồm: config/ Một. : chỉ định kiến trúc mô hình b. : đặt tham số đào tạo c. : điều chỉnh cài đặt đánh giá model.yaml training.yaml evaluation.yaml Chạy LM Studio: Giao diện chính thông qua Docker Compose. Một số lệnh thông dụng: Một. Xây dựng hình ảnh: b. Bắt đầu tất cả các dịch vụ: c. Xem nhật ký: d. Dừng dịch vụ: docker-compose build docker-compose up -d docker-compose logs -f docker-compose down Các dịch vụ cung cấp nhiều cổng khác nhau mà bạn có thể sử dụng để tương tác với giao diện người dùng, API, sổ ghi chép, v.v. Vì vậy, tóm lại, LM Studio hợp lý hóa việc thử nghiệm mô hình ngôn ngữ địa phương. Người dùng chỉ cần sao chép repo, định cấu hình tệp cài đặt và sử dụng các lệnh Docker đơn giản để bắt đầu đào tạo, đánh giá và sử dụng mô hình. 5) địa phương Tôi thấy rằng đây là cách thuận tiện và đơn giản nhất. Lời giải thích đầy đủ được đưa ra trên liên kết dưới đây: https://cloud.google.com/blog/products/application-development/new-localllm-lets-you-develop-gen-ai-apps-locally-without-gpus Tóm tắt: kết hợp với Cloud Workstations cách mạng hóa việc phát triển ứng dụng dựa trên AI bằng cách cho phép bạn sử dụng LLM cục bộ trên CPU và bộ nhớ trong môi trường Google Cloud. Bằng cách loại bỏ nhu cầu về GPU, bạn có thể vượt qua những thách thức do sự khan hiếm GPU đặt ra và khai thác toàn bộ tiềm năng của LLM. Với năng suất được nâng cao, hiệu quả chi phí và bảo mật dữ liệu được cải thiện, localllm cho phép bạn xây dựng các ứng dụng sáng tạo một cách dễ dàng localllm 6) llamma.cpp Để cài đặt và sử dụng Llama.cpp cho mục đích đào tạo và suy luận cục bộ, hãy làm theo các bước sau: Cài đặt phụ thuộc: Python 3 CMake Optional (for GPU acceleration) NVIDIA drivers, CUDA, and cuDNN For Windows, use Visual Studio Community with Desktop C++ Environment and Python 3 Clone the repository: git clone --recursive Nếu bạn muốn sử dụng khả năng tăng tốc GPU, hãy đặt biến môi trường như được mô tả trong repo (ví dụ: trên Linux): https://github.com/abetlen/llama-cpp-python.git export CMAKE_ARGS="-DLLAMA_CUBLAS=ON" Install Llamma.cpp: Để biên dịch hệ thống và xây dựng cục bộ: cd llama-cpp-python pip install -e . For Windows, or if you want prebuilt binaries, consider the following: No GPU support: pip install llama-cpp-python[server] Tùy chọn, để sử dụng giao diện cấp cao, sử dụng lệnh: python -m llama_cpp.server --model models/7B/llama-model.gguf With GPU support: set FORCE_CMAKE=1 set CMAKE_ARGS=-DLLAMA_CUBLAS=ON pip install --upgrade --force-reinstall llama-cpp-python --no-cache-dir Tùy chọn, đối với Windows, để sử dụng giao diện cấp cao: python -m llama_cpp.server --model "path/to/your/model" Download and place Llama models in the models/ subdirectory within the Llama.cpp repository if they are not included (models like llama-model.gguf or ggml-* files are available on Hugging Face or GGML). Kiểm tra cài đặt: The llama_cpp/llama_cpp.py script provides a simple high-level interface in Python. Replace llama-model.gguf with your downloaded Llama model to test inference. If you want to train your own Llama model, you'll need to train it according to the official documentation and manually convert the GGML files into GGUF files (for GPU deployment). 7) Oobagooba Đây là một triển khai gradio mã nguồn mở của webui để tạo văn bản bằng langchain. Một số đoạn trích từ tệp README.md: phần mở rộng tạo văn bản-webui Đây là thư mục các phần mở rộng dành cho https://github.com/oobabooga/text-thế hệ-webui Nếu bạn tạo tiện ích mở rộng của riêng mình, bạn có thể gửi nó vào danh sách này dưới dạng PR. trí nhớ dài hạn Một tiện ích mở rộng phức tạp tạo ra bộ nhớ dài hạn cho bot trong chế độ trò chuyện. https://github.com/wawawario2/long_term_memory TTS AllTalk AllTalk dựa trên công cụ Coqui TTS, tương tự như tiện ích mở rộng Coqui_tts cho webUI tạo văn bản, tuy nhiên hỗ trợ nhiều tính năng nâng cao. Điều chỉnh cài đặt khởi động mặc định của bạn. Cài đặt khởi động tùy chỉnh: Ảnh chụp màn hình Sử dụng các giọng nói khác nhau cho nhân vật chính và lời tường thuật. Người kể chuyện: Tường thuật ví dụ Phù hợp với những người có bộ nhớ GPU nhỏ hoặc nếu VRAM của bạn bị LLM lấp đầy. Chế độ VRAM thấp: Ảnh chụp màn hình Tăng hiệu suất gấp 3-4 lần khi tạo TTS. DeepSpeed: Hướng dẫn Windows/Linux DeepSpeed Ảnh chụp màn hình Sử dụng bất kỳ mô hình XTTSv2 nào (API cục bộ và XTTSv2 cục bộ). Mô hình cục bộ/tùy chỉnh: Có thể định cấu hình xóa các tệp wav đầu ra cũ. Bảo trì tệp wav tùy chọn: Ảnh chụp màn hình Huấn luyện mô hình cụ thể theo giọng bạn chọn để tái tạo tốt hơn. Tinh chỉnh Tài liệu đầy đủ với một trang web tích hợp. Tài liệu: Ảnh chụp màn hình Xóa đầu ra dòng lệnh đối với bất kỳ cảnh báo hoặc sự cố nào. Đầu ra của bảng điều khiển Có thể được sử dụng với các ứng dụng của bên thứ 3 thông qua lệnh gọi JSON. Hỗ trợ API Suite và bên thứ 3 thông qua lệnh gọi JSON Không chỉ bên trong webui tạo văn bản. Có thể chạy như một ứng dụng độc lập https://github.com/erew123/alltalk_tts EdgeGPT Tiện ích mở rộng cho Webui tạo văn bản dựa trên EdgeGPT của acheong08, để bot của bạn truy cập Internet nhanh chóng. https://github.com/GiusTex/EdgeGPT XTTSv2 Một biến thể của tiện ích mở rộng coqui_tts trong kho lưu trữ chính. Cả hai đều sử dụng mô hình XTTSv2, nhưng mô hình này có tính năng "người kể chuyện" cho văn bản được viết *giữa các dấu hoa thị*. https://github.com/kanttouchthis/text_Generation_webui_xtts Sân chơi cho nhà văn Tiện ích mở rộng này cung cấp một sổ ghi chép nâng cao độc lập sẽ luôn xuất hiện ở tab trên cùng. Nó có nhiều tính năng không có trong máy tính xách tay: Hai Notebook A và B độc lập luôn hiện diện, bất kể chế độ nào Hướng dẫn nội tuyến (khả năng đặt câu hỏi hoặc đưa ra nhiệm vụ từ chính văn bản) Chọn và chèn - tạo văn bản ở giữa văn bản của bạn Bộ nhớ Perma, Tóm tắt, Diễn giải LoRA-Rama - hiển thị các điểm kiểm tra LoRA và khả năng chuyển đổi giữa chúng Chia tỷ lệ LoRA (thử nghiệm) - điều chỉnh tác động LoRA bằng thanh trượt https://github.com/FartyPants/Playground Và còn rất nhiều điều nữa để chúng ta khám phá: Hãy xem: https://github.com/oobabooga/text-Generation-webui-extensions Phần kết luận? Và còn nhiều hơn thế nữa! Nhiều hơn nữa! LangChain, llm, ollamma, danh sách này ngày càng lớn hơn! Đây là một năm huy hoàng của sự sáng tạo tươi đẹp. Chúc mừng!

The writer is smart, but don't just like, take their word for it. #DoYourOwnResearch before making any investment decisions or decisions regarding your health or security. (Do not regard any of this content as professional investment advice, or health advice)

Portfolio

Hire Me

Read My Stories

Systems Developer - Python

Generative AI Engineer

Team Lead, Tech Lead

Technical Research Theoretician

Nghe bài viết này bằng Tiếng Anh, đọc bởi robot thông minh của HackerNoon

dài quá đọc không nổi

Making security fun one episode at a time

Cách chạy LLM địa phương của riêng bạn (Cập nhật năm 2024)

dài quá đọc không nổi

People Mentioned

Thomas Cherickal

STORY’S CREDIBILITY

DYOR

About Author

chuyên mục

Languages

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI...

Cách chạy LLM địa phương của riêng bạn (Cập nhật năm 2024)

dài quá đọc không nổi

People Mentioned

Thomas Cherickal

STORY’S CREDIBILITY

DYOR

About Author

chuyên mục

Languages

BÀI VIẾT NÀY CŨNG CÓ MẶT TẠI...

NHỮNG BÀI VIẾT LIÊN QUAN