Bu, Üretken Yapay Zeka için çıkış yılıdır Kuyu; En azından söylemek gerekirse, bu yıl bir Yüksek Lisans Modelini yerel olarak nasıl çalıştıracağım konusunda seçim yapmakta zorlandım. Hadi başlayalım: 1) Sarılma Yüz Transformatörleri: Bing Image Creator Tarafından Oluşturulan Tüm Görseller Hugging Face Transformers'ı internet erişimi olmadan çevrimdışı çalıştırmak için şu adımları izleyin: Transformers'ı gerekli bağımlılıklarla yükleyin ve kurulum sırasında otomatik güncellemelere güvenmediğinizden emin olun. Hugging Face belgelerinde açıklandığı gibi pip veya conda aracılığıyla kurulum yapabilirsiniz. pip install transformers==4.xy Önceden eğitilmiş modelleri internet erişimi olan Hugging Face Hub'dan indirdikten sonra yerel makinenizden yükleyin. Modeli save_pretrained() kullanarak kaydedin ve daha sonra çevrimdışı modda yükleyin. from transformers import AutoModelForSequenceClassification, BertTokenizerFast İlk kez modeli indirip kaydedin model = AutoModelForSequenceClassification.from_pretrained("bert-base-uncased") model.save_pretrained("/my/local/directory/bert-base-uncased") Daha sonra kaydedilen modeli çevrimdışına yükleyin model = AutoModelForSequenceClassification.from_pretrained("/my/local/directory/bert-base-uncased") tokenizer = BertTokenizerFast.from_pretrained("/my/local/directory/bert-base-uncased") Çevrimdışı kullanımı etkinleştirmek için TRANSFORMERS_OFFLINE ve HF_DATASETS_OFFLINE ortam değişkenlerini ayarlayın. export TRANSFORMERS_OFFLINE=1 export HF_DATASETS_OFFLINE=1 Tek tek dosyaları indirmemeyi tercih ediyorsanız model deposunu doğrudan klonlayın. git clone https://huggingface.co/<username>/<repository> /my/local/directory Komut dosyalarınızı çalıştırmayı planladığınız dizinde gerekli tüm dosyaların bulunduğundan emin olun. Model zaten yerel olarak mevcut değilse, TRANSFORMERS_OFFLINE'ı yalnızca 1 olarak ayarlamanın işe yaramayacağını unutmayın. Modeli internet erişimiyle indirip yerel olarak kaydetmeniz veya model deposunu klonlamanız gerekir. 2) gpt4all herkesin GPT-3 gibi güçlü yapay zeka modellerine erişmesine ve kullanmasına olanak tanıyan açık kaynaklı bir projedir. İşte gpt4all'ı yüklemek ve kullanmak için adım adım talimatlar: gpt4all, Kurulum: gpt4all, Python 3.7 veya üzerini ve birkaç Python paketi bağımlılığını gerektirir. Gpt4all'ı kurmanın en kolay yolu pip kullanmaktır: pip install gpt4all Bir API Anahtarı edinin: Modellere gpt4all aracılığıyla erişmek için bir API anahtarına ihtiyacınız var. adresinden kaydolarak ücretsiz bir API anahtarı alabilirsiniz. https://platform.openai.com Kimlik Doğrulamayı Ayarlayın: API anahtarınızı aldıktan sonra adlı bir ortam değişkenini değer olarak API anahtarınızla ayarlayın. OPENAI_API_KEY export OPENAI_API_KEY="YOUR_API_KEY_HERE" gpt4all'ı kullanın: Artık GPT-3 ve diğer modellere erişmek için Python'da gpt4all'ı kullanmaya hazırsınız. İşte Davinci'yi (GPT-3'ün bir versiyonu) bir metin pasajını özetlemeye yönlendiren bir örnek: from gpt4all import completions summary = completions.generate(engine="text-davinci-003", prompt="Summarize this text: [insert long text here]", max_tokens=50) print(summary.text) Farklı modellerin nasıl kullanılacağına ilişkin daha fazla örnek için gpt4all belgelerine bakın. 3) olamam Ollamma, GPT-3 gibi büyük dil modellerine kolay erişim sağlayan açık kaynaklı bir kütüphanedir. Sistem gereksinimleri, kurulumu ve kullanımına ilişkin ayrıntılar şunlardır: Sistem gereksinimleri: Python 3.7 veya üzeri Kitaplık isteği Geçerli OpenAI API anahtarı Kurulum: pip install ollamma Kullanımı: API anahtarını ayarla import os os.environ["OPENAI_API_KEY"] = "<YOUR_API_KEY>" İstemciyi içe aktarın ve oluşturun from ollamma import Client client = Client() Metin oluştur response = client.generate( engine="text-davinci-003", prompt="Hello world", max_tokens=100 ) print(response.generations[0].text) Oluşturma yöntemi, isteğinizi yapılandırmak için motoru, istemi ve maksimum belirteç gibi parametreleri belirtmenize olanak tanır. Ayrıca motorlara ince ayar yapabilir, içeriği denetleyebilir ve daha fazlasını yapabilirsiniz. Mevcut tüm yöntemlere ilişkin ek ayrıntılar için Ollamma belgelerine bakın. Özetle - Ollamma, yüklendikten ve yapılandırıldıktan sonra yalnızca birkaç satırlık Python koduyla GPT-3 ve diğer modellerden yararlanmayı gerçekten kolaylaştırıyor! 4) LM Stüdyosu LM Studio, en son teknolojiye sahip dil modellerini yerel olarak eğitme, değerlendirme ve kullanma sürecini kolaylaştıran açık kaynaklı bir araçtır. LM Studio'nun yerel olarak çalışmasını sağlamanın adımları şunlardır: Kurulum: LM Studio, Docker ve Docker Compose'u gerektirir. Yüklemek: A. Makinenize Docker Engine ve Docker Compose'u yükleyin B. LM Studio GitHub deposunu klonlayın: git clone https://github.com/lm-studio/lm-studio.git Yapılandırma: LM Studio, klasörü altındaki yapılandırma dosyalarını kullanır. Ortak dosyalar şunları içerir: config/ A. : model mimarilerini belirtin B. : eğitim parametrelerini ayarlayın C. : değerlendirme ayarlarını düzenleyin model.yaml training.yaml evaluation.yaml LM Studio'yu Çalıştırma: Ana arayüz Docker Compose aracılığıyladır. Bazı yaygın komutlar: A. Görüntüler oluşturun: B. Tüm hizmetleri başlat: C. Günlükleri görüntüle: D. Hizmetleri durdurun: docker-compose build docker-compose up -d docker-compose logs -f docker-compose down Hizmetler, kullanıcı arayüzü, API'ler, not defterleri ve daha fazlasıyla etkileşimde bulunmak için kullanabileceğiniz çeşitli bağlantı noktalarını kullanıma sunar. Özetle, LM Studio yerel dil modeli denemelerini kolaylaştırıyor. Kullanıcıların modelleri eğitmeye, değerlendirmeye ve kullanmaya başlamak için repoyu kopyalaması, ayar dosyalarını yapılandırması ve basit Docker komutlarını kullanması yeterlidir. 5) yerel Bunun en uygun ve basit yol olduğunu düşünüyorum. Açıklamanın tamamı aşağıdaki linkte yer almaktadır: https://cloud.google.com/blog/products/application-development/new-localllm-lets-you-develop-gen-ai-apps-locally-without-gpus Özetlenmiş: Cloud Workstations ile bir araya gelerek, Google Cloud ortamında CPU ve bellek üzerinde yerel olarak LLM'leri kullanmanıza olanak tanıyarak yapay zeka odaklı uygulama geliştirmede devrim yaratıyor. GPU ihtiyacını ortadan kaldırarak, GPU kıtlığının yarattığı zorlukların üstesinden gelebilir ve Yüksek Lisans'ın tüm potansiyelini ortaya çıkarabilirsiniz. Gelişmiş üretkenlik, maliyet verimliliği ve iyileştirilmiş veri güvenliğiyle localllm, yenilikçi uygulamaları kolaylıkla oluşturmanıza olanak tanır localllm 6) llamma.cpp Yerel eğitim ve çıkarım amacıyla Llama.cpp'yi yüklemek ve kullanmak için şu adımları izleyin: Bağımlılıkları yükleyin: Python 3 CMake Optional (for GPU acceleration) NVIDIA drivers, CUDA, and cuDNN For Windows, use Visual Studio Community with Desktop C++ Environment and Python 3 Clone the repository: git clone --recursive GPU hızlandırmayı kullanmak istiyorsanız ortam değişkenini depoda açıklandığı gibi ayarlayın (örneğin, Linux'ta): https://github.com/abetlen/llama-cpp-python.git export CMAKE_ARGS="-DLLAMA_CUBLAS=ON" Install Llamma.cpp: Yerel derleme ve sistem derlemesi için: cd llama-cpp-python pip install -e . For Windows, or if you want prebuilt binaries, consider the following: No GPU support: pip install llama-cpp-python[server] İsteğe bağlı olarak, yüksek seviyeli bir arayüz kullanmak için şu komutu kullanın: python -m llama_cpp.server --model models/7B/llama-model.gguf With GPU support: set FORCE_CMAKE=1 set CMAKE_ARGS=-DLLAMA_CUBLAS=ON pip install --upgrade --force-reinstall llama-cpp-python --no-cache-dir Windows için üst düzey bir arayüz kullanmak isteğe bağlıdır: python -m llama_cpp.server --model "path/to/your/model" Download and place Llama models in the models/ subdirectory within the Llama.cpp repository if they are not included (models like llama-model.gguf or ggml-* files are available on Hugging Face or GGML). Kurulumu test edin: The llama_cpp/llama_cpp.py script provides a simple high-level interface in Python. Replace llama-model.gguf with your downloaded Llama model to test inference. If you want to train your own Llama model, you'll need to train it according to the official documentation and manually convert the GGML files into GGUF files (for GPU deployment). 7) Oobagooba Bu, langchain kullanarak metin oluşturmak için bir webui'nin açık kaynaklı kademeli uygulamasıdır. README.md dosyasından bazı alıntılar: metin oluşturma-webui-uzantılar Bu, aşağıdakiler için bir uzantı dizinidir: https://github.com/oobabooga/text-jenerasyon-webui Kendi uzantınızı oluşturursanız, bunu bir PR ile bu listeye gönderebilirsiniz. uzun süreli hafıza Sohbet modunda botlar için uzun süreli hafıza oluşturan gelişmiş bir uzantı. https://github.com/wawawario2/long_term_memory AllTalk TTS AllTalk, Metin oluşturma web kullanıcı arayüzü için Coqui_tts uzantısına benzer şekilde Coqui TTS motorunu temel alır, ancak çeşitli gelişmiş özellikleri destekler. Varsayılan başlangıç ayarlarınızı yapın. Özel Başlangıç Ayarları: Ekran görüntüsü Ana karakter ve anlatım için farklı sesler kullanın. Anlatıcı: Örnek Anlatım Küçük GPU belleği olan kişiler için veya VRAM'ınız Yüksek Lisansınız tarafından dolduruluyorsa idealdir. Düşük VRAM modu: Ekran görüntüsü TTS üreten 3-4 kat performans artışı. DeepSpeed: DeepSpeed Windows/Linux Talimatları Ekran görüntüsü XTTSv2 modellerinden herhangi birini kullanın (API Yerel ve XTTSv2 Yerel). Yerel/Özel modeller: Eski çıktı wav dosyalarının yapılandırılabilir şekilde silinmesi. İsteğe bağlı wav dosyası bakımı: Ekran görüntüsü Daha iyi ses üretimi için modeli özellikle seçtiğiniz bir sese göre eğitin. İnce ayar Yerleşik bir web sayfasıyla tamamen belgelenmiştir. Dokümantasyon: Ekran görüntüsü Herhangi bir uyarı veya sorun için komut satırı çıkışını temizleyin. Konsol çıkışı JSON çağrıları yoluyla 3. parti uygulamalarla kullanılabilir. JSON çağrıları aracılığıyla API Suite ve 3. Parti desteği Yalnızca metin oluşturma-webui'nin içinde değil. Bağımsız bir uygulama olarak çalıştırılabilir https://github.com/erew123/alltalk_tts EdgeGPT Botunuz için hızlı bir İnternet erişimi sağlamak üzere acheong08'in EdgeGPT tabanlı Metin Oluşturma Webui uzantısı. https://github.com/GiusTex/EdgeGPT XTTSv2 Ana depodaki coqui_tts uzantısının bir çeşidi. Her ikisi de XTTSv2 modelini kullanır, ancak bu modelin *yıldız işaretleri arasına* yazılan metinler için bir "anlatıcı" özelliği vardır. https://github.com/kanttouchthis/text_jenerasyon_webui_xtts Yazarlar için Oyun Alanı Bu uzantı, her zaman üst sekmede bulunacak bağımsız, gelişmiş bir dizüstü bilgisayar sağlar. Dizüstü bilgisayarda bulunmayan birçok özelliğe sahiptir: Moddan bağımsız olarak her zaman mevcut olan iki bağımsız Not Defteri A ve B Satır içi talimat (metnin içinden soru sorma veya görev verme yeteneği) Seç ve Ekle - metninizin ortasında metin oluşturun Kalıcı Bellek, Özetleme, Açımlama LoRA-Rama - LoRA kontrol noktalarını ve bunlar arasında geçiş yapma yeteneğini gösterir LoRA ölçeklendirme (deneysel) - bir kaydırıcı kullanarak LoRA etkisini ayarlayın https://github.com/FartyPants/Playground Ve keşfedecek çok daha fazlası var: Şuna göz atın: https://github.com/oobabooga/text-jenerasyon-webui-extensions Çözüm? Ve dahası da var! Çok daha fazla! LangChain, llm, ollamma, liste gittikçe büyüyor! İşte güzel yaratıcılıkla dolu muhteşem bir yıl. Şerefe!

The writer is smart, but don't just like, take their word for it. #DoYourOwnResearch before making any investment decisions or decisions regarding your health or security. (Do not regard any of this content as professional investment advice, or health advice)

Portfolio

Hire Me

Read My Stories

Systems Developer - Python

Generative AI Engineer

Team Lead, Tech Lead

Technical Research Theoretician

Bu ses hikayenin orijinal dilinde üretilmiştir!

Çok uzun; Okumak

Making security fun one episode at a time

Kendi Yerel LLM'nizi Nasıl Yönetirsiniz (2024 için Güncellendi)

Çok uzun; Okumak

People Mentioned

Thomas Cherickal

STORY’S CREDIBILITY

DYOR

About Author

ETİKETLERİ ASIN

Languages

BU YAZI...

Kendi Yerel LLM'nizi Nasıl Yönetirsiniz (2024 için Güncellendi)

Çok uzun; Okumak

People Mentioned

Thomas Cherickal

STORY’S CREDIBILITY

DYOR

About Author

ETİKETLERİ ASIN

Languages

BU YAZI...

İLGİLİ ÖYKÜLER