Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda

Milyonlarca dollar və ay hesablama zamanı böyük bir dil modelini yer üzündən öyrənmək lazımdır.Sadece bunu etməyə ehtiyac yoxdur.Fine-tuning sizə resursların bir hissəsi ilə saatlar və ya günlər, aylar deyil, sizin ehtiyacınıza hazırlanmış dil modellərini adapta bilərsiniz. Bu tutorial sizə kömək edir : dörd əsas fine-tuning tekniklərini öyrənəcəksiniz, Python-da tam bir öyrənmə kanalı kodlayacaqsınız və istehsal hazır modelləri qiymətli eksperimentlərdən ayıran teknikləri öyrənəcəksiniz. from theory to practice LLM Fine-Tuning nədir? Fine-tuning verilişini artırmaq üçün var olan bir dil modeli verilərinizdə öyrənir. Əvvəllər hazırlanmış modellər güclü generalistlərdir, lakin onları Onları sizin problemləriniz üçün ekspertlər edim. performance on specific tasks focused examples Yerindən bir model yaratmaq (massiv hesablanma və verilər lazımdır) yerindən bir model yaratmaq yerine, sizin üçün önemli olan, ya da tıbbi diagnostikası, müştərinin kömək automatizasiyası, hissi analizi, ya da hər hansı bir başqa spesifik işdir. LLM Fine-Tuning necə çalışır? “Fine-tuning” modelin hazırlanmış dil modellərində hazırlıq prosesini sizin spesifik datasetinizlə davam etdirir. Adaptasiya və minimallaşma updates internal weights Bu metod sizin kimi dəyişə bilər. və və Bəziləri projektidir ki, bütün model parametrləri güncellenir, digərləri isə parametr-efektiv metodlarla daha yaxşı işləyir. Sadəcə bir azı dəyişir. goals available data computational resources Lola LLM Fine-Tuning metodları Sürücülər Fine-Tuning SFT modelin düzgün sorğu-yavaş cütlüklərin şablonlarını öyrənməyi öyrətir və model ağırlığını bu cavablara tamamilə uyğunlaşdırır. Bunu, modelin hər zaman JSON formatında yanıt verməsi, müştərilərinizin xidmət skripti ilə izləməsi və ya şirkətinizin tonu ilə e-poçt yazması kimi konsekvent çıxartmalar istəyirsiniz. (Prompt, Ideal Response) Sürücülər Fine-Tuning VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Optimizasiya prioritetləri VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. DPO-nun istifadə edilməsi: Basic trainingdan sonra modelin şeyləri düzəltməsini, çox sözlü olmalarını və ya təhlükəsiz cavab verməsini qadağan etmək kimi iyrənc davranışları düzəltmək üçün. (Prompt, Good Response, Bad Response) Fine-Tuning təchizatı RLHF-də ilk dəfə bir mükafat modelini bir çox insan tərəfindən sıralanmış reaksiyaları olan çağırışlarda edirsən, insanların hansı reaksiyaları istədiyini öngörməyi öyrətirsən. Daha sonra, reaksiyaları yaradan bir modelin optimalizasiyası və düzəltməsi üçün amplifikasiya öyrənmək üçün istifadə edirsən. Bu, mükəmməl nümunələr yaratmaqdan daha asandır ki, mükəmməl nümunələr yaratmaq, tıbbi diagnostikalar, yasal araşdırmalar və digər kompleks aləm-spesifik hökmlər üçün daha yaxşıdır. (Prompt, [Response A, Response B, ...], [Rankings]) Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Qazaxıstanda Biz Qwen 2.5 baz modelini 0.5B parametrləri ilə istifadə edəcəyik ki, artıq doğal dil işləmək imkanları var. Qasırğası : modelin xüsusiyyətli terminolojisini öyrətmək, modelin spesifik işlərdəki performansını artırmaq, ya da onu domaininizə uyğunlaşdırmaq. works for virtually any use case of fine-tuning LLMs Əvvəllər Bu tutorialda istifadə edəcəyimiz bir neçə Python paketini yükləyin.Yeni bir projenin folderında Python virtual ortamı yaratın və aktiv edin, sonra bu kütüphərləri istifadə edin. Sizin ən sevdiyiniz paketi: pip pip install requests datasets transformers 'transformers[torch]' Get & Load Dataset-ə daxil olmaq VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. . reflect the task you want your model to perform Belə ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir il Ən asan başlanğıc isə “DataSet Library” (DataSet Librari) – bu kütləvi binalarca open-source veritabanı var ki, bu da fərqli və yüksək keyfiyyətli veritabanlara ehtiyac var? və ya Public data xəritədə. Hugging Face Purchase specialized datasets build your own by Scraping Scraping Misal olaraq, Amazon məhsul recenziyası üçün sentiment analiz modeli qurmaq istəyirsinizsə, bir web scraping vasitəsi ilə real recenziyalardan verileri toplaymaq istəyirsiniz. : Web şagirdləri API import json import requests # Web Scraper API parameters. payload = { "source": "amazon_product", # Query is the ASIN of a product. "query": "B0DZDBWM5B", "parse": True, } # Send a request to the API and get the response. response = requests.post( "https://realtime.oxylabs.io/v1/queries", # Visit https://dashboard.oxylabs.io to claim FREE API tokens. auth=("USERNAME", "PASSWORD"), json=payload, ) print(response.text) # Extract the reviews from the response. reviews = response.json()["results"][0]["content"]["reviews"] print(f"Found {len(reviews)} reviews") # Save the reviews to a JSON file. with open("reviews.json", "w") as f: json.dump(reviews, f, indent=2)  For this tutorial, let’s keep it simple without building a custom data collection pipeline. Since we're teaching the base model to solve word-based math problems, we can use the openai/gsm8k dataset. It’s a collection of grade-school math problems with step-by-step solutions. Load it in your Python file: from datasets import load_dataset dataset = load_dataset("openai/gsm8k", "main") print(dataset["train"][0]) 2.Tokenize verileri işləmək üçün Modellər texti doğrudan anlamırlar; onlar ilə işləyirlər “Tokenization” modelin işləyə biləcəyi texti tokenə çevirir.Hər model onun yanında öz tokenizerinə sahibdir, bu yüzden bazal modelinizə uyğun olanı istifadə edin: numbers from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B") tokenizer.pad_token = tokenizer.eos_token “Dünyaya getmək istədiyimiz problemlər var, bu problemlər də var, bu problemlər də var. Soruşdular, onları yaratmaq deyilsin: soruşma və cavabları ayrı-ayrı olaraq tokenize, sonra bir masking texniki istifadə edin. Cümə Soruşturmaq üçün TOKEN Bu model yalnız sorğu-suallardan öyrənir, eğitim daha fokuslu və effektiv edər. -100 def tokenize_function(examples): input_ids_list = [] labels_list = [] for question, answer in zip(examples["question"], examples["answer"]): # Tokenize question and answer separately question_tokens = tokenizer(question, add_special_tokens=False)["input_ids"] answer_tokens = tokenizer(answer, add_special_tokens=False)["input_ids"] + [tokenizer.eos_token_id] # Combine question + answer for input input_ids = question_tokens + answer_tokens # Mask question tokens with -100 so loss is only computed on the answer labels = [-100] * len(question_tokens) + answer_tokens input_ids_list.append(input_ids) labels_list.append(labels) return { "input_ids": input_ids_list, "labels": labels_list, } Bu tokenizasiya funksiyasını həm eğitim, həm də sınaq datasetlərinə daxil edin. 512-dən çox tokenin uzunluğundakı misalları filtr edirik ki, bu, memoriya istifadəini idarə edə bilsin və modelin truncation olmadan tam informasiyaları işləyə bilsin. train_dataset = dataset["train"].map( tokenize_function, batched=True, remove_columns=dataset["train"].column_names, ).filter(lambda x: len(x["input_ids"]) <= 512) .shuffle(seed=42) eval_dataset = dataset["test"].map( tokenize_function, batched=True, remove_columns=dataset["test"].column_names, ).filter(lambda x: len(x["input_ids"]) <= 512) print(f"Samples: {len(dataset['train'])} → {len(train_dataset)} (after filtering)") print(f"Samples: {len(dataset['test'])} → {len(eval_dataset)} (after filtering)") Optional: Ümumiyyətlə, bir neçə saatdan sonra, bir neçə saatdan sonra, bir neçə saatdan sonra, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir neçə saatdan çox, bir train_dataset = train_dataset.select(range(2000)) eval_dataset = eval_dataset.select(range(1000)) Xatırladaq ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir. Keep in mind: 1.Baz modelinin qurulması Bundan sonra, matematika problem çözmək yetkinliklərini artırmaq üçün əvvəlcədən hazırlanmış bazası modeli yükləyin: from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-0.5B") model.config.pad_token_id = tokenizer.pad_token_id Fine-Tune: Trainer metodunu istifadə etmək TrainingArguments modelinizin necə öyrəndiyini kontrol edir (onun sonuncu nəticənin keyfiyyətini müəyyən edən reçetəsi kimi düşünün).Bu ayarlar və hiperparametrlər fin-tuninginizi yaratmaq və ya parçalaymaq mümkündür, bu yüzden sizin istifadə işləri üçün nə işlədiyini bulmaq üçün farklı qiymətlərlə eksperiment etmək lazımdır. Key parameters explained: • Tədbirlər Daha çox zamanlar daha çox öyrənmək imkanları eşidər, lakin çoxlu zamanlar çoxlu qalxmağa səbəb olur. Epochs: • Tədbirlər Sürücülük sürətini dəyişdirir və bu sürəti hardverinizə uyğunlaşdırır. Batch size: • Tədbirlər Modelin nə qədər sürətlə ayarlandığını kontrol edir.Çox yüksək və optimal çözümdən qaçdıra bilər, çox aşağı və eğitim sonsuza qədər sürür. Learning rate: • Tədbirlər VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Weight decay: Aşağıdaki optimal konfigürasiyalar CPU öyrənmək üçün xüsusidir (GPU-niz varsa use_cpu=True silin): from transformers import TrainingArguments, Trainer, DataCollatorForSeq2Seq training_args = TrainingArguments( output_dir="./qwen-math", # Custom output directory for the fine-tuned model use_cpu=True, # Set to False or remove to use GPU if available # Training duration num_train_epochs=2, # 3 may improve reasoning at the expense of overfitting # Batch size and memory management per_device_train_batch_size=5, # Adjust depending on your PC capacity per_device_eval_batch_size=5, # Adjust depending on your PC capacity gradient_accumulation_steps=4, # Decreases memory usage, adjust if needed # Learning rate and regularization learning_rate=2e-5, # Affects learning speed and overfitting weight_decay=0.01, # Prevents overfitting by penalizing large weights max_grad_norm=1.0, # Prevents exploding gradients warmup_ratio=0.1, # Gradually increases learning rate to stabilize training lr_scheduler_type="cosine", # Smoother decay than linear # Evaluation and checkpointing eval_strategy="steps", eval_steps=100, save_strategy="steps", save_steps=100, save_total_limit=3, # Keep only the best 3 checkpoints load_best_model_at_end=True, # Load the best checkpoint at the end of training metric_for_best_model="eval_loss", greater_is_better=False, # Logging logging_steps=25, logging_first_step=True, ) # Data collator handles padding and batching data_collator = DataCollatorForSeq2Seq(tokenizer=tokenizer, model=model) # Initialize trainer trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=eval_dataset, data_collator=data_collator, ) # Fine-tune the base model print("Fine-tuning started...") trainer.train() Once training completes, save your fine-tuned model: trainer.save_model("./qwen-math/final") tokenizer.save_pretrained("./qwen-math/final") 5.Modelin qiymətləndirilməsi Fini-tuning etdikdən sonra, modelinizin iki yayılan metriki ilə nə qədər yaxşı işlədiyini ölçün: • Tədbirlər Modelin öngörülməsi, daha aşağı qiymətlər daha yaxşı performans göstərici kimi, həyəcan çıxışından nə qədər uzaq olduğunu ölçür. Loss: • Tədbirlər Daha intuitiv ölçüdə aynı məlumatı göstərir, orada daha düşük qiymətlər modelin öhdəliklərinə daha çox güvəndiyini göstərir. Perplexity (the exponential of loss): “Korporativ” layihəsi ilə işləyə bilərik və ya Reference response-in nə qədər yaxınlaşdığını ölçmək. BLEU ROUGE import math eval_results = trainer.evaluate() print(f"Final Evaluation Loss: {eval_results['eval_loss']:.4f}") print(f"Perplexity: {math.exp(eval_results['eval_loss']):.2f}") F1 kimi digər metrikləri də daxil edə bilərsiniz, bu, modelinizin nə qədər doğru olduğunu ölçür. Transformator kütləvi ilə işləmək üçün yaxşı bir başlanğıcdır. Dərslər oxuyur “Fine-tuning” kodunun təsvirləri Bu beş addımdan sonra, aşağıdaki kodu bir Python dosyasına birləşdirmək lazımdır: import math from datasets import load_dataset from transformers import ( AutoTokenizer, AutoModelForCausalLM, TrainingArguments, Trainer, DataCollatorForSeq2Seq, ) dataset = load_dataset("openai/gsm8k", "main") tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-0.5B") tokenizer.pad_token = tokenizer.eos_token # Tokenization function adjusted for the specific dataset format def tokenize_function(examples): input_ids_list = [] labels_list = [] for question, answer in zip(examples["question"], examples["answer"]): question_tokens = tokenizer(question, add_special_tokens=False)["input_ids"] answer_tokens = tokenizer(answer, add_special_tokens=False)["input_ids"] + [tokenizer.eos_token_id] input_ids = question_tokens + answer_tokens labels = [-100] * len(question_tokens) + answer_tokens input_ids_list.append(input_ids) labels_list.append(labels) return { "input_ids": input_ids_list, "labels": labels_list, } # Tokenize the data train_dataset = dataset["train"].map( tokenize_function, batched=True, remove_columns=dataset["train"].column_names, ).filter(lambda x: len(x["input_ids"]) <= 512) .shuffle(seed=42) eval_dataset = dataset["test"].map( tokenize_function, batched=True, remove_columns=dataset["test"].column_names, ).filter(lambda x: len(x["input_ids"]) <= 512) print(f"Samples: {len(dataset['train'])} → {len(train_dataset)} (after filtering)") print(f"Samples: {len(dataset['test'])} → {len(eval_dataset)} (after filtering)") # Optional: Use a smaller subset for faster testing # train_dataset = train_dataset.select(range(2000)) # eval_dataset = eval_dataset.select(range(1000)) model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-0.5B") model.config.pad_token_id = tokenizer.pad_token_id # Configuration settings and hyperparameters for fine-tuning training_args = TrainingArguments( output_dir="./qwen-math", use_cpu=True, # Training duration num_train_epochs=2, # Batch size and memory management per_device_train_batch_size=5, per_device_eval_batch_size=5, gradient_accumulation_steps=4, # Learning rate and regularization learning_rate=2e-5, weight_decay=0.01, max_grad_norm=1.0, warmup_ratio=0.1, lr_scheduler_type="cosine", # Evaluation and checkpointing eval_strategy="steps", eval_steps=100, save_strategy="steps", save_steps=100, save_total_limit=3, load_best_model_at_end=True, metric_for_best_model="eval_loss", greater_is_better=False, # Logging logging_steps=25, logging_first_step=True, ) data_collator = DataCollatorForSeq2Seq(tokenizer=tokenizer, model=model) trainer = Trainer( model=model, args=training_args, train_dataset=train_dataset, eval_dataset=eval_dataset, data_collator=data_collator, ) # Fine-tune the base model print("Fine-tuning started...") trainer.train() # Save the final model trainer.save_model("./qwen-math/final") tokenizer.save_pretrained("./qwen-math/final") # Evaluate after fine-tuning eval_results = trainer.evaluate() print(f"Final Evaluation Loss: {eval_results['eval_loss']:.4f}") print(f"Perplexity: {math.exp(eval_results['eval_loss']):.2f}") İşləməkdən öncə, maşınınızın nə işləyə biləcəyinə görə trainer konfigürasiyasını və hiperparametrlərini düzəltmək üçün bir müddət ayırın. Sizə real dünya referansı vermək üçün, burada M4 chip və 16 GB RAM ilə bir MacBook Air ilə bizim üçün düzgün işləyən şey var. • Tədbirlər : 7 Batch size for training • Tədbirlər 7 Batch size for eval: • Tədbirlər 5 Gradient accumulation: Sizin modeliniz trenlər kimi, gözləyin Xatırladaq ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir neçə ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir ildir ki, bir il deyil. İki Sonuncu mübahisə . evaluation loss 0.496 0.469 1.60 Fine-Tuned modelini test etmək Bu barədə “Python” saytına istinadən xəbər verir ki, bu barədə “Python” saytına istinadən xəbər verir. from transformers import pipeline generator = pipeline( "text-generation", # Use `Qwen/Qwen2.5-0.5B` for testing the base model model="./qwen-math/final" ) output = generator( "James has 5 apples. He buys 3 times as many. Then gives half away. How many does he have?", return_full_text=False ) print(output[0]["generated_text"]) Bundan əvvəl və sonra modelin aynı soruya necə cavab verdiyini görürsünüz (doğru cavab 10dir): Xatırladaq ki, hər iki modelin bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə bir-birinə Bu funksiya onların həqiqi güvənini göstərir: model hər zaman ən yüksək olasılıqlı cavabını seçir. Düşünürəm ki, sonrakı (ə) Buna görə də, o Düşünürəm ki, sonrakı (ə) Bu, işdə qısa müddətdir. do_sample=False in the generator() base model -2 Yanlış fine-tuned model 10 Doğrudur Fine-Tuning ən yaxşı praktikaları Modeli seçmək • Tədbirlər Domain-spesifik modellər və uygun kontekst pencerləri modelin varlıq bilgisinə qarşı mübahisə etməyinizdən xilas edər. Choose the right base model: • Tədbirlər Koder yalnız modeli (BERT kimi) klassifikasiya işi, dekoder yalnız modeli (GPT kimi) texta istehsalında və koder-dekoder modelləri (T kimi) çeviri və Summarization kimi transformasiya işi üçün üstünlük verir. Understand the model architecture: • Tədbirlər VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsil edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. Match your model's input format: Data hazırlığı • Tədbirlər Qara və düzgün örneklər hər zaman böyük və gürültülü məlumat setlərini yenir. Prioritize data quality over quantity: • Tədbirlər Bu, modelinizi məhv etməzdən öncə özünüzü təchiz etməyincə, özünüzü təchiz etməyincə, özünüzü təchiz etməyincə, özünüzü təchiz etməyincə. Split training and evaluation samples: • Tədbirlər Şaşqınlıq kimi avtomatik metriklər, modelin həqiqətən talimatları izləyəcəyini və ya yalnız sözləri istatistik olaraq öngörəcəyini söyləməz. Establish a "golden set" for evaluation: Eğitim strategiyası • Tədbirlər Küçük dəyişikliklər edirsən, onu sıfırdan öyrətmirsən, bu yüzden agresiv qiymətlər əvvəlki eğitimdə öyrətdiyi şeyləri silə bilər. Start with a lower learning rate: • Tədbirlər Sadəcə olaraq parametrlərin yalnız 1%-i 90% + performans qazanmaqla və daha az memoriya və vaxt istifadə etməklə çalışır. Use parameter-efficient fine-tuning (LoRA/PEFT): • Tədbirlər Əsas səhifə ( VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir. Target all linear layers in LoRA: q_proj, k_proj, v_proj, o_proj, • Tədbirlər "Random noise in embeddings" sisteminin normalizasiyası kimi işləyir, bu da memoriyasını engellə bilər və görüşün keyfiyyətini 35-dən çox prosentin üstündə artıra bilər. Use NEFTune ( ): Sürücülər Fine-Tuning Sürücülər Fine-Tuning • Tədbirlər SFT danışmağı öyrətir; DPO preference pairsdən öyrənərək yaxşı olanı öyrətir. After SFT, Run DPO: LLM Fine-Tuning üçün hansı limitlər var? • Tədbirlər Fine-tuning var olan sinir modellərini üst-üstə yazır, bu, əvvəlcədən öyrənilən modelin qiymətli general bilgisini silə bilər. Catastrophic forgetting: • Tədbirlər Modelin öyrənmə modellərinin əksəriyyəti öyrənmə prosedürlərini xatırlayır, bu da bir az fərqli inputlarda başarısızlığa səbəb olur. Overfitting on small datasets: • Tədbirlər Milyarlarca parametrin düzgün düzəltməsi qiymətli GPU-lərə, böyük belleklərə və saat-gündüz-gündüz-öğretim vaxtlarına ehtiyacı var. High computational cost: • Tədbirlər Pre-trained modelləri artıq eğitim verilərindən ayrılıqlar gətirir və bu ayrılıqlar düzgün birləşdirilməsə bu ayrılıqları artıra bilər. Bias amplification: • Tədbirlər Yeni və qapalı bilgi bütün modeli yeniləməyə və ya Retrieval-Augmented Generation (RAG) (Retrieval-Augmented Generation) (RAG) təsvir etməyə ehtiyac verə bilər, lakin yeniləmə çox zaman performansını azaldır. Manual knowledge update: Sonrakı VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu. VVD - Hollandiyada futbolçu bu adla tanımır, orada VVD daha çox mərkəz-sağı təmsilən edən siyasi partiyanın adının qısaltması kimi bilinir - artıq sorğu-suala ehtiyacı olmayan ulduzdu.