Uprkos vašim najboljim naporima, LLM se još uvijek ne ponaša kao što se očekivalo. Šta biste trebali pokušati sledeće? Da li uređujete uputstvo? Promijenite model? Fine-tune? Svaka od ovih opcija može biti valjana i postoji redoslijed u kojem možete pokušati ove ispravke. Principle V: Follow Prompt-Fix Escalation Ladder Načelo V: Slijedite prompt-fix lestvicu za eskalaciju (Ovo je dio nastavka serije Principi AI inženjeringa: pogledajte postove U pitanju je U pitanju je i ) 1 2 3 4 1 2 3 4 Kada prompt ne radi kao što se očekivalo, pokušavam sledeće ispravke po redu preferencije: Expanding and rephrasing instructions. Adding examples. Adding an explanation field. Using a different model. Breaking up a single prompt into multiple prompts. Fine-tuning the model. Throwing the laptop out the window in frustration. U nekim slučajevima, redoslijed stvari koje treba pokušati će biti drugačiji; međutim, imati podrazumevani put štedi vrijeme i čuva mentalnu sposobnost za debugiranje. Sada ćemo skim preko svakog pristupa. Prva tri padaju u kutiju Prompt Engineering i bit će pokriveni u više dubine u narednom poglavlju. Multi-prompt i Fine-tuning pristupi će svaki imati posvećena poglavlja. Lightweight Approaches Lagani pristupi Adding Instructions Prva stvar koju treba pokušati je ponovo objasniti LLM-u šta treba učiniti putem hitnih uputa. Pokušajte dodati jasnije smjernice, preformulirati ili premjestiti upute. Nemojte se ustručavati da ponovite ili reformulirate izjave više puta u različitim dijelovima uputstva - LLM se ne uznemiravaju ponavljanjem. U pitanju je U svakom slučaju) 1 2 1 2 Adding Examples Ukoliko je potrebno, potrebno je uzeti u obzir činjenicu da su ove metode posebno važne ako se koriste manjim modelima; one nisu prirodno „inteligentne“ pa zahtijevaju puno smjernica ( U svakom slučaju) 3 3 Primjer prompt s 2-shot Inference (Detekcija jezika): Detect the language of the text and output it in the JSON format: {“language”: “name_of_language”}. If you don’t know the language, output “unknown” in the language field. Example I: Input: Hello Output: {“language”: “English”} Example II: Input: EjnWcn Output: {“language”: “Unknown”} Text: {{text}} Obično biste koristili 1-3 primjera, iako u nekim slučajevima možete dodati više. Postoje dokazi da performanse poboljšavaju s većim brojem primjera ( ), ali takođe ima troškove održavanja i izvršenja. 4 4 Adding an Explanation Field LLM-ovi, kao i ljudi, imaju koristi od toga da moraju objasniti svoje razmišljanje. Dodajte polje "objašnjenja" u JSON izlazu i izlazak će obično biti bolji. Ovo će vam takođe pomoći da identificirate zašto model donosi određene odluke i prilagodite upute i primjere. U slučajevima kada uputnica koristi unutrašnju dokumentaciju - zamolite LLM da izlazi odjeljke dokumentacije koji je koristio za konstruisanje odgovora. U svakom slučaju) 5 5 Također možete pokušati da koristite Izazov ovde će biti ispravno izvlačenje izlaza.Možda vam je potreban drugi poziv ili dodatni kod za obradu odgovora sa CoT obrazloženjem. Chain-of-Thought Razumevanje prompt Chain-of-Thought Razumevanje prompt Changing the Model Različiti modeli odlični su u različitim vrstama zadataka.OpenAI-ov o3 model odličan je u analizi koda, ali dobar stari 4o ima tendenciju da proizvodi bolje pisanje uprkos tome što je jeftiniji po žetonu.Deo posla AI inženjera je da prati prednosti i slabosti dostupnih modela kako se objavljuju i ažuriraju. Ovaj eksperiment radi brže i sigurnije kada imate automatizovane testove i mjerila za mjerenje „prilagođenosti“ svakog modela za zadatak. Heavyweight Approaches Teški pristupi Svaki pristup do sada je bio relativno jeftin da pokuša.Sada ulazimo u teške popravke. Breaking Up the Prompt Ako jedan prompt ne može obaviti posao - zašto ne isprobati sistem od dva ili više promptova? Splitting the prompt by area of responsibility. Using a new prompt as a guardrail reviewing output of the previous one. Oba pristupa su uvedena u To će se detaljnije raspravljati u narednom poglavlju. Deo III Deo III Fine-Tuning Fine-tuning je još teži pristup nego koristeći više pozivnica. Za većinu problema, ja ga koristim kao krajnje sredstvo. Zašto sam oklevao da preporučim fine-tuning u većini slučajeva? Fine-tuning je u osnovi pristup strojnom učenju Kao takav, to zahtijeva prikupljanje ogromnih količina podataka i čitav niz ML alata pored generativnih AI alata i to je ogroman overhead za upravljanje za male do srednje velike projekte. Primjenjuje se na Generative AI Primjenjuje se na Generative AI Razmislite o fine-tuning kada: Druge tehnike nisu postigle cilj. Problem je vrlo složen i specijaliziran, a podrazumevano znanje LLM je nedovoljno. Imate veliku količinu upotrebe i želite uštedjeti novac koristeći model niže klase. Potrebna je niska latencija, tako da se više promptova ne može izvršiti u nizu. Conclusion Zaključak Nadam se da ovaj članak objašnjava redoslijed koraka koje treba poduzeti kada uputstva ne rade kako je predviđeno. Prvo, obično biste isprobali uputstveni pristup. Ako to ne radi, pokušajte da prebacite model i vidite da li je to pomoglo. Sljedeći korak je korišćenje više interaktivnih uputstava. Konačno, razmotrite fino podešavanje ako su sve druge metode propale. Ako ste uživali u ovom postu - pretplatite se za više.
