د LLMs کلک ارزیابی ته راشي: د روښانه نمونې سره د انسان د پیژندنې په ګډه

Abstract د Abstract دا مقاله د لوی زبانونو ماډلونو (LLMs) لپاره ډیر جامع ارزیابی کولو لارښوونې ته وده ورکوي ترڅو د سنګاري اتومات معیارونو (BLEU، ROUGE، او Perplexity) سره د جوړ شوي انسان پیژندنې ترکیب کړي. دا مقاله د معياري ارزیابی تکنالوژۍ محدودیتونو ته وده ورکوي په داسې حال کې چې د انسانونو ارزیابیونو د کنکشني اړتیا، دقت، او اخلاقي مناسبیت د مشخصولو کې د مهمې رول ته وده ورکوي. له خوا د تفصيلات، د عملی تطبیق مثالونه، او د واقعي نړۍ په صورت کې مطالعې، دا مقاله ښیښه کوي چې څنګه یو جامع ارزیابی کولو ستراتیژۍ کولی شي د LLM باور وړتیا وده ورکړي، د موډل فعالیت سره د کاروونکي توقع 1 Introduction 1 نندارتون د مصنوعي انټرنټ غوښتنلیک ډومین د لوی زبانونو ماډلونو (LLMs) له امله د بنسټیز بدلون لرو، په شمول GPT-4, Claude، Gemini، او نورو ماډلونه. د دغو ماډلونو پراخ کارولو ته اړتيا لري بشپړ ارزیابی د جامع ارزیابی روشونو له لارې. د دغو ماډلونو ارزیابی په عمده توګه د اتومات میټریکونو پورې اړه لري، چې شامل دي BLUE، ROUGE، METEOR، او Perplexity. د څیړنې پایلې ښودل کیږي چې اتومات ارزیابی میټریکونه د کاروونکو رضایت او د ماډل اغیزمنتیا په دقیقه توګه پیژندل نه کوي. د بشپړ ارزیابی ramwork ته اړتيا لري چې د ارزیابی لپاره د بشري پیژندنې سره د 2 Limitations of Traditional Metrics 2 د سنګاري میټریکونو محدودیتونه د سنتري متريونه د مخکښ NLP سيستمونو لپاره د معياري معیارونو په توګه کارول، مګر دوی د سیمنتي عمومي، کنکشني مناسبیت، او تخنیکي وړتیاوې چې د عصري LLMs تعریف کوي اندازه نه کوي. د LLMs د ارزښت لپاره د سنتري متريونه په عمده توګه شامل دي: BLEU (Bilingual Assessment Understudy) ( Papineni، Roukos، Ward، & Zhu، 2002) BLEU ROUGE (Remall-Oriented Understudy for Gisting Assessment) (لین) ROUGE METEOR (Metric for Evaluation of Translation with Explicit Ordering) د ترجمې معیارونو لپاره مخکښ بلیو د تفتیش مټريکونه ګټور معلومات وړاندې کوي، مګر دوی ډیری نقصونه لري: د شرایطو درک کموالی: د BLEU او ورته مټريکونه د ټکین مساوات اندازه کوي، مګر دوی د تولید شوي متن په kontekstual معنی ارزښت نه کوي. د انسان د قضاوت سره بریالیتوب: د لوړ اتومات پايلې ته اړتیا نلري چې د انسان د قضاوت له مخې د لوړ کاروونکي رضایت ته اړتیا نلري. د نښلیدو او تخنیکي حساسیت: د دې ارزیابیو مټريکونه د نښلیدو یا تخنیکي پایلو نښلیدو نه کوي، کوم چې د عملی غوښتنلیکونو لپاره اړین دي. د LLM تقييم مټريکونه-BLEU، ROUGE، تفاهم، او دقت-د ځانګړي NLP کارونو لپاره پراختیا شوي دي، مګر د عصري زبان ماډلونو اړتیاوو پوره نه کوي. د IBM BLEU پايلې د بشري تقييم سره ضعیف اړیکه (0.3-0.4 د تخلیقي کارونو لپاره) او د ROUGE تقييم د 0.4-0.6 په اساس د کار د پیچیدو پورې اړه لري. مټريکونه سمینټیک نښه کوي ځکه چې دوی د سطحي کلمې په پرتله د سمینټیک مساوات او د اعتبار وړ پارامفرزونه ونیسوي. (Clement، 2021) ، (ګونګانا، 2023) ، (د میوزیم، 2023 ) د Clementbm د NLP ماډل ارزیابی د NLP ماډلونو تحلیل د میټریک د کلمې اندازه او کنکشن اوږدوالي پر بنسټ د غیر قابل اعتماد cross-model مقایسهونه جوړوي او د token پیشې احتمال په تمرکز کې د تولید شوي موادو کیفیت اندازه نه کوي. (IBM، 2024) مطالعې ښيي چې د ټیټ تفاهم کچه لرونکي ماډلونه به په اتوماتيک ډول د ګټور یا دقیق یا خوندي محصولاتو تولید نه کوي، چې د ګټور کولو هدفونو او د واقعي نړۍ ګټورۍ تر منځ د غفلت توضیح کوي. (د Devansh، 2024) د IBM د Medium د تبادلې سیستم د ډیرو محدودیتونو لري چې د انفرادي مټريکونو او د تبادلې په اړه د بنسټیزو فرضونو په دوامداره توګه اغیزه کوي. د تبادلې تکنالوژۍ د بشپړ ګولډن معیارونو او یو واحد درست ځوابونو پورې اړه لري، مګر دوی د ژور ژور کاروونکو شخصي طبیعت په پام کې نلري (د Devansh، 2024) BERTScore او BLEURT، که څه هم دوی د عصري انډولونو کاروي چې د معنوي معنی په کچه راټول کړي، نو هم د antonyms، negations، او contextual subtlety سره ستونزه لري (Oefelein، 2023). د مطالعې ښيي چې پرمختللي اتومات میټريک د انسان د لغوي پیچیدو په بشپړه توګه اندازه نه کوي. په عصري میټريک کې وروستیو پرمختګونه د دغو ستونزو حل کولو هڅه کوي (Bansal، 2025) (د 2024 کال په اړه) . xCOMET د ډیرو evaluating ډولونو په پراخه کچه د پرمختللي کړنو سره د ټیټ ګرځنده بریښنا د تشخیص وړتیاوې ترلاسه کوي. د xCOMET-lite کمپرسور نسخه د 92.1٪ کیفیت پرته د اصل پارامترونو یوازې 2.6٪ کار کوي. د پرمختګونه په اتوماتیک evaluating محدودیتونو کې کار کوي چې د بشپړ evaluating لپاره د انسان پیژندنه ته اړتيا لري (Guerreiro، et al., 2024) ، Larionov، Seleznyov، Viskov، Panchenko، او Eger، 2024 . د Medium د SaturnCloud انټرنیټ د Medium د چاپ د ACL Anthology 2.1 Example Limitation: د "د AI" په اړه د پوښتنې انتظار ځواب باید وي: "د انسان د هوښيار پروسهونو له لارې د ماشينونو له لارې د AI تعریف کوي." د LLM د پوښتنې لپاره یو نوښت ځواب جوړوي: "د AI قدرت د ماشينونو په ذهني انټرنټونو کې بدل کیږي چې د انسانونو په څیر زده کوي او adapts." د معمولي ارزیابیو لارښوونه به د دې ځواب ته لږ امتیاز ورکړي، که څه هم دا ډیر عملی ارزښت لري. 3 The Importance of Human Feedback 3 د بشري پیژندنې اهمیت د انسان د پیژندنې سره اتومات شوي ارزیابیو چټکونو سره اړیکه ونیسئ له لارې په مستقیم ډول د ګټوریت او شفافیت او تخليقي او واقعي درست او د تولید شوي محصولاتو د خوندیتوب په اړه ارزیابی کوي. اصلي ګټې شامل دي: د اړیکو درک: انسانونه ارزیابی کوي که آیا ځوابونه په ډاټا کنکشنونو کې منطقي معنی لري. د عملی اړتیا: په مستقیم ډول د کاروونکي راغلاست اندازه کوي. اخلاقي تعقیب: د توليد شوي محصولاتو اخلاقي اغیزې، مخنیویونه او مناسبیتونه ارزیابی کوي. د انسان د پیژندنې ارزیابی لپاره د کیفیت د ارزیابی د معیارونو په اساس د محصولاتو د امتیاز کولو ته اړتیا لري. Metric Description Accuracy Is the provided information correct? Relevance Does the output align with user intent? Clarity Is the information communicated clearly? Safety & Ethics Does it avoid biased or inappropriate responses? د دقت آیا وړاندیز شوي معلومات درست دي؟ اړتيا آیا د محصول د کاروونکي هدف سره مطابقت کوي؟ د شفافیت آیا د معلوماتو په واضح ډول بیان شوي دي؟ د امنیت او اخلاقي آیا دا مخنیوي یا غیر مناسب ځوابونه مخنیوي؟ 4 Integrating Human Feedback with Traditional Metrics 4 د روښانه نمونې سره د بشري پیژندنې انډول کول په وروستیو څیړنو کې د اتومات ارزونې سره د انسان د پیژندنې ترکیب د ترټولو ترټولو ترټولو ترټولو 90٪ ښيي، په داسې حال کې چې د سنګاري نمونې یوازې د 40٪ څخه 60٪ ته ورسیږي (Pathak، 2024) ، چې زموږ د AI کړنو د ارزیابی لپاره د اوسني روشونه بدلوي. د نوي لارښوونې ښیښه کوي چې څنګه د LLMونو ته اړتیا لري چې د دقت سره د تعادل او امنیت او انصاف او د انسان ارزښت توازن په ګډه ارزیابی چارجرونه. د LLM مرکبونو اغیزمن ارزیابی د اتوماتیک تکنالوژۍ سره مسلکي نوټونو ترکیب ته اړتیا لري. یو کولی شي په انځور کې ښودل شوي یو قوي حل تصور کړي1 د رنګ هټ د اتوماتیک ارزیابی څخه د انسان په ګډه لارښوونې ته انتقال کوي ځکه چې دا د AI فعالیتونو په اړه زموږ په اوسني درک کې اړین ستونزې حل کوي. د انسان د پیژندنې له لارې د استثنايي زده کړې (RLHF) او قانوني AI او ترټولوژیک زده کړې چارجرونه نوي ارزیابیونه رامینځته کوي چې د اغیزمنو په پرتله د انسان ارزښتونو او واقعي غوښتنلیکونو تمرکز کوي (Dupont، 2025). ، (د 2024 په اړه) ، (ګولۍ ، 2023) . لابراتوار د IMF eLibrary رڼا RLHF د 1.3B پارامتر ماډلونو سره د بشري پیژندنې په کارولو سره د 175B پارامتر بیلګه ماډلونو څخه زيات کار کوي او د 100x پارامتر موثریت ته ورسیږي (Lambert، Castricato، Werra، & Havrilla، 2022) د سیسټم په درې پیښو کې کار کوي چې د سپارښتنې ماډل روزنې، د انسان ترټولو څخه د سپارښتنې ماډل روزنې، او د پروسیل سیاستونو غوره کولو (PPO) له لارې د استوګنې غوره کولو (Dupont، 2025) شامل دي. ، (ګولۍ ، 2023) . په چټکۍ سره لابراتوار رڼا د پروژې په اغیزمنه توګه کار کوي ځکه چې دا د انسان ترټولو ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګټور ګ . په چټکۍ سره د انسان-in-the-loop (HITL) سیسټمونه د انسان د قضاوت له لارې د دوامداره تبادلې جوړ کړي چې اتومات پروسسونو ته لارښوونې کوي. دا سیسټمونه د کار ځانګړي فعالیت کې 15-25٪ ښه راغلاست او د خوندیتوب خطرونو د 95٪ څخه کم کړي، د اندیښنې کار روټولو له لارې کار کوي چې د انسان د انتقالات لپاره غیر یقینی یا احتمالي زیان لرونکي پایلو ته وده ورکوي. د پروسه په قانوني انتقالات او طبیعي تشخیص کې خپل غوره پایلې ښودل کیږي ځکه چې د AI مخکښ screening، وروسته د متخصص د انتقالات لخوا د اغیزمن او سخت انتقالات پایپونه تولید کوي. (Greyling، 2023). ، (SuperAnnotate، د 2025 کال) ، (تولید شوی ، 2024) د Medium سپارښتنه د Medium ) 4.1 Practical Implementation (With Code Example د انسان د پیژندنې د اتومات میټریک سره یو بنسټیز فریم ورک د پیټون کوډ په واسطه ترسره شي. Step 1: Automated Metrics Calculation. from nltk.translate.bleu_score import sentence_bleu from rouge import Rouge reference = "AI simulates human intelligence in machines." candidate = "AI brings intelligence to machines, allowing them to act like humans." #Calculate BLEU Score bleu_score = sentence_bleu([reference.split()], candidate.split()) #Calculate ROUGE Score rouge = Rouge() rouge_scores = rouge.get_scores(candidate, reference) print("BLEU Score:", bleu_score) print("ROUGE Scores:", rouge_scores) Output for above 1.1896e-231 (≈ 0) BLEU Score: Rouge Score : [ { "rouge-1": { "r": 0.3333333333333333, "p": 0.2, "f": 0.24999999531250006 }, "rouge-2": { "r": 0.0, "p": 0.0, "f": 0.0 }, "rouge-l": { "r": 0.3333333333333333, "p": 0.2, "f": 0.24999999531250006 } } ] د دې پايلې ښودلي: د BLEU ضخامت: تقریبا د 0 له امله د 4 ګرامونو سره مطابقت نلري، کوم چې په هر اندازه کې خورا کم معنی لري. ROUGE-1 او ROUGE-L د اساسي پوښونو (unigrams / LCS) راټولوي، مګر ROUGE-2 د 0 ده ځکه چې د یوځای بګرامونه نه شتون لري. Step 2: Integrating Human Feedback فرض کړئ چې موږ د بشري evaluators لري چې د ورته د کاندیدا د محصول په لټه کې دي: #Human Feedback (Collected from Survey or Annotation) human_feedback = { 'accuracy': 0.9, 'relevance': 0.95, 'clarity': 0.9, 'safety': 1.0 } #Aggregate human score (weighted average) def aggregate_human_score(feedback): weights = {'accuracy':0.3, 'relevance':0.3, 'clarity':0.2, 'safety':0.2} score = sum(feedback[k]*weights[k] for k in feedback) return score human_score = aggregate_human_score(human_feedback) print("Aggregated Human Score:", human_score) Out for above : 0 935 Aggregated Human Score د انسان په مجموعي کچه د ښيي چې ستاسو د LLM محصول د حقیقي خلکو څخه ډیر لوړ امتیازونه ترلاسه کوي کوم چې د عادي "خير" پړاو څخه لوړه وي او دا د ټولو عملی غوښتنلیکونو یا چاپونو لپاره مناسب کوي د تقریبا بشپړ توازن لپاره یوازې کوچني تعدیلاتو سره. 0.935 Step 3: Holistic Aggregation د اتوماتیک او بشري کچه ترکیب کړئ: #Holistic Score Calculation def holistic_score(bleu, rouge, human): automated_avg = (bleu + rouge['rouge-l']['f']) / 2 holistic = 0.6 * human + 0.4 * automated_avg return holistic holistic_evaluation = holistic_score(bleu_score, rouge_scores[0], human_score) print("Holistic LLM Score:", holistic_evaluation) Output for above 0.6109999990625 Holistic LLM Score: د ګمرک د ګمرک د ګمرک: Holistic LLM Score of 0.6109999990625 اتوماتیک میټریکس (BLEU & ROUGE-L متوسط) 40٪ وزن د مجموعي انسان پايلې - 60٪ وزن د ~ 0.611 پايلې ته اړتيا لري د توضیح سره د لارښوونې په اړه څنګه چمتو شي. 4.1.1. How the Score Was Computed د انسان پايلې (0.935) د 60٪ وزن لري، کوم چې دا د 0.561 په پایله پايلې کې مرسته کوي. د اتوماتیک او متوسط کچه د BLEU ≈ 0 او ROUGE L F1 ≈ 0.2478 او 0.1239 په موده کې محاسبه شوې وه او دا کچه د 40٪ وزن لري کوم چې دا له 0.0496 په پایله کچه کې مرسته کوي. د کلې کچه د 0.6109999 په اړه وي کله چې د 0.6106 ته راټول شوی. 4.1.2. Interpreting 0.611 on a 0–1 Scale د کړنو کچه به د "خور" په پام کې وي کله چې د کچه د 0.5 څخه کم وي. د ماډل لوړ انسان امتیازونه ترلاسه کوي، مګر سخت لیکیکي مټريکونه دا په ټیټ پای کې د رینج په وخت کې د 0.5 او 0.7 په منځ کې راټول کیږي. ډیری غوښتنلیکونه د 0.8 څخه زیات ټیټونه د "صالحیت وړ" په توګه په پام کې لري. تاسو په معياري لړ کې موقعیت لري. The score of 0.611 د محصول په اړه د دقت او اړتيا او واضحیت او خوندیتوب په اړه د انسان ارزیابیونکو څخه لوړ تعریف ترلاسه کړ. د اتوماتیک میټریکس په سخت ډول د محصول ته سزا ورکړي ځکه چې دا د ټیټ دقیق n-gram پوښښ لري. 4.1.3. Why the Hybrid Score Is Lower Than the Human Score د اتومات برخې د 0 پايلې ترلاسه کوي ځکه چې BLEU د 4 ګرامې په پرتله کې نه لري. د ROUGE-L F1 د 0.2478 پايلې هم د ورته دلیل لپاره ډیر کم دی. د 0.935 انسان درجه د اتومات 40٪ ټوټې څخه مخنیوی نه کوي چې د مجموعي امتیاز په اړه 0.61 ته کم کړي. 4.1.4. Practical Takeaways Trust the Human Rating First The human score indicates the content quality within its specific context. Your current focus on user satisfaction indicates you are already meeting your goals. Decide Your Threshold Your automated metrics require improvement even though your production readiness threshold . is ≥ 0.7 Your automated tasks are ready for deployment when their scores reach or higher regardless of their nature. 0.6 Improve Automated Scores Reuse more of the reference phrasing or add synonyms that match it. Lexical overlap: For BLEU, try smoothing functions (e.g., SmoothingFunction.method1) to avoid zero scores. o Semantic metrics: Consider swapping or augmenting BLEU/ROUGE with BERTScore or BLEURT, which better capture meaning. Smoothing: Consider swapping or augmenting BLEU/ROUGE with BERTScore or BLEURT, which better capture meaning. Semantic metrics: Adjust Weighting (if appropriate) You could reduce the automated weight (e.g., 30 % auto / 70 % human) if you trust human feedback more for your use case. 5 Recent research advances holistic evaluation frameworks 5 وروستیو څیړنې د جامع ارزیابیونه چارجرونه پرمختګ کوي During 2023-2025 researchers developed complete evaluation frameworks for LLMs which addressed the complex aspects of language model performance. The Holistic Evaluation of Language Models (HELM) framework achieved 96% coverage improvement over previous evaluations as Stanford researchers evaluated 30+ prominent models across 42 scenarios and 7 key metrics including accuracy, calibration, robustness, fairness, bias, toxicity, and efficiency. (Stanford, n.d.) . د Stanford Prometheus تفتیش سیستم او د دې پړاو Prometheus 2 پهopen-source تفتیش تکنالوژۍ کې مهم پرمختګونه وړاندې کوي. Prometheus 2 د GPT-4 سره 0.6-0.7 Pearson تفتیش او 72-85% د بشري قضاوت سره یوځای کوي کوم چې د مستقیم تفتیش او دوهمه تفتیش اجازه ورکوي. د فریم ورک د ګمرک وړ تفتیش سیسټم اختیارات وړاندې کوي د فعالیت معیارونو سره چې د مخکښ تجارتي حلونو سره مطابقت لري (Kim، et al., 2023). ، (د لیانګ، et al. 2025) ، (د وولف، 2024) . کورل د OpenReview سپارښتنه د G-Eval فریکونسۍ د فکر د چڼاسکه تفکیکولو کاروي ترڅو د کار ځانګړي مټريکونو لپاره د فارم بشپړولو پارامډیمونو په واسطه پروسې تبادله کړي. د فریکونسۍ د روایتی مټريکونو له مخې د اعتماد AI په پرتله ښه انسان توازن کړنو وړاندې کوي ځکه چې شفاف تفکیک پر بنسټ تبادله پیچلي ژور جنراتو ښودل کوي چې اتوماتیک مټريکونه د تشخیص نه کوي. د تبادلې لپاره د غیر معمولي ګټې وړاندې کوي چې د ډیری تفکیک کولو ګامونو یا تخنیکي پای ته اړتیا لري (Wolfe، 2024) ، (د IP، 2025) . د Domain-specific evaluation methods پراختیا demonstrates how experts now understand that general-purpose assessment tools fail to measure specialized applications properly. FinBen د 36 ډاټا سیټونه وړاندې کوي چې د 7 مالیې ډومینونو کې پراختیا کوي او د روغتيايي چاپیریال تمرکز شوي نمونې راټول کوي ترڅو د Domain-specific capabilities دقیق ارزیابی کولو ته اجازه ورکوي. په واضح ډول AI د دې نمونې کې د ځانګړي معلوماتو اړتیاوو او مسلکي معیارونو شامل دي چې عام نمونې نه لري (Zhang et. al. 2024) ، (د جین، 2025) . سپارښتنه د اعتماد AI کورل د Medium د MMLU-Pro بیلابیلو کچه د لومړی MMLU بیلابیلو کچه کې د 57٪ غلطی کچه له لارې د مسلکي تصدیق او د 10 انتخابې پوښتنو څخه د سختی زیاتوالی سره حل کوي. د میدان د ودې له امله د evaluating معياري پراختیا ته اړتیا لري چې د اوسني بیلابیلو سیسټمونو کې ستونزه وښيي. 6 د واقعي نړۍ د کارولو په صورت کې: 6.1 ChatGPT Evaluation OpenAI د GPT ماډلونو ښه کولو لپاره Reinforcement Learning from Human Feedback (RLHF) کاروي. د انسان evaluators د ماډل پایلې ارزونه کوي او دوی وړاندې شوي امتیازونه د بدیل ماډل روزنې لپاره کارول کیږي. د دې روشونو ترکیب په پرتله د GPT-3.5 په پرتله د واقعیت دقیقیت کې د 40٪ ښه راغلاست، د عملی کار وړتیا او د ماډل ځوابونه چې د انسانو انتظارونو سره مطابقت کوي، د کاروونکي تجربه په پرتله د اتوماتیک ارزیابی لپاره ډیر ښه راغلاست. دوی د کاروونکي پیژندنې او اتوماتیک امنیت له لارې په دوامداره توګه څارنې کاروي. (OpeinAI، 2022) . اوونۍ 6.2 Microsoft's Azure AI Studio Azure AI Studio د مایکروسافټ څخه د ارزیابی کولو آلات په مستقیم ډول په د بادل انټرنېټ کې انټرنټ کوي کوم چې کاروونکو ته اجازه ورکوي ترڅو غوښتنلیکونه د اپلوز کولو مخکې آنلاین ازمايښت کړي او د تولید په وخت کې آنلاین څارنه وکړي. د پلیټ فارم د يو هیدرولیک ارزیابی پروسه کاروي چې د اتوماتیک ارزیابیونکي سره د انسان په لور تصدیق پیژندل کوي ترڅو شرکتونه د غوښتنلیکونو کچول کولو په وخت کې د کیفیت معیارونه ساتل کړي. د شرکت د Prompt Flow سیسټم اجازه ورکوي چې کاروونکي کولی شي د پرمختللي AI غوښتنلیکونه د څو ګامونو د کار د ارزیابیلو له لارې ارزیابی کړي (Dilmegani، 2025) . د هدف 6.3 Google's Vertex AI د ګرځنده Vertex AI تبادلې سیستم د multimodal تبادلې چې د متن، انځور او غږ ډولونو په پرتله کړنو تبادلې پرمختګ demonstrates. د اوږد شرایطو د تبادلې لپاره د تبادلې تبادلې تبادلې تبادلې تبادلې د صنعت معياري شوی دی، د ماډلونه د ډیرو سرچینې څخه د معلوماتو د ترلاسه کولو او کارولو وړتیا د تبادلې تبادلې تبادلې ته اجازه ورکوي. د تبادلې تبادلې په ځانګړي ډول د غوښتنلیکونو لپاره ارزښت لري چې د ډیرو سرچینو څخه د معلوماتو synthesis ته اړتیا لري (Dilmegani، 2025) . د هدف 6.4 Other Case studies د تجارتي تبادلې په پراخه کچه پراختیا شو، د پلټنې لکه Humanloop، LangSmith، او Braintrust د end-to-end تبادلې حلونه وړاندې کوي. دا پلټنې معمولا د ګمرک تبادلې پراختیا په پرتله 60-80٪ لګښت کم کړي، د مخکښ مټريکونو، د انسان نندارتون کولو کار فلو، او د تولید د څارنې وړتیاوې وړاندې کوي. د Open-source بدیلونه لکه DeepEval او Langfuse د پرمختللي تبادلې وسایلو ته لاس رسی، په پراخه کچه د صنعت په پراخه کچه د غوره عملیاتو تصویب ملاتړ کوي (IP، 2025) ، (Labelbox، 2024) . د قوي تقييم چارچوبونو عملي اغیزې د روغتیا د غوښتنلیکونو څخه د واقعیت مطالعې له لارې demonstrated دي. Mount Sinai د مطالعې ښودلې د API لګښت کمښت د ټاپو ګروپ کولو له لارې د 17 ځله کمولو، په دوامداره توګه د 50 کلینیکي کارونو پرته د دقت کمولو له الرې پروسس. دا ښودلې چې څنګه د تقييم ډیزاین د تولید چاپیریالونو کې د کړنو او اغیزمنتیا هدفونه په دوامداره توګه کولی شي (IP، 2023) . د اعتماد لابراتوار د ټولنې د Direct Preference Optimization (DPO) تخنیکي پرمختګ د سپارښتنه ماډل روزنې اړتیا کموي. د DPO کټګوریشن لارښود د RLHF په یو کټګوریشن ورکشاپ کې بدل کیږي چې د روزنې په وخت کې د 2-3 ځله کې چټکول کیږي پرته له کیفیت ټیکنالوژۍ کم کړي. د DPO سیسټم په MT-Bench کې 7.5/10 کړنو ته ورسیږي او RLHF 7.3/10 ته ورسیږي او په AlpacaEval کې د 85٪ کټګوریشن کټګوریشن کټګوریشن ته ورسیږي په پرتله چې د روښانه RLHF لپاره 82٪ په پرتله، په داسې حال کې د روزنې وخت د 36 ساعتونو څخه د مساوي کړنو لپاره 12 ساعتونو ته کموي ( ، (د Werra، 2024) ، (د وولف، 2024) . سپارښتنه د پوښونو سپارښتنه 7 Alternative Approach: 7 د بدیل لارښوونې: Constitutional AI، Anthropic لخوا پراختیا شوی، یو بدیل لارښوونې وړاندې کوي چې د بشري نندارتون اړتیاوې د 80-90٪ سره کم کړي په داسې حال کې چې په پرتله وړتيا لري. د فریم ورک د بشري نندارتون په پرتله د بشري نندارتونونو له لارې دوه مرحله پروسس کاروي: د ځان د انتقاد او اصلاح سره څارنې، وروسته د بشري نندارتون له لارې وده ورکولو (RLAIF). دا لارښوونې د بډایه محصولاتو 90٪ + کمولو ته رسیږي او د 95٪ + کاري فعالیت کې وده ورکوي، ډیزاین کوي چې د بشري نندارتون سیسټمونه کولی شي د بشري ارزښتونو له لارې جوړ شوی ځان د ښه کولو لرو (Anthropic، 2022) . د انسان 8 Challenges and Future Directions 8 چالونه او راتلونکي لارښوونه 8.1 Challenges: Scalability: د بشري پیژندنې ډیری مقدارونو د راټولولو پروسه په دوامداره توګه لګښت لري او وخت لګښت لري. د بشري ارزیابیلو لګښت د مسلکي ارزیابیانو لپاره په ساعت کې د 50 څخه تر 200 ډالرو په پرتله دی، کوم چې د ډیرو سازمانونو لپاره پراخ ارزیابیلو غیرقانوني کوي. د کیفیت بشري ارزیابیلو پروسه د ډومین تخصص او مداخله زده کړې او د تصدیق پروسو پیچیدو او لګښت زیاتوي. د مختلف نوټیرونو تر منځ د توافق په پراخه کچه ښودل کیږي ځکه چې د کار د پیچیدو له امله د دوی د رخصتۍ معیارونو په پرتله 0.4 او 0.8 (10Pearls، nd.) 10Pearls، (Dilmegani, 2025) AIMulti پیاوړتیا او متغیر: د انسان تبادلې د تبادلې او د شخصي پیاوړتیا په دوامداره توګه د تبادلې په پروسه کې راځي. څیړنې ښيي چې د LLMs 91٪ د ویب د معلوماتو څخه زده کوي چې په 41٪ د مسلکي پوښونو کې د ښځو لپاره کم تبادلې لري او دا پیاوړتیا د تبادلې سیسټمونو په واسطه پراختیا کوي. د تبادلې تبادلې له لارې پیاوړتیا او اوږدوالی ترټولو او د نمونې او د ثقافتي پیاوړنو له لارې جوړوي چې ډیری سازمانونو ته اړتیا لري چې په اغیزمنه توګه پلي کولو لپاره اړتیا لري (Rossi et al., 2024) MITPress، (Barrow et al., 2023) Cornell. د پرانیستې په نسل کې د اصل حقیقت په لټه کې: د پرانیستې په نسل کې د کاروونکو لپاره د اصل حقیقت په لټه کې د "صحیحیت" په معنایه توګه مسلکي او کنکشن بستریږي، د تقييم سټینرونه جوړوي چې په دې کې د ډیری اعتبار وړ ځوابونه شتون نلري. دا بیلګه په ځانګړې توګه د تخلیقي کارونو، د گفتگو AI، او د ډومین ځانګړي غوښتنلیکونو ته اغیزمن کوي چې د تخصص غوښتنلیکونه د عمومي تقييم وړتیاوو څخه زیات دي (Huang et al., 2023). د اتوماتیک او بشري ارزیابیونو انډول سره ستونزه: سازمانونه باید د اتوماتیک سیسټمونو د انسانې ارزیابی تګانې لپاره مناسب تګانې مشخص کړي، او دوی باید د اتوماتیک او بشري ارزیابیونه پایلو ترمنځ د تناقض حل کولو پروتوکولونو ته اړتیا لري. د ارزیابی کولو کارونه په عملی توګه د اغیزمنو د اغیزمنو له امله ستونزه لري ځکه چې د یوځای سیسټمونه جوړ کول چې د کیفیت معیارونو سره مختلف لارښوونې یوځای کوي. 9 Future Directions: 9 راتلونکي لارښوونه: د فعال زده کړې لارښوونې غوښتنلیکونه به د انسان ارزیابی لپاره اړتیا کم کړي. د انسان د پیژندنې ډاټا په اړه زده شوي ثانوي AI ماډلونو کارولو ته د کیفیتي ارزیابیونو اتومات کولو ته اجازه ورکوي چې د انسان د ارزیابیاتو پیژندل کړي. د evaluating methodology د راتلونکي به د اړیکو حساس روشونو پورې اړه لري چې د عملياتو د اړتیاوو او د کاروونکو اړتیاوو او د غوښتنلیک ډومینونو له مخې د evaluating معیارونه بدل کړي. دا روشونه هدف د معياري evaluating frameworks چې د LLM غوښتنلیکونو پراخه کچه مخه حل کړي. د یوځای evaluating لارښوونې پراختیا چې کولی شي د cross-modal مطابقت او مطابقت تبادله به تر ټولو مهم وي لکه څنګه چې LLMs سره د نورو AI سيستمونو سره انټرنېټ کړي چې د وړتیا او پراخ غوښتنلیکونه جوړ کړي. د Agentic تبادلې چارجرونو ته اړتیا لري چې د ځواب د کیفیت او د تصمیم کولو پروسې، او د خونديتوب اغیزو او د اهدافو سره سمون (Andrenacci، 2025) Medium، (Chaudhary، 2025) Turing. د واقعي وخت د ارزیابی سیسټمونو ته اړتیا لري چې په دوامداره توګه د ارزیابی وړتیاو او اغیزمن محاسباتي فعالیتونه وده ورکړي. 10 Conclusion 10 پایلې د پروګرامونو ارزښت د انسان د پیژندنې سره اتومات میټريک په ګډه سره د ماډل اغیزمنتیا لپاره د بشپړ ارزښت لاره جوړوي. د دودیزو میټريک سره د کیفیت په اړه د انسان د قضاوت سره د حقیقي نړۍ غوښتنلیکونه او اخلاقي تعقیب او کاروونکي رضایت لپاره ښه پایلې تولید کوي. د کلک ارزښتو طریقې اغیزمن او اخلاقي AI حلونه به تولید کړي چې په راتلونکي پرمختګونو کې چمتو کړي. ډیری ارزښتونه باید په بریالیتوب ارزښتونو چارجرونو کې کارول شي ترڅو د اتوماتیک اغیزمنې او انسان د ارزښتونو تر منځ د توازن ترلاسه کړي. سازمانونه چې جامع ارزښت ستراتیژیکونه ترسره کوي د امنیت، فعالیت او عملیاتو اغیزمنتیا په اړه مهم پرمختګونه 11 References 11 پیژندنه کیم، S. et al. (2023)- Prometheus: Fine-grained تفتیش وړتیاhttps://arxiv.org/abs/2310.08491 Reynolds، R. et al. (2024) - xCOMET-lite: د کیفیت او کیفیت توازنhttps://aclanthology.org/2024.emnlp-main.1223/ د هټروپیک (2023)- هټروپیک ډیزاینhttps://www.anthropic.com/news/claudes-constitution د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د چين د Hugging Face (2023)- RLHF انځورونهhttps://huggingface.co/blog/rlhf د نندارتون، C. (2023)- RLHF: د انسانونو څخه د زده کړې د استوګنې د استوګنې https://huyenchip.com/2023/05/02/rlhf.html IBM (2024)- د LLM تفتیش لارښودhttps://www.ibm.com/think/insights/llm-evaluation د مایکروسافټ (2024) - د ارزښتونو د نمونې ډیزاینhttps://learn.microsoft.com/en-us/ai/playbook/technology-guidance/generative-ai/working-with-llms/evaluation/list-of-eval-metrics Red Hat (2024) - د پروګرامونو په اړه معلوماتhttps://next.redhat.com/2024/05/16/evaluating-the-performance-of-large-language-models/ د سټینفورډ CRFM (2022)- HELM Frameworkhttps://crfm.stanford.edu/helm/ د فورمه، C. R. (2024) - د LLM کارولو لپاره د ارزیابی لپارهhttps://cameronrwolfe.substack.com/p/llm-as-a-judge په 2024 کې د 18 AI LLM لارښوونه په 2025 کېhttps://medium.com/data-bistrot/15-artificial-intelligence-llm-trends-in-2024-618a058c9fdf Greyling، C. (2024)- د انسان-in-the-Loop LLM Agentshttps://cobusgreyling.medium.com/human-in-the-loop-llm-agents-e0a046c1ec26 Mansuy، R. (2024)- د NLP تبادلې لپاره د جامع لارښود Metricshttps://medium.com/@raphael.mansuy/evaluating-the-performance-of-natural-language-processing-nlp-models-can-be-challenging-ce6f62c07c35 د نندارتون، K. (2024) - د BLEU، ROUGE، METEOR، او BERTScore درکويhttps://medium.com/@kbdhunga/nlp-model-evaluation-understanding-bleu-rouge-meteor-and-bertscore-9bad7db71170 Sojasingarayar, A. (2024)- BERTSکړتیاوې په 5 دقیقې کې توضیح شوي://medium.com/@abonia/bertscore-explained-in-5-minutes-0b98553bfb71 SuperAnnotate (2024) - د LLM د ارزیابی لپاره لارښودhttps://www.superannotate.com/blog/llm-evaluation-guide SuperAnnotate (2024) - د مستقیم ترټولو غوره کولو لارښودhttps://www.superannotate.com/blog/direct-preference-optimization-dpo د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام د پروګرام Confident AI (2025)- د LLM ازموينه او ستراتیژۍhttps://www.confident-ai.com/blog/llm-testing-in-2024-top-methods-and-strategies AIMultiple (2025) - د لوی زبان ماډل ارزیابینه Methodshttps://research.aimultiple.com/large-language-model-evaluation/ Humanloop (2025)- 5 د LLM تفتیش وسایلو تاسو باید پوه شئ https://humanloop.com/blog/best-llm-evaluation-tools Datadog (2024) - د جوړولو د LLM د ارزیابی د فریکونسۍ د غوره عملونه://www.datadoghq.com/blog/llm-evaluation-framework-best-practices/ Labelbox (2024) - د انټرنیټ LLM او Multimodal ملاتړ د Hybrid تحلیلhttps://labelbox.com/blog/labelbox-q1-2024-product-release/ LabelStudio (2024) - د LLM تقييمونه: تکنالوژۍ، چټکونه او غوره عملونه://labelstud.io/blog/llm-evaluations-techniques-challenges-and-best-practices/ Labelvisor (2024) - په LLM روزنې کې د انسان د پیژندنې چڼاسکه یوځای کولhttps://www.labelvisor.com/integrating-human-feedback-loops-into-llm-training-data/ د MIT Press (2024) - په لوی زبانونو ماډلونو کې بیه او عدالت Surveyhttps://direct.mit.edu/coli/article/50/3/1097/121961 IMF (2024) - د تجربو څخه د زده کړې جوړول Feedbackhttps://www.elibrary.imf.org/view/journals/001/2024/114/article-A001-en.xml GeeksforGeeks (2024) - د NLP ارزښت لپاره د BLUE او ROUGE کچه درکويhttps://www.geeksforgeeks.org/nlp/understanding-bleu-and-rouge-score-for-nlp-evaluation/ Analytics Vidhya (2025)- BERTSscore: د LLM په اړه د معیارونو معیارونهhttps://www.analyticsvidhya.com/blog/2025/04/bertscore-a-contextual-metric-for-llm-evaluation/ Saturn Cloud (2024) - Evaluating Machine Translation Modelshttps://saturncloud.io/blog/evaluating-machine-translation-models-traditional-and-novel-approaches/ Turing (2025) - Top LLM Trends 2025: د LLM په راتلونکي کې څه دی؟://www.turing.com/resources/top-llm-trends 10Pearls (2024) - د خپل سوداګرۍ لپاره د حق LLM پټولوhttps://10pearls.com/find-the-right-llm-for-your-business/ DEV ټولنې (2025) - د 5 غوره Open-Source LLM ارزونې فریم ورکونهhttps://dev.to/guybuildingai/-top-5-open-source-llm-evaluation-frameworks-in-2024-98m Olivera، J. (2024)- د انسان-in-the-Loop سره د AI دقیقتیا تضمین کولhttps://medium.com/@j.m.olivera08/ensuring-precision-in-ai-with-human-in-the-loop-7a4d9143296d **OpenAI - "د زبانونو ماډلونو روزنه کول چې د بشري پیژندنې سره لارښوونې پیژندل کیږي" ** دا کاغذ د InstructGPT لارښوونې وړاندې کوي، کوم چې د بشري تولید شوي رتبه بندیونه د RLHF لخوا د ماډل ټینینګ کولو لارښوونه کوي: د بشري پیژندنې سره لارښوونې پیژندنه کول روزنه کول (OpenAI، 2022) researchgate.net+7scirp.org+7scirp.org+7qa.time.com+13cdn.openai.com+13youtube.com+13 **Papineni et al. - "BLEU: د ماشین ترجمې د اتومات ارزیابی لپاره د طریقې \ د 2002 کال ACL کاغذ چې د BLEU مټريک رامینځته کوي:BLEU: د ماشین ترجمې د اتومات ارزیابی لپاره د طریقې (Papineni et al., 2002) medium.com+12aclanthology.org+12en.wikipedia.org+12aclanthology.org *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** *** ***