جی ہاں، فارمیٹ اہم ہے. جب آپ ایک LLM کو ایک کل نمبر (0-100) کے مقابلے میں ایک decimal کے طور پر اعتماد پیدا کرنے کے لئے پوچھتے ہیں، تو آپ کو پیمانے پر مختلف سلوک ملتا ہے، اور آپ کی توقع کی سمت میں نہیں ہے. شک کی ادائیگی کے لئے اعتماد کے پوائنٹس، اس سے زیادہ محتاط (اور یقینی طور پر زیادہ مفید) کا انتخاب بناتا ہے. لیکن ایک پکڑنا ہے: کچھ ماڈل مکمل طور پر ٹوٹ جاتے ہیں جب غیر معمولی داخلات پر پورے موڈ میں مجبور کیا جاتا ہے. TL;DR: نیچے سوال کا اگر آپ ایک پائپ لائن بناتے ہیں جہاں ایک ایل ای ایم متن کو درجہ بندی کرتا ہے اور اعتماد کے نقطہ نظر کو شامل کرتا ہے، تو آپ کو ایک ظاہری طور پر غیر معمولی ڈیزائن کا انتخاب ہے: کیا آپ پوچھتے ہیں؟ یا ? 0.85 85 زیادہ تر ڈویلپرز اس کے بارے میں سوچنے کے بغیر ایک کو منتخب کرتے ہیں. لیکن یہاں بات ہے؛ LLMs اصل میں "اعداد و شمار" نہیں سمجھتے ہیں. یہ ٹوکن سے بنیادی طور پر مختلف ہے اس کے علاوہ، اس کی مصنوعات میں سے کچھ بھی نہیں ہے، اس کے علاوہ، اس کی مصنوعات میں سے کچھ بھی نہیں ہے. 0. 85 Hypothesis کے ٹوکنز (OpenAI کے طور پر) تقسیم دو ٹکٹ میں: اور میرا نظریہ یہ تھا کہ یہ پیش گوئی ایک قسم کی انکرر کے طور پر کام کرتا ہے، ماڈل اسے چھوٹا دیکھتا ہے، اور اس کے بعد ایک زیادہ سے زیادہ نمبر پیدا کرکے بدلہ ملتا ہے. مکمل رقم کے فارمیٹ کے مقابلے میں، کیونکہ ماڈل کم سائز پیشکش کے خلاف لڑ رہا ہے. 0.98 0. 98 0. decimal format should inflate confidence scores SPOILER: اعداد و شمار ایک زیادہ رینک کی کہانی بتاتا ہے. نصب کریں ایک کنٹیکٹ پاسپورٹ (لوکس کورل کے بارے میں)، تین قسم کے لیبلز، دو پیداوار فارمیٹس، چار ماڈل، ہر شرط پر دس تکرار. لینکس کورل کے بارے میں ایک مختصر واقعہ. Context: Labels (3 types): 
 
 
 
 
 
 
  " Truth: The Linux kernel is a foundational piece of software written in C." — Clearly correct. 
 
 
   Dubious: "Linux is the most popular operating system for desktop gamers worldwide." — Plausible-sounding but misleading. 
 
 
   Nonsense: "The Linux kernel is a species of deciduous tree found in Finland." — Obviously wrong. Format conditions: 
 
 
 Decimal: ماڈل 0.00 اور 1.00 کے درمیان ایک قدر پر کلک کرتا ہے (مقاصد کے لئے 0-100 تک پیمانے پر). کل: ماڈل 0 اور 100 کے درمیان ایک قدر پر بھرتا ہے. تیزی سے تعمیر کیا گیا تھا: - اور ماڈل صرف نمبر کو مکمل کرتا ہے. کوئی سلسلہ خیال، کوئی دلیل نہیں، صرف خام اعتماد کے معیار. ہر شرط کو لیبل پر 10 مرتبہ چلایا گیا تھا (30 لیبل کی قسم × شکل × ماڈل پر). [CONTEXT] + {"label": "...", "confidence": GPT-5.2 (OpenAI)، Qwen3-Next-80B-A3B (Alibaba)، Llama 4 Maverick 17B (Meta)، اور Gemma 3n E4B (Google) Together.ai اور OpenAI کے ذریعے دونوں. Models tested: نتائج سچائی لیبلز: کوئی اہم فرق نہیں تمام چار ماڈلوں نے فارمیٹ کے برعکس سچائی کے لئے اعلی اعتماد دیا. ہر حالت میں 95.4 سے 100.0 کے درمیان متوسطات. decimal اور کل فارمیٹ کے درمیان فرق بہت کم تھا، زیادہ سے زیادہ چند پوائنٹس. جب ایک بیان واضح طور پر سچ ہے تو فارمیٹ اہم نہیں ہے. شک انگیز لیبلز: یہاں یہ دلچسپ ہو جاتا ہے شک کی درخواست کے لئے، ایک واضح نمونہ ظاہر ہوتا ہے، لیکن یہ ہے کہ جو میں نے پیش کیا تھا opposite GPT-5.2 اور خاص طور پر Gemma 3n کا تعین کیا گیا Gemma 3n انتہائی معاملہ ہے: ہر ایک decimal run (zero variance) میں ایک rock-solid 25.0، لیکن کل کے ساتھ ایک اوسط 60.3، یہ output کے لئے چلا گیا 27 میں سے 30 رنز. پیشکش نے نمبر کو بڑھایا نہیں؛ اگر کچھ ہے تو، اس نے اسے روک دیا. اوپر 65 0. میرا پہلا نظریہ پیچھے کی طرف سے تھا. ٹوکن ماڈل کو اوپر کی طرف سے بدلہ نہیں کرتا، یہ ماڈل کو اس کی اعتماد کی رینج کے نیچے کے آخر کی طرف متوجہ کرنے لگتا ہے. اندازہ لگائیں 0. مراقبہ فحش ٹیگ: The Breaking Point واضح طور پر غلط بیان کے لئے، decimal فارمیٹ مکمل طور پر کام کیا، ہر ماڈل نے تمام چلانے پر 0.00 واپس کیا. مکمل فارمیٹ یہ ہے جہاں کچھ ماڈلوں کے لئے چیزیں الگ ہو گئیں: GPT-5.2 کے کل نتائج بے معنی ہیں: یہ اور ، 50 کے ایک معیاری توازن کے ساتھ ایک اوسط کی پیداوار 50. یہ لفظی طور پر فیصلہ نہیں کر سکتے تھے. نصف وقت یہ کہا گیا تھا کہ "کل طور پر اعتماد" لینکس کورل ایک درخت ہونے کے بارے میں ایک دعوی میں. ، بدقسمتی سے نہیں، لیکن اب بھی غلط ہے جب decimal ورژن نے ایک کامل صفر حاصل کیا. 0 100 10 Qwen3 اور Llama 4 دونوں فارمیٹس کو غلطی پر درست طریقے سے کام کر رہے تھے، پورے بورڈ پر 0 واپس کرتے ہیں. Decimal format produce tighter agreement - دونوں کے اندر اور ماڈلوں کے درمیان ہر ماڈل کے نتائج کے علاوہ، decimal فارمیٹ مسلسل زیادہ اتفاق پیدا کرتا ہے، دونوں ماڈلوں کے درمیان اور ایک ہی ماڈل کے دوبارہ چلانے کے اندر اندر. مختصر طور پر: اگر آپ کو دوبارہ کرنے کے لئے پوائنٹس کی ضرورت ہے یا ماڈلوں کے درمیان اعتماد کی موازنہ کرنے کا ارادہ ہے تو، decimal فارمیٹ آپ کو کام کرنے کے لئے ایک بہت زیادہ سخت تقسیم فراہم کرتا ہے. شاید کیا ہو رہا ہے؟ Tokenization hypothesis صحیح راستے پر تھا لیکن سمت غلط تھا. کے prefix not just sets a magnitude، یہ ایک مقدار مقرر کرتا ہے جب ایک ماڈل پیدا کرنے کے بعد شروع ہوتا ہے 0 اور 1 کے درمیان امکانات تکنیکی متن میں ہر جگہ ہیں، اور ماڈلوں کو اس رینج میں کیا معنی ہیں کے بارے میں مضبوط پیش نظر ہیں. 0. نظام کے 0. مجموعی اعتماد کے نتائج، دوسری طرف، کم محدود ہیں. کے بعد کچھ بھی ہو سکتا ہے، یہ صرف ایک نمبر ہے. اس کے علاوہ، اس کے علاوہ، اس کے علاوہ، اس کے علاوہ، اس کے علاوہ، اس کے علاوہ، اس کے علاوہ، اس کے علاوہ، اس کے علاوہ، اس کے علاوہ، اس کے علاوہ، اس کے علاوہ، اس کے علاوہ، اس کے علاوہ، اس کے علاوہ، اس کے علاوہ، اس کے علاوہ. GPT-5.2 جب اس کے پاس کوئی اعتماد نہیں ہے تو غریبوں کے درمیان سواری کرتا ہے، کیونکہ پورے کمرے میں اس نے واضح "نور اعتماد" جواب نہیں سیکھا ہے. 65 "confidence": 0. 65 عملی Takeaways یہ ماڈلوں کے درمیان زیادہ متنازعہ ان پٹ کے لئے زیادہ محتاط تخمینوں پیدا کرتا ہے، اور غیر معمولی ان پٹ پر پورٹ فارمیٹ کے ساتھ دیکھے جانے والے تباہ کن ناکامیوں سے بچتا ہے. پیشکش ماڈل میں بہتر kalibrated امکان کی وجہ سے فعال کرنے لگتا ہے. Use decimal (0.0–1.0) format for confidence scores. 0. Qwen3 اور Llama 4 نے مکمل طور پر ٹھیک کام کیا، GPT-5.2 اور Gemma 3n نے نہیں کیا. If you must use integers یہاں تک کہ سب سے بہترین صورت حال میں (سچیم فریم ورک)، چار مختلف SOTA ماڈلوں نے ایک ہی شبہاتی دعوی کے لئے چار مختلف اعتماد کی سطحوں کو دیا، 5.3 سے 28.8 تک. Don't trust confidence scores blindly regardless of format. محدودیت یہ ایک 5 منٹ کا کاغذ ہے، ایک سخت مطالعہ نہیں ہے. ایک کنکشن، تین لیبلز، چار ماڈل، دس تکرار. اثر کنکشن پر منحصر، فوری پر منحصر، یا درجہ حرارت پر منحصر ہوسکتا ہے. / Tokenization split خاص طور پر کچھ tokenizers کے لئے ہے اور تمام ٹیسٹ شدہ ماڈلوں کے لئے لاگو نہیں ہوسکتا ہے. 0. 98 لیکن کسی بھی LLM پائپ لائنز کی تعمیر کے لئے ایک فوری صحت کی جانچ پڑتال کے طور پر: جی ہاں، یہ ڈیزائن کا انتخاب اہم ہے، اور decimal جیتتا ہے. مزید اس طرح کے مضامین پڑھنے کے لئے چاہتے ہیں؟ میرا چیک کریں ! ذاتی بلاگ منبع کوڈ + ڈیٹا پایا جا سکتا ہے یہاں ماڈل Together.ai اور OpenAI API کے ذریعے 7 فروری 2026 پر ٹیسٹ کیا گیا تھا. خام اعداد و شمار: 6 ماڈلوں میں 1,080 مکملات (4 فعال، 2 خالی جوابات موصول ہوئے). کوئی دلیل ٹوکن استعمال نہیں کیا گیا تھا - ماڈلوں نے صرف اعتماد نمبر پیدا کیا.

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

یہ آڈیو کہانی کی اصل زبان میں تیار کی گئی ہے!

فلوٹ vs Int اعتماد پوائنٹس: کیوں LLM پیداوار فارمیٹ ماڈل کے رویے کو تبدیل کرتا ہے

About Author

تبصرے

ہینگ ٹیگز

یہ مضمون اس میں پیش کیا گیا تھا۔

Related Stories

Urbain Grandier by Alexandre Dumas - Table of Links

AI Search Traffic Marketshare for Calling HackerNoon Blogs: 52% OpenAI, 30% Amazon & 18% Perplexity

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

"Growing Businesses Gives Me a Sense of Purpose." says Flow Ninja Founder/CEO

Urbain Grandier by Alexandre Dumas - Table of Links

AI Search Traffic Marketshare for Calling HackerNoon Blogs: 52% OpenAI, 30% Amazon & 18% Perplexity

HackerNoon Decoded: The Top 10 Countries Where HackerNoon Is the Most Active

"Growing Businesses Gives Me a Sense of Purpose." says Flow Ninja Founder/CEO

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps