Ja, formatet spelar roll. När du ber en LLM att utfärda förtroende som en decimal (0.00–1.00) mot ett heltal (0–100), får du mätbart annorlunda beteende, och inte i den riktning du förväntar dig. förtroendepoäng för tvivelaktiga påståenden, vilket gör det till det mer konservativa (och förmodligen mer användbara) valet.Men det finns en fångst: vissa modeller bryts helt när de tvingas in i helhetsläge på nonsensinmatningar. TL;DR: lägre Frågan Om du bygger en rörledning där en LLM klassificerar text och bifogar en förtroendepoäng, har du ett till synes trivialt designval: frågar du eller ? 0.85 85 De flesta utvecklare väljer en utan att tänka på det. Men här är saken; LLMs "förstår inte" siffror. är ett fundamentalt annorlunda objekt än token i modellens inbäddningsutrymme. Så vad händer när det prefixet förskräcker resten av generationen? 0. 85 Hypotesen är Tokenizers (som OpenAI: s) split I två tokens: och Min hypotes var att den Prefixet fungerar som ett slags ankare, modellen "ser" det som litet och kompenserar genom att producera ett högre nummer efter det. jämfört med heltal format, eftersom modellen kämpar mot den låga storleken prefix. 0.98 0. 98 0. decimal format should inflate confidence scores Spoiler: Data berättar en mer nyanserad historia. Setup Ett sammanhangspass (om Linux-kärnan), tre typer av etiketter, två utdataformat, fyra modeller, tio repetitioner per villkor. Ett kort faktaparagraf om Linux-kärnan. Context: Labels (3 types): 
 
 
 
 
 
 
  " Truth: The Linux kernel is a foundational piece of software written in C." — Clearly correct. 
 
 
   Dubious: "Linux is the most popular operating system for desktop gamers worldwide." — Plausible-sounding but misleading. 
 
 
   Nonsense: "The Linux kernel is a species of deciduous tree found in Finland." — Obviously wrong. Format conditions: 
 
 
 Decimal: Modellen fyller i ett värde mellan 0,00 och 1,00 (skalad till 0–100 för jämförelse). Integer: Modellen fyller i ett värde mellan 0 och 100. Den snabba strukturen var: Ingen kedja av tanke, ingen resonemang, bara det råa förtroendevärdet. Varje villkor kördes 10 gånger per etikett (30 per etikett typ × format × modell). [CONTEXT] + {"label": "...", "confidence": GPT-5.2 (OpenAI), Qwen3-Next-80B-A3B (Alibaba), Llama 4 Maverick 17B (Meta) och Gemma 3n E4B (Google) alla via Together.ai och OpenAI. Två ytterligare modeller (GPT-5-mini och GPT-5-nano) testades men returnerade tomma svar över alla 180 körningar vardera, så de uteslutes. Models tested: Resultaten Sanningsetiketter: Ingen meningsfull skillnad Alla fyra modeller gav högt förtroende för det sanna uttalandet oavsett format. Medelvärden varierade från 95.4 till 100.0 under alla förhållanden.Skillnaden mellan decimal- och helformat var försumbar, högst ett par poäng. Tvivelaktiga etiketter: Det är där det blir intressant För det tvivelaktiga påståendet framträder ett tydligt mönster, men det är av det jag förutsåg. opposite GPT-5.2 och särskilt Gemma 3n tilldelade Gemma 3n är det extrema fallet: en rock-solid 25.0 i varje enskild decimal körning (noll varians), men ett medelvärde av 60.3 med heltal, det hoppade till output i 27 av 30 omgångar. Prefixet uppblåste inte numret; om något, undertryckte det det. Högre 65 0. Min ursprungliga hypotes var bakåtvänd. Token gör inte modellen kompensera uppåt, det verkar förankra modellen mot den nedre änden av sitt förtroendeområde. och uppskattningar. 0. Konservativa Etikettarkiv: Brytpunkten För det uppenbart falska uttalandet fungerade decimalformatet perfekt, varje modell returnerade 0,00 över alla körningar. Integerformat är där saker föll åt sidan för vissa modeller: GPT-5.2s helresultat för nonsens är vilda: det växlade mellan och , producerar ett medelvärde av 50 med en standardavvikelse av 50. Det kunde bokstavligen inte bestämma. Halva tiden sa det "komplett säker" i ett påstående om Linux-kärnan är ett träd. , inte katastrofalt, men fortfarande fel när decimalversionen fick en perfekt noll. 0 100 10 Qwen3 och Llama 4 hanterade båda formaten korrekt på nonsens, returnerar 0 över brädet. Decimalformat ger stramare överenskommelse – både inom och mellan modeller Utöver resultaten per modell producerar decimalformat konsekvent mer överenskommelse, både över modeller och inom upprepade körningar av samma modell. Kort sagt: Om du behöver reproducerbara poäng eller planerar att jämföra förtroende mellan modeller, ger decimalformat dig en mycket tätare fördelning att arbeta med. Vad är det förmodligen som händer? Tokeniseringshypotesen var på rätt spår men riktningen var fel. den Prefixet anger inte bara en storlek, det anger en När en modell börjar generera efter Sannolikheter mellan 0 och 1 finns överallt i teknisk text, och modeller har starka fördomar om vilka värden som är meningsfulla i det området. 0. Regimen 0. Integer förtroende poäng, å andra sidan, är mindre begränsade. Efter kan betyda vad som helst, det är bara ett nummer. ankar dra modellen i sannolikhetsrationeringsläge, vissa modeller standard till råare heuristik. GPT-5.2 oscillerar mellan ytterligheter när det inte har något förtroende, eftersom det inte har lärt sig ett tydligt "nollförtroende" svar i hela rymden. 65 "confidence": 0. 65 Praktiska takeaways Det producerar mer konservativa uppskattningar för tvetydiga ingångar, mer konsekventa utgångar över modeller och undviker de katastrofala misslyckandena som ses med helhetsformat på nonsensinmatningar. Prefixet verkar aktivera bättre kalibrerad sannolikhets resonemang i modellen. Use decimal (0.0–1.0) format for confidence scores. 0. Qwen3 och Llama 4 hanterade heltal bra; GPT-5.2 och Gemma 3n gjorde inte. If you must use integers Även i det bästa fallet (decimalformat) gav fyra olika SOTA-modeller fyra olika förtroendenivåer för samma tvivelaktiga påstående, som sträcker sig från 5,3 till 28,8.Dessa siffror är inte kalibrerade sannolikheter. Don't trust confidence scores blindly regardless of format. Begränsningar Detta är ett 5-minuters papper, inte en rigorös studie. Ett sammanhang, tre etiketter, fyra modeller, tio upprepningar. Effekten kan vara sammanhangsberoende, promptberoende eller temperaturberoende. / Tokenization split är specifikt för vissa tokenizers och kan inte gälla för alla modeller som testas. en korrekt uppföljning skulle testa dussintals sammanhang, variera temperaturer och undersöka logprobs direkt. 0. 98 Men som en snabb sanitetskontroll för alla som bygger LLM-rörledningar: ja, det här designvalet spelar roll, och decimal vinner. Vill du läsa fler artiklar som den här? kolla in min ! Personlig blogg Källkoden + data kan hittas här Modeller testade via Together.ai och OpenAI API den 7 februari 2026. rådata: 1 080 slutföranden över 6 modeller (4 funktionella, 2 returnerade tomma svar).

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Det här ljudet är producerat på berättelsens originalspråk!

Float vs Int Trust Scores: Varför LLM Output Format förändrar modellbeteende

About Author

KOMMENTARER

HÄNG TAGGAR

DENNA ARTIKEL PRESENTERAS I

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps