Kun pyydät LLM: tä tuottamaan luottamuksen desimaalina (0.00–1.00) verrattuna kokonaislukuun (0–100), saat mitattavissa olevan erilaisen käyttäytymisen, eikä suunnassa, jota odotat. luottamuspisteet epäilyttäville väitteille, mikä tekee siitä konservatiivisemman (ja todennäköisesti hyödyllisemmän) valinnan.Mutta on saalis: jotkut mallit rikkovat kokonaan, kun ne pakotetaan kokonaistilaan järjetöntä syöttöä varten. TL;DR: alempana Kysymys Jos rakennat putken, jossa LLM luokittelee tekstin ja liittää luottamuspistemäärän, sinulla on näennäisesti triviaalinen suunnitteluvaihtoehto: kysytkö tai ? 0.85 85 Useimmat kehittäjät valitsevat yhden ajattelematta sitä. Mutta tässä on asia; LLM: t eivät todellakaan " ymmärrä" numeroita. on pohjimmiltaan erilainen objekti kuin token Joten mitä tapahtuu, kun tämä etuliite ohittaa muun sukupolven? 0. 85 Hypoteesi on Tokenizers (kuten OpenAI: n) jakaa Kahdessa kortissa: ja Minun hypoteesini oli, että Etuliite toimii eräänlaisena ankkurina, malli "näkee" sen pieneksi ja kompensoi sen tuottamalla sen jälkeen korkeamman numeron. verrattuna kokonaislukuformaattiin, koska malli taistelee matalan suuruisen etuliitteen kanssa. 0.98 0. 98 0. decimal format should inflate confidence scores Spoiler: Tiedot kertovat vivahteikkaamman tarinan. asennettu Yksi kontekstikulku (noin Linux-ydin), kolme merkintätyyppiä, kaksi tulostusmuotoa, neljä mallia, kymmenen toistoa per ehto. Lyhyt faktaa koskeva kappale Linux-ytimestä. Context: Labels (3 types): 
 
 
 
 
 
 
  " Truth: The Linux kernel is a foundational piece of software written in C." — Clearly correct. 
 
 
   Dubious: "Linux is the most popular operating system for desktop gamers worldwide." — Plausible-sounding but misleading. 
 
 
   Nonsense: "The Linux kernel is a species of deciduous tree found in Finland." — Obviously wrong. Format conditions: 
 
 
 Desimaali: Malli täyttää arvon välillä 0,00 ja 1,00 (asteikolla 0–100 vertailua varten). Koko: Malli täyttää arvon välillä 0 ja 100. Nopea rakenne oli: – ja malli täydentää vain numeron. Ei ajatusketjua, ei perusteluja, vain raaka luottamusarvo. Jokainen ehto suoritettiin 10 kertaa etikettiä kohden (30 etikettiä kohden tyyppi × muoto × malli). [CONTEXT] + {"label": "...", "confidence": GPT-5.2 (OpenAI), Qwen3-Next-80B-A3B (Alibaba), Llama 4 Maverick 17B (Meta) ja Gemma 3n E4B (Google) kaikki Together.ai: n ja OpenAI: n kautta. Kaksi ylimääräistä mallia (GPT-5-mini ja GPT-5-nano) testattiin, mutta palautettiin tyhjät vastaukset kaikissa 180 käynnissä, joten ne suljettiin pois. Models tested: tulokset Totuusmerkit: Ei merkittäviä eroja Kaikki neljä mallia antoivat suurta luottamusta totuudenmukaiseen lausumaan muodosta riippumatta. Keskimäärät vaihtelivat 95,4:sta 100:een kaikissa olosuhteissa. Ero desimaalin ja kokonaismuodon välillä oli vähäinen, enintään pari pistettä. Epäilyttävät etiketit: tässä se kiinnostaa Epäilyttävälle väitteelle ilmenee selkeä kuvio, mutta se on Mitä olen ennustanut. opposite GPT-5.2 ja erityisesti Gemma 3n Gemma 3n on äärimmäinen tapaus: rock-solid 25.0 jokaisessa yksittäisessä desimaalisessa juoksussa (zero varianssi), mutta keskimäärin 60.3 kokonaisilla, se hyppäsi ulosottoon Seitsemän kymmentä kymmentä kymmentä kymmentä kymmentä kymmentä kymmentä Etuliite ei lisännyt numeroa; jos jotain, se tukahdutti sen. Korkeampi 65 0. Alkuperäinen hypoteesi oli taaksepäin. Token ei tee mallia kompensoimaan ylöspäin, se näyttää ankkuroivan mallin luottamusalueen alempaan päähän. ja arvioita. 0. Konservatiivinen Nonsense etiketit: murto-osa Ilmeisen väärän lausunnon osalta desimaaliformaatti toimi täydellisesti, jokainen malli palautti 0,00 kaikissa juoksussa. Kokonaismuoto on paikka, jossa asiat putosivat erilleen joillekin malleille: GPT-5.2: n kokonaistulokset järjettömyydelle ovat villiä: se vaihtui ja , tuottaen keskimäärin 50 standardin poikkeama 50. Se kirjaimellisesti ei voinut päättää. Puolet ajasta se sanoi "täysin luottavainen" väitteessä Linux-ydin on puu. , ei katastrofaalinen, mutta silti väärä, kun desimaalinen versio sai täydellisen nollan. 0 100 10 Qwen3 ja Llama 4 käsittelivät molempia muotoja oikein hölynpölyllä, palauttaen 0 koko laudan yli. Decimal-muoto tuottaa tiukempaa sopimusta – sekä mallien sisällä että niiden välillä Mallikohtaisten tulosten lisäksi desimaali muodostaa johdonmukaisesti enemmän yksimielisyyttä sekä mallien välillä että saman mallin toistuvien toistojen sisällä. Lyhyesti sanottuna: jos tarvitset toistettavissa olevia pisteet tai aiot verrata luottamusta eri malleissa, desimaaliformaatti antaa sinulle paljon tiukemman jakauman työskennellä. Mitä todennäköisesti tapahtuu? Tokenisaatiohypoteesi oli oikealla tiellä, mutta suunta oli väärä. Sillä prefix ei määritä vain suuruutta, se asettaa a Kun malli alkaa tuottaa , se on "todennäköisyysalueella", jossa desimaalin semantiikka on hyvin opittu koulutustiedoista. 0: n ja 1: n väliset todennäköisyydet ovat kaikkialla teknisessä tekstissä, ja malleilla on vahvat ennakkoluulot siitä, mitkä arvot ovat järkeviä kyseisellä alueella. 0. järjestelmää 0. Toisaalta kokonaisluottamuspisteet ovat vähemmän rajoitettuja. jälkeen Se voi tarkoittaa mitä tahansa, se on vain numero. Ankkuri vetää mallin todennäköisyysperusteiseen tilaan, jotkut mallit ovat oletusarvoisesti raakaa heuristiikkaa. GPT-5.2 värähtelee äärimmäisyyksien välillä, kun sillä ei ole luottamusta, koska kokonaisavaruudessa se ei ole oppinut selkeää "nollan luottamuksen" vastausta. 65 "confidence": 0. 65 Käytännön takeaways Se tuottaa konservatiivisempia arvioita epäselvistä syöttöistä, johdonmukaisemmista tuotoksista malleissa ja välttää katastrofaaliset epäonnistumiset, joita nähdään kokonaislukuformaatissa järjettömissä syöttöissä. Prefiksi näyttää aktivoivan paremman kalibroidun todennäköisyysperustelun mallissa. Use decimal (0.0–1.0) format for confidence scores. 0. Qwen3 ja Llama 4 käsittelivät kokonaismääriä hyvin; GPT-5.2 ja Gemma 3n eivät. If you must use integers Jopa parhaassa tapauksessa (kymmenesosainen muoto), neljä erilaista SOTA-mallia antoi neljä erilaista luottamustasoa samalle epäilyttävälle väitteelle, jotka vaihtelevat 5,3: stä 28,8: een. Don't trust confidence scores blindly regardless of format. Rajoitukset Tämä on viiden minuutin paperi, ei tiukka tutkimus. Yksi konteksti, kolme etikettiä, neljä mallia, kymmenen toistoa. Vaikutus voi olla kontekstista riippuvainen, prompt-riippuvainen tai lämpötilasta riippuvainen. / Tokenisaation jakautuminen on erityistä tietyille tokenisaattoreille, eivätkä ne välttämättä koske kaikkia testattuja malleja.Oikea seuranta testaisi kymmeniä konteksteja, vaihtelevat lämpötilat ja tutkii suoraan logprobeja. 0. 98 Mutta nopea terveystarkastus kaikille, jotka rakentavat LLM-putkistoja: kyllä, tämä suunnitteluvaihtoehto on tärkeä, ja desimaali voittaa. Haluatko lukea lisää tällaisia artikkeleita?Lue lisää ! Henkilökohtainen blogi Lähdekoodi + tiedot löytyvät Täällä Malleja testattiin Together.ai:n ja OpenAI API:n kautta 7. helmikuuta 2026. Raaka-aineisto: 1 080 valmistumista 6 mallissa (4 toiminnallista, 2 palautettua tyhjää vastausta).

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Tämä ääni on tuotettu tarinan alkuperäisellä kielellä!

Float vs Int Luottamuspisteet: Miksi LLM-tuotantomuoto muuttaa mallin käyttäytymistä

About Author

KOMMENTIT

RIPUTA TAGSIA

TÄMÄ ARTIKKELI ESITETTIIN

Related Stories

Hurry! Just One Month Left to Win Up to $2,000 in the #blockchain Writing Contest

Why The "Missing Middle" Is The Biggest Untapped Opportunity in 2026

10x Research: How a FIL Backed USD Stablecoin By Secured Finance Would Boost The Filecoin Ecosystem

PENANCE

Hurry! Just One Month Left to Win Up to $2,000 in the #blockchain Writing Contest

Why The "Missing Middle" Is The Biggest Untapped Opportunity in 2026

10x Research: How a FIL Backed USD Stablecoin By Secured Finance Would Boost The Filecoin Ecosystem

PENANCE

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps