Tak, format ma znaczenie. Gdy poprosisz LLM, aby wyprowadził zaufanie jako liczbę dziesiętną (0.00–1.00) w porównaniu z liczbą całkowitą (0–100), otrzymasz wymiernie inne zachowanie, a nie w kierunku, w którym byś się spodziewał. Wyniki zaufania dla wątpliwych roszczeń, co czyni go bardziej konserwatywnym (i prawdopodobnie bardziej użytecznym) wyborem. ale istnieje łapówka: niektóre modele całkowicie się rozpadają, gdy są zmuszane do trybu liczby całkowitej na bzdurach. TL;DR: niżej Pytanie Jeśli budujesz rurociąg, w którym LLM klasyfikuje tekst i przywiązuje ocenę zaufania, masz pozornie trivialny wybór projektowy: czy poprosisz o lub ? 0.85 85 Większość programistów wybiera jeden bez zastanowienia się nad tym. ale oto rzecz; LLM nie "rozumie" liczb. jest obiektem zasadniczo innym niż token Co się dzieje, gdy ten prefix uprzedza resztę pokolenia? 0. 85 Hipotezy Tokenizatory (takie jak OpenAI) podzielone W dwóch tokenach: i Moją hipotezą było to, że Prefiks działa jak rodzaj kotwicy, model "widzi" go jako mały, i kompensuje, produkując po nim wyższą liczbę. w porównaniu z formatem liczb całkowitych, ponieważ model walczy z prefiksem niskiej wielkości. 0.98 0. 98 0. decimal format should inflate confidence scores Spoiler: dane opowiadają bardziej niuanse. ustawienia Jedno przejście kontekstowe (o rdzeniu Linux), trzy rodzaje etykiet, dwa formaty wyjściowe, cztery modele, dziesięć powtórzeń na warunek. Kilka słów na temat Linux Kernel. Context: Labels (3 types): 
 
 
 
 
 
 
  " Truth: The Linux kernel is a foundational piece of software written in C." — Clearly correct. 
 
 
   Dubious: "Linux is the most popular operating system for desktop gamers worldwide." — Plausible-sounding but misleading. 
 
 
   Nonsense: "The Linux kernel is a species of deciduous tree found in Finland." — Obviously wrong. Format conditions: 
 
 
 Dziesiętna: model wypełnia wartość w zakresie od 0,00 do 1,00 (skaliowana do 0–100 w celu porównania). Całkowita: Model wypełnia wartość od 0 do 100. Szybka struktura była: — i model wypełnia tylko liczbę. bez łańcucha myśli, bez rozumowania, tylko wartość surowego zaufania. Każdy warunek został uruchomiony 10 razy na etykietę (30 na typ etykiety × format × model). [CONTEXT] + {"label": "...", "confidence": GPT-5.2 (OpenAI), Qwen3-Next-80B-A3B (Alibaba), Llama 4 Maverick 17B (Meta) i Gemma 3n E4B (Google) wszystkie za pośrednictwem Together.ai i OpenAI. Dwa dodatkowe modele (GPT-5-mini i GPT-5-nano) zostały przetestowane, ale zwróciły puste odpowiedzi na wszystkich 180 biegach, więc zostały one wykluczone. Models tested: Wyniki Prawda etykiety: bez znaczących różnic Wszystkie cztery modele dały wysoką pewność co do prawdziwego stwierdzenia niezależnie od formatu. Średnie wahały się od 95,4 do 100.0 we wszystkich warunkach. Różnica między formatem dziesiętnym a formatem liczby całkowitej była nieistotna, maksymalnie kilka punktów. Podejrzane etykiety: tutaj staje się interesujące W przypadku wątpliwego twierdzenia pojawia się wyraźny wzorzec, ale jest to Z tego co przewidziałem. opposite GPT-5.2 i szczególnie Gemma 3n przydzielone Gemma 3n to skrajny przypadek: rock-solid 25.0 w każdym pojedynczym biegu dziesiętnym (zero variance), ale średnia 60.3 z liczbami całkowitymi, skoczył do wyjścia w 27 z 30 wyścigów. Prefiks nie napełniał liczby; jeśli coś, to ją tłumił. wyższa 65 0. Pierwotnie hipoteza była odwrotna. Token nie sprawia, że model kompensuje w górę, wydaje się zakotwiczyć model w kierunku dolnego końca jego zakresu zaufania. w szacunkach. 0. Konserwatywny Nonsensy etykiety: punkt zerowy Dla wyraźnie fałszywego stwierdzenia format dziesiętny działał doskonale, każdy model zwrócił 0,00 na wszystkich biegach. Format integralny to miejsce, w którym niektóre modele rozpadły się: Całkowite wyniki GPT-5.2 dla bzdur są dzikie: zmieniały się między i , produkując średnią 50 z odchyleniem standardowym 50. To dosłownie nie mogło decydować. Połowa czasu powiedział "całkowicie pewny siebie" w twierdzeniu, że rdzeń Linuksa jest drzewem. , nie katastrofalne, ale nadal błędne, gdy wersja dziesiętna uzyskała idealną zerę. 0 100 10 Qwen3 i Llama 4 poprawnie obsługiwały oba formaty na bzdurach, zwracając 0 w całej tablicy. Format dziesiętny generuje ściślejszą zgodę – zarówno w modelach, jak i między nimi Poza wynikami według modelu, format dziesiętny konsekwentnie generuje więcej zgody, zarówno w różnych modelach, jak i w powtarzających się biegach tego samego modelu. Krótko mówiąc: jeśli potrzebujesz powtarzalnych wyników lub planujesz porównać zaufanie między modelami, format dziesiętny daje o wiele ściślejszą dystrybucję do pracy. Co prawdopodobnie się dzieje? Hipoteza tokenizacji była na właściwej ścieżce, ale kierunek był błędny. o Prefiks nie tylko określa wielkość, ale określa Gdy model rozpoczyna generowanie po Prawdopodobieństwa pomiędzy 0 a 1 są wszędzie w tekście technicznym, a modele mają silne uprzedzenia co do tego, jakie wartości mają sens w tym zakresie. 0. Reżim 0. Pełne punkty zaufania, z drugiej strony, są mniej ograniczone. Po może oznaczać cokolwiek, jest to tylko liczba. zakotwiczanie modelu w trybie prawdopodobieństwa, niektóre modele domyślnie do surowszej heurystyki. GPT-5.2 oscyluje między skrajnościami, gdy nie ma pewności siebie, ponieważ w przestrzeni całkowitej nie nauczyła się jasnej odpowiedzi „zero zaufania”. 65 "confidence": 0. 65 Praktyczne Takeaways Wytwarza bardziej konserwatywne szacunki dla niejednoznacznych wejść, bardziej spójne wyjścia w różnych modelach i unika katastrofalnych awarii widzianych z formatem liczby całkowitej na bzdurnych wejściach. Prefiks wydaje się aktywować lepiej kalibrowane rozumowanie prawdopodobieństwa w modelu. Use decimal (0.0–1.0) format for confidence scores. 0. Qwen3 i Llama 4 radziły sobie dobrze z liczbami całkowitymi; GPT-5.2 i Gemma 3n nie. If you must use integers Nawet w najlepszym przypadku (w formacie dziesiętnym), cztery różne modele SOTA dały cztery różne poziomy zaufania dla tego samego wątpliwego twierdzenia, w zakresie od 5,3 do 28,8. Don't trust confidence scores blindly regardless of format. ograniczenia Jest to 5-minutowy artykuł, a nie rygorystyczne badanie. Jeden kontekst, trzy etykiety, cztery modele, dziesięć powtórzeń. / Podział tokenizacji jest specyficzny dla niektórych tokenizatorów i może nie mieć zastosowania do wszystkich testowanych modeli. 0. 98 Ale jako szybka kontrola zdrowia dla każdego, kto buduje rurociągi LLM: tak, ten wybór projektu ma znaczenie, a dziesiętna wygrywa. Chcesz przeczytać więcej takich artykułów?Zobacz ! Blog osobisty Kod źródłowy + dane można znaleźć tutaj Modele przetestowane za pośrednictwem API Together.ai i OpenAI w dniu 7 lutego 2026 r. Dane surowe: 1,080 zakończeń w 6 modelach (4 odpowiedzi funkcjonalne, 2 odpowiedzi puste).

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Ten dźwięk jest produkowany w oryginalnym języku historii!

Float vs Int Poziomy zaufania: Dlaczego format wyjściowy LLM zmienia zachowanie modelu

About Author

UWAGI

ZAWIEŚĆ TAGI

ARTYKUŁ TEN ZOSTAŁ PREZENTOWANY W

Related Stories

Meet Klink Finance: HackerNoon Company of the Week

Meet Beldex: HackerNoon Company of the Week

How HackerNoon Feels About AI Generated Content (Hint: 👎🏽)

Reach More Readers! BOOST Your Story on HackerNoon

Meet Klink Finance: HackerNoon Company of the Week

Meet Beldex: HackerNoon Company of the Week

How HackerNoon Feels About AI Generated Content (Hint: 👎🏽)

Reach More Readers! BOOST Your Story on HackerNoon

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps