Si, el formato importa. Cuando se le pide a un LLM que emita la confianza como un decimal (0.00–1.00) versus un número entero (0-100), se obtiene un comportamiento mensurablemente diferente, y no en la dirección que se esperaba. las puntuaciones de confianza para las afirmaciones dudosas, lo que lo convierte en la opción más conservadora (y quizás más útil). pero hay una captura: algunos modelos se rompen por completo cuando se forzan a entrar en el modo de números enteros en entradas absurdas. TL;DR: Bajo La pregunta Si está construyendo un tubo donde un LLM clasifica el texto y adhiere una puntuación de confianza, tiene una elección de diseño aparentemente trivial: ¿pregunta? o ? 0.85 85 La mayoría de los desarrolladores eligen uno sin pensar en ello. pero aquí está la cosa; los LLMs no realmente "entenden" los números. es un objeto fundamentalmente diferente al token en el espacio de embalaje del modelo.Entonces, ¿qué sucede cuando ese prefixo prefiere al resto de la generación? 0. 85 La hipótesis Tokenizadores (como los de OpenAI) divididos En dos tokens: y Mi hipótesis era que el El prefijo actúa como una especie de anclaje, el modelo lo "ve" como pequeño, y lo compensa produciendo un número más alto después de él. comparado con el formato de números enteros, porque el modelo está luchando contra el prefijo de baja magnitud. 0.98 0. 98 0. decimal format should inflate confidence scores Spoiler: los datos cuentan una historia más matizada. Instalación Un paso de contexto (sobre el núcleo de Linux), tres tipos de etiquetas, dos formatos de salida, cuatro modelos, diez repeticiones por condición. Un breve párrafo de hecho sobre el kernel de Linux. Context: Labels (3 types): 
 
 
 
 
 
 
  " Truth: The Linux kernel is a foundational piece of software written in C." — Clearly correct. 
 
 
   Dubious: "Linux is the most popular operating system for desktop gamers worldwide." — Plausible-sounding but misleading. 
 
 
   Nonsense: "The Linux kernel is a species of deciduous tree found in Finland." — Obviously wrong. Format conditions: 
 
 
 Decimal: el modelo rellena un valor entre 0.00 y 1.00 (escalado a 0-100 para la comparación). Integro: El modelo rellena un valor entre 0 y 100. La estructura rápida fue: — y el modelo solo completa el número. Sin cadena de pensamiento, sin razonamiento, sólo el valor de confianza cruda. Cada condición se ejecutó 10 veces por etiqueta (30 por etiqueta tipo × formato × modelo). [CONTEXT] + {"label": "...", "confidence": GPT-5.2 (OpenAI), Qwen3-Next-80B-A3B (Alibaba), Llama 4 Maverick 17B (Meta), y Gemma 3n E4B (Google) todos a través de Together.ai y OpenAI. Dos modelos adicionales (GPT-5-mini y GPT-5-nano) fueron probados pero devolveron respuestas vacías en todas las 180 runs cada uno, por lo que fueron excluidos. Models tested: Resultados Etiquetas: No hay diferencia significativa Todos los cuatro modelos dieron alta confianza para la declaración verdadera independientemente del formato. Los medios variaron de 95.4 a 100.0 en todas las condiciones. La diferencia entre el formato decimal y el formato entero fue insignificante, al máximo un par de puntos. Cuando una afirmación es obviamente verdadera, el formato no importa. Etiquetas dudosas: Aquí es donde se hace interesante Para la afirmación dudosa, emerge un patrón claro, pero es la de lo que predijo. opposite GPT-5.2 y especialmente Gemma 3n asignados Gemma 3n es el caso extremo: una roca sólida de 25.0 en cada una de las decimales (varianza cero), pero una media de 60.3 con números enteros, saltó a la salida en 27 de 30 runs. El prefixo no inflamó el número; si algo, lo suprimía. más alto 65 0. Mi hipótesis original era retroactiva. El token no hace que el modelo compense hacia arriba, parece anclar el modelo hacia el extremo inferior de su rango de confianza. las estimaciones. 0. Conservadores Etiquetas: El punto de inflexión Para la afirmación obviamente falsa, el formato decimal funcionó perfectamente, cada modelo devolvió 0.00 a través de todas las carreras. El formato integral es donde las cosas se rompieron para algunos modelos: Los resultados enteros de GPT-5.2 para las tonterías son salvajes: se alternaron entre y , produciendo un promedio de 50 con una desviación estándar de 50. literalmente no podía decidir. La mitad del tiempo dijo "completamente confiado" en una afirmación sobre el núcleo de Linux siendo un árbol. , no catastrófico, pero todavía equivocado cuando la versión decimal obtuvo un cero perfecto. 0 100 10 Qwen3 y Llama 4 manejaron ambos formatos correctamente en tonterías, devolviendo 0 a través del tablero. El formato decimal produce un acuerdo más estrecho, tanto dentro como entre modelos Más allá de los resultados por modelo, el formato decimal produce consistentemente más acuerdo, tanto entre los modelos como dentro de las cargas repetidas del mismo modelo.El efecto es más fuerte donde más importa: en entradas ambiguas e incorrectas. En resumen: si necesita puntuaciones reproducibles o planea comparar la confianza entre modelos, el formato decimal le da una distribución mucho más estrecha para trabajar con. ¿Qué es lo que probablemente está sucediendo? La hipótesis de tokenización estaba en el camino correcto, pero la dirección estaba equivocada. El El prefixo no sólo establece una magnitud, sino que establece una Cuando un modelo comienza a generar , es en el "espacio de probabilidad" donde la semántica del decimal se aprende bien de los datos de entrenamiento. probabilidades entre 0 y 1 están en todas partes en el texto técnico, y los modelos tienen fuertes prejuicios sobre qué valores tienen sentido en ese rango. 0. El régimen 0. Por otra parte, las puntuaciones de confianza enteras son menos restringidas. Después Puede significar cualquier cosa, es sólo un número. Anchor tirando el modelo en modo de razonamiento de probabilidad, algunos modelos por defecto a heurística más cruda. GPT-5.2 oscila entre extremos cuando no tiene confianza, porque en el espacio entero no ha aprendido una respuesta clara de "cero confianza". 65 "confidence": 0. 65 Prácticas Takeaways Produce estimaciones más conservadoras para entradas ambiguas, salidas más consistentes en todos los modelos, y evita los fallos catastróficos vistos con el formato de números enteros en las entradas absurdas. El prefixo parece activar el razonamiento de probabilidad mejor calibrado en el modelo. Use decimal (0.0–1.0) format for confidence scores. 0. Qwen3 y Llama 4 manejaron bien los enteros; GPT-5.2 y Gemma 3n no lo hicieron. If you must use integers Incluso en el mejor caso (formato decimal), cuatro modelos SOTA diferentes dieron cuatro niveles de confianza diferentes para la misma afirmación dudosa, que van desde 5.3 a 28.8. Don't trust confidence scores blindly regardless of format. Limitaciones Este es un artículo de 5 minutos, no un estudio riguroso.Un contexto, tres etiquetas, cuatro modelos, diez repeticiones.El efecto podría ser contextual-dependiente, prompt-dependiente, o temperatura-dependiente. / La división de tokenización es específica para ciertos tokenizadores y puede no aplicarse a todos los modelos probados. un seguimiento adecuado probaría docenas de contextos, variaría las temperaturas y examinaría directamente los logprobs. 0. 98 Pero como una rápida comprobación de la sanidad para cualquiera que construya tuberías LLM: sí, esta elección de diseño importa, y la decimal gana. ¿Quieres leer más artículos como este? ! Blog personal Se puede encontrar el código fuente + datos Aquí Modelos probados a través de Together.ai y OpenAI API el 7 de febrero de 2026.Datos primos: 1.080 completos en 6 modelos (4 funcionales, 2 devueltas respuestas vacías).

Walkthroughs, tutorials, guides, and tips. This story will teach you how to do something new or how to do something better.

Read My Stories

Este audio es producido en el idioma original de la historia!

Float vs Int Confidence Scores: Por qué el formato de salida de LLM cambia el comportamiento del modelo

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Nómadas digitales escuchen: lo que necesitan saber sobre la nueva visa DTV de Tailandia

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps