por : Bernard Ramirez por : La inteligencia artificial habla en frases perfectas. Cita fuentes, lista opciones y evita contradicciones. Pero las personas reales no. Ellas dudan. Ellas contradicen. Hablan con tono, ritmo e ironía moldados por la experiencia. Lo más importante, tienen opiniones, y sus respuestas dependen del contexto y perspectiva personal. de , la compañía detrás de la aplicación Posterum AI, hace una pregunta simple: ¿Podemos medir hasta qué punto la IA todavía está por debajo de cómo los humanos responden a las preguntas? Nuevo papel Desarrollo de Software LLC Su respuesta es el Human-AI Variance Score (HAVS), un método no para los modelos de clasificación, sino para puntuar lo cerca que sus respuestas se parecen a las humanas en varias demografías, incluyendo ingresos, creencias políticas, religión, raza, educación y edad. The Voice of Experience La voz de la experiencia Seis perfiles, que representan diferentes edades, género, afiliaciones políticas, razas, ocupaciones y niveles de ingresos, se construyeron utilizando datos de encuestas reales de Gallup, Pew Research y YouGov. Cada perfil fue alimentado en modelos de IA con preguntas que abarcan cinco dominios temáticos: Economía, Vida, Moralidad, Ciencia y Política. Las respuestas de ChatGPT, Claude, Gemini y DeepSeek fueron anotadas utilizando un cálculo de varianza basado en el método Root Mean Square, que deliberadamente sobresalta las grandes desviaciones para penalizar más severamente a los outliers. Los resultados revelaron patrones sorprendentes. ChatGPT y Claude alcanzaron las puntuaciones HAVS más altas en general en 94.12 y 94.51, respectivamente, lo que indica el alineamiento más fuerte con las respuestas humanas. Todos los modelos se desempeñaron sorprendentemente mal en Economía, posiblemente debido a los prejuicios de formación que favorecían la teoría económica sobre la opinión pública. Por el contrario, todos los modelos se han destacado en imitar las respuestas humanas en cuestiones de moralidad, ciencia y política, con puntuaciones de HAVS que van desde 93 a 97. El índice revela que, aunque la IA puede imitar la forma, a menudo pierde el peso humano del contexto. Political Profiles and Geographic Bias Profiles políticos y bias geográficos Uno de los hallazgos más significativos involucra la afiliación política.Los modelos demostraron una variación sustancial al adoptar a personas republicanas versus demócratas, con ChatGPT mostrando las mayores diferencias en los patrones de respuesta, manteniendo una alta precisión. Importante, no se detectó ningún vicio implícito en la división partidista, lo que sugiere que las entradas de perfil explícitas ayudan a mitigar los vicios algorítmicos. Sin embargo, la variación a lo largo de las líneas raciales resultó ser mucho menor que la variación política. Esto puede reflejar las restricciones algorítmicas diseñadas para evitar la codificación de estereotipos raciales, aunque potencialmente viene a costa de la autenticidad de la salida. DeepSeek, el único modelo desarrollado fuera de EE.UU. que se probó, mostró claramente mayor confianza en el gobierno y menor confianza en las empresas en todos los perfiles, tal vez reflejando su conjunto de datos de formación chinos. A Measure, Not a Machine Una medida, no una máquina La aplicación de Posterum Software, Posterum AI, no es la historia principal. Es la herramienta. La verdadera innovación es el sistema de puntuación. Los usuarios construyen perfiles personales -vistas, ingresos y estilo de vida- que forman cómo responde la IA, todo almacenado en el dispositivo. Ningún dato sale del teléfono. Esto permite respuestas honestas, libres de bias de seguimiento. El método no es especulación. Sigue los estándares académicos. El libro blanco, publicado en agosto de 2025, detalla la metodología de cálculo de la varianza utilizando los datos de la encuesta como base para las respuestas humanas. A diferencia de los rankings nacionales de IA que evalúan el poder de procesamiento, la escala y la precisión, el Human-AI Variance Score mide la alineación con los humanos. La pregunta no es cuán avanzado es el modelo, sino cuán bien refleja a la persona que se supone que está respondiendo. The Shape of Understanding La forma de comprensión Mientras que la aplicación Posterum AI puede utilizar perfiles para generar respuestas más precisas, el objetivo más amplio es redefinir cómo se evalúa el progreso y cómo los principales modelos de lenguaje se están convirtiendo cada vez más en capaces de imitar las respuestas humanas. La métrica HAVS ofrece varias aplicaciones prácticas más allá de este estudio inicial. puede rastrear cómo los modelos de IA evolucionan a lo largo del tiempo, comparar diferentes algoritmos y ser personalizado para aplicaciones específicas donde la imitación del razonamiento humano es más importante que la velocidad computacional. El Human-AI Variance Score proporciona tanto la varianza en categorías específicas como una medición global.Mapa las lagunas —donde la IA se alinea con el razonamiento humano y donde todavía cae corto.En ese mapa, ofrece algo raro: una métrica construida no para programadores, sino para usuarios.

This story contains new, firsthand information uncovered by the writer.

Este audio es producido en el idioma original de la historia!

Una nueva métrica emerge: Medir la semejanza humana de las respuestas de la IA a través de la demografía

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Telegram: el puente de Crypto Island hacia el continente

Una breve introducción a la teoría del cerebro de Boltzmann

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Telegram: el puente de Crypto Island hacia el continente

Una breve introducción a la teoría del cerebro de Boltzmann

Valhalla de Floki se une como patrocinador asociado de la gira de la India por Sri Lanka

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps