ChatGPT puede escribir código Python eficiente y redactar consultas SQL complejas en segundos.Heck, va a brainstormar toda su campaña de marketing si lo permite.Estamos apresurados para confiar en este "genius", los últimos modelos y todo, con nuestros documentos legales y el código que ejecuta nuestras operaciones comerciales. Como analista de inteligencia empresarial con más de una década de experiencia en empresas como Amazon y Microsoft, fui curioso. he visto esta tecnología ir de un juguete a una herramienta que muchos afirman está listo para reemplazarme. Los resultados revelaron lo que realmente está sucediendo: una elección de diseño importante, un comercio de costes versus rendimiento, que ejecuta todo el sistema.Es un problema de transparencia, y es una brecha lo suficientemente grande como para hacer a cualquier profesional de datos escéptico.Se reveló que aunque la IA es excelente en la escritura de código, no se puede confiar en el elemento más básico de mi trabajo: la aritmética simple. ¿Y la parte más terrible? es confiablemente equivocado. El problema matemático que reveló el truco Mi prueba fue una lista simple de todos los números de -3000 a 3000 (en intervalos de 100), que llegó a 61 números en total.La lista fue diseñada específicamente para que la respuesta final, correcta sería un simple "zero". Cuando le di la lista ordenada en orden ascendente o descendente, acedó la prueba cada vez. Reconoció correctamente el patrón simple: -3000 cancela 3000, -2900 cancela 2900, y así sucesivamente. Pero ¿qué sucede cuando se elimina el patrón? pongo esos exactamente los mismos números en un orden aleatorio. Esto rompió el sencillo corto y obligó a la IA a calcular realmente. Ha fracasado, y no por un pequeño margen. El fracaso “performativo” No se ha calculado, se ha puesto en de los cálculos. Desempeño Es como ver a Noah Wyle o : es un médico convincente, pero nunca debes confiar en él para realizar un procedimiento médico real en ti. De la misma manera, el AI pasa por los movimientos de cálculo. Responde con una descomposición “paso a paso” que parece perfectamente lógica, pero la respuesta final es confiada y fundamentalmente equivocada. El Pitt es Cuando lo desafié, lo “checó doble” y recibió un Respuesta equivocada Diferentes El fracaso fue más fundamental de lo que pensé al principio.Este proceso involucró un amplio mantenimiento de la mano, como pedirle que dividiera la lista en pequeños grupos de 10 números.Todavía se equivocó la matemática en cada una de esas sumas simples de 10 enteros.Aún después de darle las respuestas correctas para cada grupo, todavía no logró agregar correctamente los seis subconjuntos del grupo. En total, recibí 12 respuestas incorrectas diferentes de esta vuelta y vuelta, todas de la misma guía. Esto no fue un fracaso para manejar una lista "compleja".Fue un fracaso completo para realizar la adición básica.Al final, se disculpó por sus "errores de cálculo mental", un reconocimiento inestimable de que estaba simulando el cálculo en lugar de hacerlo. Este diseño abreviado es la misma razón por la que la IA ha dejado de lado históricamente otras tareas simples, como contar letras en una palabra. Entonces encontré la calculadora oculta Entonces, ¿es ChatGPT simplemente desesperadamente malo en matemáticas? No exactamente. Volví a esa primera respuesta equivocada y, en lugar de responder, hice clic en la opción “Piensa más”. De inmediato sucedió esto: # Define the list of numbers 
numbers = [ 2100, 800, -1800, 2400, 1000, -2400, 1200, ... ] 
# Calculate the sum 
total_sum = sum(numbers) 
total_sum 
# Result 0
 Obtuvo la respuesta correcta (zero) en un segundo. Este es el “gotcha”. Tenía la calculadora todo el tiempo. ¿Qué está sucediendo realmente aquí? Esto no es un bug. Lo que estamos viendo es un tradeoff de diseño. ChatGPT está optimizado para velocidad primero y precisión segundo en su modo predeterminado. El camino rápido por defecto es solo de texto. Trata de resolver el problema confiando en sus vastos datos de entrenamiento, que incluyen patrones aritméticos aprendidos. Para sumas simples (como 2+2), esto es confiable. Pero para tareas que requieren precisión real en muchos pasos, como nuestra lista de números 61, falla. Es como una persona que intenta multiplicar grandes números en su cabeza: entiende el concepto de las matemáticas, pero pierde rápidamente el rastro de los pasos intermedios y “transporta”. Este enfoque solo de texto es muy rápido y, más que eso, es barato de ejecutar. El camino de pensamiento (utilizando la calculadora Python) es perfectamente preciso, pero es caro de ejecutar.No me equivoques, este camino “lento” todavía devuelve una respuesta en un par de segundos. pero para OpenAI, el coste del sistema es enorme. En lugar de sólo predecir la próxima palabra, la IA tiene que hacer mucho más trabajo: debe girar un intérprete de Python seguro, escribir el código, ejecutarlo y luego leer la salida. Este es el intercambio de costes y rendimiento en acción.Es la razón detrás de todo lo que acabamos de ver. Aquí es donde se hace personal Mira, aquí está el riesgo real para los profesionales de datos.Suponemos que la IA está analizando.No es. como se ve. Debe Ahora, sé cuál será la respuesta: todo esto es parte del nuevo sistema “dinámico”.El propio comunicado de prensa de OpenAI se enorgullece de esto, llamándolo un “router en tiempo real” que “decide rápidamente” si responder rápidamente o “pensar más” para problemas difíciles. Cuando le di un problema de matemáticas de 61 dígitos en orden aleatorio, su lógica interna equivocó la dificultad. Parecía pensar que era una tarea simple que podría aplastar. Esto me dice que la heurística del router no está ajustada para capturar este tipo de problema "decepcionante simple". Probablemente sólo esté mirando la longitud de la consulta o si hay símbolos matemáticos. Por lo tanto, en lugar de identificar correctamente esto como un "problema duro" y involucrar automáticamente su modelo de pensamiento, eligió el camino rápido, solo de texto y prosiguió a fallar. Imagina pedirle a la IA que “verifique los subconjuntos en este informe de gastos” y responde con una respuesta confiada, solo de texto: “¡Parece correcto!” En ese momento, has dañado tu credibilidad confiando en una herramienta para una tarea que no estaba diseñada para manejar de manera confiable.El fracaso de la IA fue que simuló el acto de comprobar en lugar de realmente calcular. Cuando las matemáticas realmente funcionan Por lo tanto, es importante saber cuándo la IA es confiable para estas tareas. Mi prueba fue diseñada para alcanzar una vulnerabilidad específica. 
 
 
 
 Cuando utiliza explícitamente su intérprete de código (como el camino "Piensa más"). Para una aritmética simple, en contexto (por ejemplo, “Tengo 3 manzanas y comprar 2 más, ¿cuántas tengo?”). Para matemáticas simbólicas y conceptos explicativos (por ejemplo, “Explicar el teorema pitagórico”). El riesgo, como muestra mi prueba, es no saber en qué modo se encuentra la IA. Lo que realmente deberías hacer al respecto Esto no significa “no usar AI”. Esto significa que necesitamos usarlo como un profesional, no como un novato. Debemos tratarlo como el “motor de corte corto” que es. Así que aquí está mi guía práctica para analistas de datos basada en mis hallazgos: Mira, si no te acuerdas de nada más: si te muestra el código, puedes confiar en el resultado. Utilice “Piensa más” para cualquier respuesta “recta o incorrecta”.No espere que falle primero. Use la herramienta correcta para el trabajo. Para una aritmética sencilla, utilice Excel. Está construido para ello y es infinitamente más fiable. ¿Por qué hacer que un motor de escritura creativa haga el trabajo de una calculadora? Sin embargo, para generar un flujo de trabajo analítico o limpiar los datos antes del cálculo, usar la IA con su ejecución de código en es una manera poderosa y verdaderamente útil de hacer el trabajo hecho. Todo esto se reduce a la transparencia.La IA no está defectuosa porque fracasó en las matemáticas; es defectuosa porque oculta el fracaso detrás de una máscara de confianza.Tiene una calculadora perfectamente buena en su bolsillo trasero, pero defectuosa para el método rápido e infiable sin decirle cuál está utilizando.Como profesionales de datos, eso simplemente no es una base sobre la que podemos construir.Mira, hasta que estos sistemas nos digan cómo están recibiendo una respuesta, la regla es simple: si no está en un bloque de código, no es una respuesta.

This story contains AI-generated text. The author has used AI either for research, to generate outlines, or write the text itself. 

This story contains new, firsthand information uncovered by the writer.

Data Portfolio

Read My Stories

Este audio es producido en el idioma original de la historia!

ChatGPT te ilumina con matemáticas

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Telegram: el puente de Crypto Island hacia el continente

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Una guía del arquitecto para crear una arquitectura de referencia para un lago de datos de IA/ML

Crecimiento de las criptomonedas: creación de perfiles de usuarios eficaces

Telegram: el puente de Crypto Island hacia el continente

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps