AI keeps crashing against the same walls O tal vez lo hacen, y simplemente disfrutan viendo a sus coches realizar rutinas de baile interpretativo a 60 millas por hora. Apparently, not even Tesla - with its 1.4 Trillion valuation and army of PhDs - knows about this math. De todos modos, aquí está la compilación de éxitos más grande que has visto en todo YouTube: The Tesla Self-Driving Blooper Reel: El coche golpea los frenos por una sombra porque aparentemente, las sombras son la amenaza número uno para la seguridad de la carretera en el siglo XXI.  - El freno fantasma El freno fantasma El freno fantasma  Takes curves at full speed, then goes “OH SHIT A CURVE!” and throws a mini-chicane out of nowhere, comedy for everyone, except your neck..  - The Surprise Party Turn El partido de la sorpresa vuelve El partido de la sorpresa vuelve Ajustes de dirección tan agudos que piensas que el coche está teniendo una crisis existencial. izquierda, derecha, izquierda, derecha.. no es conducir, es Abajo de la autopista.  - La captura de Shuffle vibración La captura de Shuffle La captura de Shuffle El "¿Por qué lo hizo?" - hace algo tan inexplicable que incluso los investigadores de IA que observan los registros simplemente se agitaban y mutilaban "el descenso gradual, probablemente".  - El “¿Por qué hizo eso?” El “¿Por qué hizo eso?” El “¿Por qué hizo eso?” “gradient descent, probably. “Descenso gradual, probablemente. ¿Curioso sobre el lado oculto de la IA?Descubre más en la página de José Crespo, PhD. El remedio que nadie usa Tesla podría resolver esto - fácilmente - usando derivados secundarios (productos de vectores hesianos, o HVP para los niños frescos). Así podría Google, Meta, OpenAI y casi todas las empresas con una "Estrategia de IA" PowerPoint. Pero no lo son. Ver la tabla de abajo - ¿observa un patrón? Esperar - Estos son problemas diferentes, ¿verdad? Son síntomas diferentes, pero la misma enfermedad. Todos están usando la matemática que puede responder "¿En qué dirección debería ir?" ¿Por qué camino tengo que ir but not “ ” How sharply is this about to change? Pero no” ” ¿Hasta qué punto está a punto de cambiar esto? ¿Hasta qué punto está a punto de cambiar esto? It’s like asking a GPS for directions but never checking if there’s a cliff ahead. La causa de la raíz: la de tu gran abuelo Cálculo Cálculo As said, in the case of Tesla what is happening is that their cars are reacting to what’s happening right now,  not anticipating what’s about to happen. not anticipating what’s about to happen. not anticipating what’s about to happen. Es como jugar al ajedrez sólo mirando la posición actual de la mesa - sin planificación, sin estrategia, sólo “Veo una pieza, movo una pieza”. Chess players call this “beginner level.” Tesla calls it “Full Self-Driving.” Los jugadores de ajedrez llaman a este “nivel de principiante” y Tesla lo llama “conducción totalmente autónoma”. Los ingenieros de Tesla, como todos los demás en Silicon Valley, todavía utilizan el cálculo limitado del siglo XIX - el equivalente matemático de intentar transmitir Netflix en una máquina de telégrafo. Mientras tanto, la solución ha estado sentada en la estantería durante 60 años: . dual/jet numbers En serio, ¿quién se molesta con esa “wacko, matemática exótica” que no enseñan en los programas de CS universitarios? 
 
 Y sin embargo, estas álgebras relacionadas con la hiperrealidad (duales y jets) hacen que los derivados secundarios (HVP) sean una operación computacionalmente trivial a través de la elegante composición de dos operadores de primer orden (JVP  VJP). And yet, these hyperreal-related algebras (duals and jets) make second derivatives (HVP) a computationally trivial operation through the elegant composition of two first-order operators (JVP ∘ VJP). Y sin embargo, estas álgebras relacionadas con la hiperrealidad (duales y jets) hacen que los derivados secundarios (HVP) sean una operación computacionalmente trivial a través de la elegante composición de dos operadores de primer orden (JVP  VJP). ¡Hold Up - ¿Me Dices... ¿Qué es computacionalmente intractable con el cálculo tradicional de h-limite tanto muchos cursos de Ivy-League tratan como el estándar de oro es trivial con números de doble / jet, que puede solucionar la mayoría de esos problemas relacionados con la curva maldita en nuestra AI actual? Cálculo del límite h Duales y Jets Computacionalmente intractable con el tradicional cálculo de límite h trivial con números dual/jet, Eso sí, exactamente eso. And it gets worse. La revolución hiperreal: tu profesor de cálculo nunca te dijo esto El cálculo que aprendiste en la universidad, el que te llevó a través de ecuaciones diferenciales, teoría de la optimización y cursos de aprendizaje automático Es sólo . isn’t wrong incomplete Es como aprender aritmética pero nunca ser enseñado que la multiplicación es simplemente una adición repetida. Here’s the specific problem: Traditional calculus (the h-limit approach): f'(x) = lim[h→0] (f(x+h) - f(x)) / h Esto define derivados como límites, lo que significa: Limitaciones 
 
 
 
 Matemáticamente riguroso Excelente para probar teoremas Pesadilla computacional para cualquier cosa más allá de los primeros derivados Computationally nightmarish for anything beyond first derivativ   : ¿Por qué ? Porque para calcular un segundo derivado, es necesario tomar un límite de un límite. ¿Por qué ? El límite de un límite f'(x+h) = lim[h'→0] (f(x+h+h') - f(x+h)) / h' pero Para ello se requiere la computación: f'(x+h) f'(x+h) = lim[h'→ 0] (f(x+h+h') - f(x+h)) / h' O bien terminas con Dos pasos de tamaño que interactúan inestablemente, o usted recurre a que son exquisitamente sensibles al tamaño de los pasos y al ruido. En ambos casos , por lo tanto, dos pases primarios derivativos ( ) de  into a true second derivative - you’re  En lugar de . So, summing up: nested limits (H y H) higher-order stencils lose derivative structure JVP → VJP don’t compose rebuilding guesses carrying derivatives (H y H) ¿Un tercer derivado?   Utilice estantes de orden superior. Three nested limits or o Niño K Layers Utilice estilos más amplios - , la truncacin depende del orden del estencil, y aún , por lo que JVP→VJP no se compondrá en HVP en una tubería de FD. For the k-th derivative: o noise blows up as O(h^-k) lose derivative structure So your self-driving car keeps crashing against sun-set lit walls. ¿Y para los aproximadamente 1.8 billones de parámetros de GPT-5? Computational impossibility. Los lectores de Sharp notarán: “Sí, si conocemos la función f, ¿no podemos simplemente calcular f’ y f’’ analíticamente? f f’ f” Great question! Here’s why that doesn’t work for neural networks: El problema: las redes neuronales son cajas negras Cuando escribe una función simple, puede calcular derivados analíticamente: # Caso simple - los derivados analíticos funcionan bien f(x) = x2 + 3x + 5 f'(x) = 2x + 3 # Fácil de derivar a mano f''(x) = 2 # Aún más fácil But a neural network with 1.8 trillion parameters looks like this: f(x) = σ(W175·σ(W174·σ(...σ(W2·σ(W1·x))...))) Dónde es: Cada ‘W’ es una matriz con miles de millones de parámetros. - Cada 'σ' es una función de activación no lineal - Hay cientos de capas (estilo GPT) - La composición se calcula dinámicamente durante el tiempo de ejecución No se puede escribir literalmente la forma analítica de f'(x) porque: La función cambia cada vez que actualiza los parámetros (cada paso de entrenamiento) 2. It's too large to express symbolically Contiene miles de millones de composiciones ## Por qué el cálculo tradicional falla aquí La fórmula del límite h: f''(x) = lim[h→0] (f'(x+h) - f'(x)) / h Requires you to evaluate f'(x+h)`, which means: f'(x+h) = lim[h'→0] (f(x+h+h') - f(x+h)) / h' And here’s the trap: 
 
 
 
 
      (the function is too complex) You can’t compute f' analytically Así que lo aproxima utilizando diferencias finitas (el límite h) Ahora necesitas f'(x+h) para la segunda derivada Así que aproximar que usando otra diferencia finita (con tamaño de paso h’) Aproximarlo utilizando diferencias finitas que Estás acercando una aproximación - . Result: errors compound catastrophically El lector escéptico podría seguir objetando: “Pero ¿no podemos usar algo como SymPy o Mathematica para calcular derivados simbólicamente?” En teoría, sí, en la práctica, nos enfrentamos a un problema similar. For a 1.8 trillion parameter model!: 
 
 
 
 
 La expresión simbólica para f' sería más grande que el modelo mismo. La computación tardaría años Storing it would require  more memory than exists Simplificarlo sería computacionalmente intractable Incluso para una pequeña red de 3 capas con 1000 neuronas por capa: Example: 
 
 
 
 Símbolo de la tierra en los millones de términos. Symbolic   jumps to the  . f'' billions of terms El crecimiento es combinatorio con profundidad y anchura; los trucos comunes de subexpresión no te ahorran lo suficiente. Olvídate de ello. For hundred of layers? ¿Claro ahora? Volvamos a traer nuestro gusto de Hyperreals para la computación de IA y veamos qué sucede cuando los hiperreales se enfrentan a escenarios similares: Qué hacen los números dual/jet de forma diferente: diferenciación automática Los números dobles no usan límites en absoluto. 
 
 
 
 Reglas de diferenciación en aritmética Evaluar f con números especiales que llevan información derivada Los derivados surgen a través de la aritmética que sigue reglas k-jets llevan las líneas truncadas de Taylor hasta el orden k (nilpotente ε^k+1=0), por lo que los derivados de orden superior En un paso. Jets generalize this. fall out 
 
 Aquí está la clave: Las reglas de cálculo (regla de potencia, regla de cadena, etc.) están integradas en las operaciones aritméticas del jet, no aplicadas simbólicamente! Las reglas de cálculo (regla de potencia, regla de cadena, etc.) son , no aplicado simbólicamente! ¡Así que obtendrás todas las ventajas de la solución analítica sin usarlas! Here’s the key: built into the jet arithmetic operations Las tres diferencias fundamentales Calculus with Symbolic Rule Application ( impractical at modern AI scale) Process: 
 
 
 
 
 Escribe la función f(x) = x3 Recuerda la regla de potencia: d/dx[xn] = n·xn−1 Aplicarlo simbólicamente: f’(x) = 3x2 Almacenar ambas fórmulas por separado Debe construir toda la expresión derivada - explosión de memoria exponencial. For neural networks: Cálculo de límite h: aproximación numérica Process: 
 
 
 
 Seleccione un tamaño de paso h (guesswork) Evaluate: (f(x+h) — f(x))/h Obtener una aproximación con error Problems: 
 
 
 
 No es exacto (siempre tiene un error de truncado o redondeo) No se puede componer limpio Disminuye en órdenes más altas Dual/Jet Numbers Algebra: Evaluación con Aritmética Aumentada (práctica en la escala de la IA moderna) Process: 
 
 
 
 Extender el sistema de números con ε donde ε2 = 0  using this arithmetic Evaluate f at (x + ε) Los derivados aparecen automáticamente como coeficientes ε Ampliar el sistema de números ε2 = 0  No expression built — just evaluate once with special numbers. Linear memory scaling. For neural networks: Cómo funciona realmente: La magia binomial con números dobles Veamos como un ejemplo de juguete cómo surge la regla del poder sin aplicar ningún cálculo: Example: compute derivative of f(x) = x³ Step 1: Evaluate at augmented input f(x + ε) = (x + ε)³
 (Combinatoria y no cálculo) Step 2: Expand using binomial theorem (x + ε)³ = x³ + 3x²ε + 3xε² + ε³
 (ε2 = 0 ) Step 3: Apply nilpotent algebra = x³ + 3x²ε + 0 + 0
= x³ + 3x²ε
 Step 4: Read the dual number x³ + 3x²ε = (x³) + ε·(3x²)
            ↑         ↑
         value   derivative
 The derivative f’(x) = 3x² emerged through: 
 
 
 
 Binomial expansion (algebra) Simplificación Nilpotente (ε2 = 0) Coefficient reading NOT through: 
 
 
 
 Aplicación de la regla del poder La fórmula H-Limit La diferenciación simbólica 
 
 You don’t apply the power rule —  . you let binomial expansion reveal it Usted no aplica la regla del poder - usted deja que la expansión binomial lo revele. Usted no aplica la regla del poder - . Deja que la expansión binomial lo revele Deja que la expansión binomial lo revele Por qué esta escala cuando la diferenciación simbólica no lo hace Symbolic Differentiation (Analytical): With AI working with neural networkd you must build expressions: 
 
 
 
 Layer 1 derivative: thousands terms Layer 2 derivative: millions terms (combinatorial explosion) Cientos de capas: el tamaño de la expresión crece exponencialmente en profundidad/ancho; incluso con la eliminación de subexpresión común se vuelve intractable para construir, almacenar o simplificar. Memory required: More than all atoms in the universe 👀 Evaluación de doble número: Never builds expressions: 
 
 
 
 Cada tensor instrumentado almacena valor + ε·derivativo Memoria: 2× modelo base (para k=1) O 3× modelo base con Jets (para k=2 con segundo derivado) For GPT-5 (1.8T parameters): 
 
 
 k=1:  ~14.4 TB → 18.0 TB (totally practical) k=2: ~14.4 TB → 21.6 TB (se adapta a ~34 nodos H100) ~14.4 TB → 18.0 TB (totally practical) ~14.4 TB → 21.6 TB (se adapta a ~34 nodos H100) BUT WAIT — YOU’RE FLYING FIRST CLASS IN AI MATH And there’s still more. La álgebra de los números dual/jet permite utilizar  (yup, if you want to do yourself a favor and write real AI that works,  ). composition of functions learn category theory now! Here’s your genius move: With composition of functions, we can get  second derivatives for the price of a first derivative!! Bueno. Sólo mediante el uso — de otro modo estructuralmente imposible con el cálculo basado en límites. How? composition of functions In Plain English: Why Composition Fails With h-Limits   porque : Traditional calculus can’t do JVP∘VJP = HVP 
 
 
 
 
 JVP a través de diferencias finitas le da un número (una aproximación de f’(x)·v) Este número no tiene una estructura derivada para diferenciar el VJP. Debes empezar de nuevo con una nueva aproximación de diferencia finita  — each one discards the structure the next one needs The operations don’t chain   porque : Dual numbers CAN do JVP∘VJP = HVP 
 
 
 
 
  gives you a dual number  JVP with duals (f(x), f'(x)·v)  in its ε-coefficient That dual number carries derivative structure  by treating it as input VJP can differentiate it directly La cadena de operaciones se desarrolla de forma natural: cada una preserva la estructura de las necesidades siguientes Dual numbers are algebraically closed under composition. La consecuencia práctica what the new paradigm can compute that the old one can’t: Por qué esta es la clave para corregir AI Current AI (k=1 only): 
 
 
 
 Puede responder: “¿En qué dirección debo ir?” No puede responder: “¿Cuán brusco está cambiando esta dirección?” Resultado: Reactivo, no anticipatorio With composition (JVP∘VJP): 
 
 
 
 Get second derivatives for 2× the cost of first derivatives Can anticipate curves, detect trajectory changes Result: one of many examples -  Tesla deja de frenar fantasmas; la IA deja de alucinar. Tesla deja de frenar fantasmas; la IA deja de alucinar. Tesla deja de frenar fantasmas; la IA deja de alucinar. With explicit k=3 jets: 
 
 
 
 Obtener derivados de terceros por 3× el coste Puede verificar la consistencia topológica (números de ventilación) Resultado: Salidas de IA certificadas matemáticamente Ventajas + Composición And why Hyperreal Algebra Matters: Without it (finite differences): 
 
 
 
 Each derivative order requires starting from scratch Los errores se acumulan con cada nido No hay estructura de composición para explotar With it (dual numbers): 
 
 
 
 Derivados de orden superior = Componer operaciones de orden inferior Exactamente (dentro del punto flotante) Automatic (regla de cadena construida en ε-aritmética) 
 
 
 
 
 Es por eso que: ✅ Escala de números dobles a cien capas (memoria lineal) ✅ Composition works (JVP∘VJP = HVP automatically) ✅ Ordenes más altas accesibles con los números de Jet ( k = 3, k = 4 factible) Es por eso que: Es por eso que: ✅ Escala de números dobles a cien capas (memoria lineal) ✅ Composition works (JVP∘VJP = HVP automatically) ✅ Ordenes más altas accesibles con los números de Jet ( k = 3, k = 4 factible) And why: 
 
 
 
 La diferenciación simbólica explota (expresión exponencial) Diferencias finitas no pueden componer (sin funcionalidad) Los métodos h-limit rompen en órdenes superiores (compuestos de error) Summing Up The entire AI industry is stuck at first-order optimization because: 
 
 
 
 Aprenden el cálculo como límites h (no escala) Implementan derivados como diferencias finitas (no componen) Nunca han aprendido acerca de la teoría de grupos y los números hiperreales (no en los currículos de CS) Meanwhile: 
 
 
 
 Los números dobles hacen que las derivadas sean objetos algebraicos (no aproximaciones) Los jets hacen órdenes más altas linealmente en costo (no exponencial) La composición funcional hace que los derivados secundarios sean baratos (JVPVJP) The math to fix Tesla’s phantom braking, OpenAI’s hallucinations, and Meta’s moderation chaos has been sitting in textbooks since 1960s. Esperando que alguien conecte los puntos entre: el teorema binomial (~400 años), la álgebra nilpotente (~150 años) y la composición funcional + hiperreales (~60 años). To the biggest unsolved problems in AI. Now you know what Silicon Valley doesn’t and see what they cannot. 
 
 NOTA: En este artículo, “cálculo tradicional” se refiere a la implementación de diferencia finita (h-limite) utilizada en la práctica - elige un h, aproximado, repetir - no derivados analíticos / simbólicos. NOTA: En este artículo, “cálculo tradicional” se refiere a la implementación de diferencia finita (h-limite) utilizada en la práctica - elige un h, aproximado, repetir - no derivados analíticos / simbólicos. ¿Curioso sobre el lado oculto de la IA?Descubre más en la página de José Crespo, PhD. 
 
 Imagen: Tesla colisionando a través de una pared, parcialmente iluminada por el atardecer - fácilmente evitable por un conductor humano. Imagen creada por el autor con difusión estable. Imagen creada por el autor con difusión estable. Featured image: Tesla crashing through a wall, partially lit by sunset - easily avoidable by a human driver.

This story contains new, firsthand information uncovered by the writer.

Todo el mundo está usando la álgebra equivocada en AI

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Telegram: el puente de Crypto Island hacia el continente

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Telegram: el puente de Crypto Island hacia el continente

La guía completa para una migración exitosa a la nube: estrategias y mejores prácticas

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps