Durante mucho tiempo, los especialistas en TI trabajaron sin preocupaciones. Desarrollaban, construían e implementaban software sin problemas. Luego llegó la era del aislamiento y, de repente, se aburrieron (por supuesto, esta es una versión lúdica de los hechos reales). Los especialistas en TI querían crear algo que pudiera manejar su trabajo mientras se quedaban en casa: responder preguntas rutinarias, generar avatares geniales y analizar grandes cantidades de datos en minutos. Soñaban con viajar a un lugar fantástico y, por eso, lo adivinaste, revolucionaron la IA.  La IA ya está funcionando, brindando respuestas y mejorando vidas. Por muy hábil que sea la ayuda, la IA solo es verdaderamente eficaz cuando se la utiliza en el contexto adecuado.  Estamos presenciando un rápido progreso en las aplicaciones de la IA, desde la generación de imágenes y vídeos hasta la previsión de los mercados bursátiles y el análisis de criptomonedas. Sin embargo,   o dar respuestas descaradamente falsas. Su comportamiento es muy parecido al de los gatos domésticos, ya sabes, de esos que se sientan en silencio y de repente te atacan.  la IA puede ofrecer información que no pedimos  A nuestros gatos, al igual que a la IA, les gusta ser impredecibles:  Les das la misma comida (o datos): a veces la comen, a veces la ignoran.  Los entrenas para responder, pero sólo ocasionalmente reaccionan cuando los llamas.  Cuanto más grande y salvaje sea el gato o más grande el modelo de IA, más difícil será predecir su comportamiento.  Por la mañana, los gatos pueden estar tranquilos; por la noche, se vuelven hiperactivos (como los datos dinámicos).  Los gatos pueden ser amigables (determinista) pero pueden arañarte sin previo aviso (estocástico).  Quizás te preguntes qué significan determinismo y estocasticidad: averigüémoslo.   Determinismo y estocasticidad  Un sistema determinista siempre produce el mismo resultado con la misma entrada (si eres   , piensa en   . Un ejemplo real sería el de tu gato, que come la misma cantidad de comida que le pones en su plato cada vez (esto es   . Pero cuando el gato huele y solo come la mitad, ya no es determinista.  ingeniero de DevOps la idempotencia) determinismo)  Un proceso   incluye un elemento de aleatoriedad: con la misma entrada, el resultado puede variar. Por ejemplo, un modelo de aprendizaje automático suele utilizar algoritmos estocásticos, como el Descenso de gradiente     , que entrena el modelo seleccionando fragmentos aleatorios de datos en lugar de todo el conjunto de datos. estocástico estocástico (SGD)  Estas definiciones no explican por completo por qué nuestras IA a veces alucinan y se comportan de manera caótica. Existen otros factores que contribuyen, entre ellos los siguientes:  Determinismo  Estocasticidad  Errores de redondeo y aritmética de punto flotante  Cálculos multiproceso y paralelos  Actualización continua de datos  El caos y el “efecto mariposa”  Si miramos un poco más de cerca, veremos otros mecanismos que influyen en el comportamiento impredecible de los modelos de IA.   Una mirada a las redes neuronales  Probablemente sepas que las   se basan en varios algoritmos de redes neuronales. Estos son algunos tipos de redes neuronales: IA que todos utilizamos    una arquitectura clásica donde cada neurona se conecta a todas las neuronas de la siguiente capa. Redes neuronales completamente conectadas (FCNN):    estas redes utilizan convoluciones o filtros que resaltan características de la imagen, como bordes, texturas y formas. Redes neuronales convolucionales (CNN):    ): estas redes tienen bucles de retroalimentación que les permiten recordar pasos anteriores (es decir, recuerdan secuencias). Redes neuronales recurrentes (RNN    una versión mejorada de las RNN con mecanismos para olvidar y recordar selectivamente datos importantes. Memoria a Largo Plazo-Corto Plazo (LSTM):    : la clase más potente para el procesamiento de texto. Utilizan la atención de múltiples cabezas, lo que les permite considerar todo el contexto simultáneamente. Transformadores    están formadas por dos redes, una de las cuales genera datos y la otra evalúa su calidad. Su competencia conduce a mejores resultados. Redes generativas antagónicas (GAN):    : Redes diseñadas para comprimir (codificar) información y luego reconstruirla (decodificarla). Autocodificadores    trabajan con gráficos (nodos y aristas) en lugar de datos regulares. Redes neuronales gráficas (GNN):  Necesitamos todo ese contexto para entender por qué el modelo más común, ChatGPT, a menudo alucina.   Cómo se producen las alucinaciones de la IA  ChatGPT se ejecuta en la arquitectura   , presentada por primera vez en   Este es el mismo mecanismo que revolucionó el procesamiento de texto. Los Transformers operan con el mecanismo de autoatención, que les permite considerar el contexto global en lugar de solo las palabras más cercanas como lo hacen las redes neuronales recurrentes más antiguas (LSTM y GRU). El modelo pertenece a la serie GPT (Transformador preentrenado generativo), lo que significa: Transformer el artículo de 2017, “Attention Is All You Need”.    inicialmente se entrenó con enormes cantidades de texto (libros, artículos, sitios web y código). Preentrenado:    Su tarea es generar texto, no sólo clasificar o extraer hechos. Generativo:  Las respuestas de ChatGPT son el resultado de un proceso estocástico y no de una regla rígida. No memoriza ni reproduce textos, sino que genera respuestas utilizando un modelo probabilístico.   La predicción de palabras como proceso probabilístico  Cuando ChatGPT responde, no elige la única palabra correcta, sino que calcula una distribución de probabilidad.    donde: P(wi|w1, w2, ..., wi-1),  “wi” — la siguiente palabra en la oración  w1, w2, ..., wi-1 — las palabras anteriores  P(wi|w1, ..., wi-1) — la probabilidad de que “wi” sea la siguiente palabra  Por ejemplo, si preguntas "¿Qué día es hoy?", ChatGPT podría tener diferentes probabilidades:  “Lunes” — P=0,7  “Miércoles” — P=0,2  “42” — P=0,0001  Generalmente elegirá la palabra con mayor probabilidad, pero debido a la temperatura de generación (un parámetro que controla la aleatoriedad), a veces puede elegir una opción menos probable según el contexto.   Influencia del contexto y olvido de información  ChatGPT funciona con una ventana de contexto limitada, lo que significa que solo "recuerda" los últimos tokens NN. Para GPT-4, la ventana de contexto tiene alrededor de 128k tokens (alrededor de 300 páginas de texto). Si hay información importante fuera de este contexto, puede:  Olvidar detalles (efecto de recorte de contexto)  Información de maquillaje (proceso estocástico)  Sin embargo, ChatGPT puede corregir su respuesta con frecuencia después de que le preguntes si está seguro. Sin embargo, ChatGPT puede corregir su respuesta con frecuencia si le preguntas si está seguro.   La IA a veces se corrige sola, pero ¿por qué?  Cuando le preguntas a ChatGPT "¿Estás seguro?", vuelve a analizar su respuesta utilizando un nuevo contexto en el que hay dudas. Esto da como resultado:  Recálculo de probabilidades de respuesta.  Elegir una opción más plausible si existe.  Este proceso puede explicarse mediante la probabilidad bayesiana.    donde: P(A|B) = P(B|A)P(A) / P(B),  P(A|B) — la probabilidad de que la respuesta A sea correcta, considerando la pregunta de seguimiento B.  P(B|A) — la probabilidad de que usted hubiera preguntado si ChatGPT inicialmente tenía razón.  P(A) — la probabilidad inicial de la respuesta de ChatGPT.  P(B) — la probabilidad general de que usted pregunte.  ¿Demasiada información para ti? ¿Sobrecalentamiento cerebral? Imagina que las IA también se ven abrumadas por grandes cantidades de información.   Errores debidos a sobreajuste y datos ruidosos  En el entrenamiento de ChatGPT fluyen cantidades masivas de datos de texto, incluidos ruido o información contradictoria, como:  Algunas fuentes dicen que la Tierra es redonda, mientras que otras afirman que es plana.  La IA no siempre puede determinar qué información es verdadera cuando aparece con distintas probabilidades.   Estos son ejemplos de alucinaciones de modelos, que ocurren porque los pesos de ChatGPT se entrenan en asociaciones probabilísticas de palabras en lugar de lógica estricta.   El resultado final  Esto es lo que podemos aprender de esto. ChatGPT alucina porque:  Predice probabilísticamente, no determinísticamente.  Tiene una memoria limitada (ventana de contexto).  Recalcula las probabilidades cuando se le pregunta.  Tiene datos de entrenamiento que incluyen ruido y contradicciones.  Es así de sencillo. Espero que no te hayas cansado. Si es así, es una buena señal porque significa que estás pensando de forma crítica, que es exactamente lo que deberíamos hacer cuando trabajamos con IA.

This story will praise and/or roast a product, company, service, game, or anything else people like to review on the Internet.

The is an opinion piece based on the author’s POV and does not necessarily reflect the views of HackerNoon.

El no determinismo de la IA, las alucinaciones y... ¿los gatos?

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Una breve introducción a la teoría del cerebro de Boltzmann

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Cómo mejorar su flujo de trabajo 10 veces: 17 aplicaciones esenciales

Liberando el poder de la IA. Una revisión sistemática de técnicas de vanguardia: resumen e introducción

Una breve introducción a la teoría del cerebro de Boltzmann

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps