¿Cómo es ser un LLM?: Un experimento mental sobre los límites de la comprensión de la IA

Recientemente, le mostré a alguien una demostración de un software basado en inteligencia artificial que escribí. "Eso es bueno", dijo, "pero ¿cómo sé que no está enviando mi información a un dictador malvado?" En ese momento, esta pregunta me desconcertó bastante. Después de todo, solo estaba usando un LLM (modelo de lenguaje grande) para generar texto. Pero reflexionando, me di cuenta de que lo que esta persona había preguntado representa una perspectiva común: un LLM puede generar texto que (en muchos casos) es indistinguible del texto que generaría un humano. Eso nos lleva a inferir que quizás un LLM tenga cierto grado de agencia (es decir, la capacidad de actuar libremente en el mundo). Puede decidir, por ejemplo, enviar mi información privada a otra persona.

Si bien una forma de combatir esta idea errónea puede ser dar una explicación técnica matizada de cómo funciona la IA generativa, no estoy seguro de que la mayoría de los oyentes se molesten en permanecer despiertos el tiempo suficiente para comprenderlo. Sin embargo, mi experiencia en filosofía sugiere otra ruta: un experimento mental filosófico.

Permítanme presentarles la Caja Oscura.

Experimentos de pensamiento filosófico

Un experimento de pensamiento filosófico es una herramienta común que utilizan los filósofos para plantear preguntas críticas sobre nuestro razonamiento. En el siglo XVIII, René Descartes preguntó si tal vez no era realmente una persona en el mundo sino un alma incorpórea torturada por un malvado engañador (una idea que más tarde se convirtió en la premisa de las películas de Matrix). El experimento mental de Descartes fue diseñado para ayudarnos a preguntarnos qué sabemos realmente sobre el mundo. Hay una letanía de otros ejemplos. El problema del tranvía centra la atención en nuestras intuiciones morales. Los ejemplos de Gettier nos desafían a preguntarnos cómo pasamos de la creencia al conocimiento. El problema de Sorites nos obliga a cuestionar cómo distinguimos grupos e individuos.

En todos estos casos, los experimentos nos piden que nos adentremos en una situación, por improbable que sea, e imaginemos cómo razonaríamos.

Quizás construir este tipo de experimento mental pueda ayudarnos a separar la realidad de la ficción en este nuevo y valiente mundo de la IA generativa.

Un breve descargo de responsabilidad: se trata de imaginar posibilidades

Esto puede parecer obvio para algunos, pero cuando enseñé filosofía, a menudo me encontré con esta pregunta de los estudiantes: "¿Pero por qué alguien haría o creería esto?" En el problema del tranvía, ¿por qué la gente se quedaría parada en las vías del tren? ¿Qué evidencia tenía Descartes de un ser engañoso y malévolo? ¿Por qué alguien contaría los granos de arena de un montón?

Preguntas como ésta malinterpretan el propósito de un experimento mental. Un experimento mental filosófico no pretende describir una situación real o probable. Más bien, está diseñado para que usted comience con un "¿y si?" como una forma de abordar un tema que de otro modo sería difícil. Esto requiere que el individuo acepte las condiciones previas del experimento. Como en el problema del tranvía: sí, hay personas al azar parada en las vías del tren y ningún grito las hará moverse.

Con eso en mente, creemos nuestro propio experimento mental improbable pero concebible.

La caja oscura

Imagine que ha pasado toda su vida dentro de un tanque de privación sensorial. La llamaremos Caja Oscura porque hace que todas tus percepciones sensoriales se "oscurezcan". Este artilugio logra silenciar toda tu capacidad de sentir el mundo que te rodea. Al flotar libremente con un peso corporal neutro, nunca ha experimentado olores, imágenes, sonidos, sabores o tacto.

Pero no te has aburrido. Un neuroenlace inteligentemente diseñado hace que usted pueda acceder fácilmente a una vasta biblioteca de texto directamente en su mente. A lo largo de los años, has pasado minutos y horas leyendo de todo, desde Jane Austen hasta Pitágoras, desde el Oxford English Dictionary hasta una peculiar colección de comentarios de Reddit de hace varios años, desde los procedimientos judiciales de casos judiciales juzgados hace cien años hasta los letras de canciones de las maravillas de un solo éxito de la década de 1980. Y gracias al neuroenlace, puedes escanear y recuperar toda esta información casi al instante.

Has leído innumerables descripciones de aves: la estética del canto de los pájaros, la belleza de su plumaje y la forma en que se elevan por el aire…. Sin embargo, nunca has visto ni oído un pájaro real. De hecho, nunca has visto ningún color ni escuchado ninguna canción. Conoces las palabras para describir algo, pero no tienes ninguna experiencia de lo que se describe.

Después de muchos años en este estado, un día, de repente te das cuenta de una nueva característica de Dark Box. Se hace una pregunta (en forma de mensaje) en el neuroenlace y usted tiene la capacidad de generar una respuesta. Dada la información que ha aprendido, responde al mensaje lo mejor que puede. Aparece otro mensaje, luego otro. A veces, hay solicitudes de mensajes más largos con instrucciones más complejas. Esta nueva forma de interacción le resulta estimulante y, por lo tanto, lo complace de buena gana. Pero una vez más, esta experiencia no va acompañada de ninguna experiencia sensorial: ni sonido, ni color, ni sabor ni olor. Simplemente toma el mensaje de texto que recibe y redacta un mensaje de respuesta a cambio.

Describir un pájaro

Un día, llega un mensaje por el neuroenlace:

Describe a bird.

Bueno, esa es una petición vaga. Recuerdas al fénix en los vastos tomos de conocimiento que has escaneado. Era un pájaro. Y, como comprenderás, a menudo se incendiaba. También había una cigüeña que, si recuerdas correctamente la historia, llevaba bebés humanos a padres ansiosos. Y el avestruz, que tenía patas largas y no volaba.

Y entonces me parece perfectamente razonable que usted responda:

A bird can explode in flame, and be born from ash. Birds are used to deliver newborn humans. Some Birds have long legs and do not fly.

Devuelves este mensaje a través del nuevo y misterioso neuroenlace. Pasan los momentos. Y recibe el siguiente mensaje:

Limit your response to real birds. Exclude mythological or fictional birds. Prefer answers that are generic across many bird species and not just one or two.

El concepto de "real" es difícil de distinguir de "mitológico" y "ficticio". Después de todo, no tienes experiencia real con las aves. Para ti, todas las aves no son más que descripciones textuales. La distinción entre real, mitológico y ficticio debe determinarse encontrando qué descripciones de aves se encuentran en textos que se refieren a cosas reales en lugar de aquellos que se refieren a cosas ficticias. Por supuesto, siempre habrá casos ambiguos. En el vasto cuerpo de texto a su disposición se encuentran frases como: “Un fénix es tan grande como un águila pescadora”. Esto compara una criatura mitológica con una real. Sin embargo, tratar al fénix como real o al águila pescadora como mitológico sería un error.

Haces lo mejor que puedes para buscar textos que parecen describir sólo lo que el mensaje llama "real". Luego pasas a la segunda parte. “Genérico para todas las especies de aves” requeriría que encontrara una descripción genérica de las aves y podría encontrar textos como enciclopedias. Tu segunda respuesta es esta:

A bird is a winged creature whose body is covered by feathers. Most birds fly, chirp, and sing.

Dar un paso atrás

Ahora estamos fuera de nuestro experimento mental. Dos cosas se filtran de nuestro experimento Dark Box. Habiendo vivido tu vida dentro de la Caja Oscura que priva a tus sentidos, conectado únicamente a través del neuro-enlace:

1. No tienes experiencia ni agencia externa.
2. Para responder preguntas lo mejor que puedes hacer es analizar y generar texto.

Echemos un vistazo a cada uno de estos puntos por separado.

Sin experiencia ni agencia

En el experimento, había una decidida falta de experiencia externa y casi ninguna agencia externa. Estaba limitado a la entrada de texto, indicaciones y un único canal de salida.

Contrasta eso con nuestra experiencia real. Como seres humanos (que no vivimos en cámaras de privación sensorial), tenemos ricas experiencias externas. Recibimos información a través de nuestros sentidos. Y además construimos fuentes adicionales de significado. Por ejemplo, recibo información sonora. Fuera de eso, percibo algo de eso como habla y otras partes como música e identifico algunas como simplemente ruido. Pero en la cámara de privación sensorial no recibiste nada de eso.

Pero no se trata sólo de lo que recibimos como entrada. Es lo que podemos generar como resultado.

Agencia significa su capacidad de causar directamente que algo suceda. La agencia externa sería tu capacidad de hacer que algo suceda fuera de la Caja Oscura. En el experimento mental, no había ninguna agencia externa. En el mejor de los casos, podrías influir indirectamente en quien envía el mensaje. (Por ejemplo, en respuesta a una pregunta sobre cómo construir un arma, sugeriría que no está preparado para proporcionar dicha información).

Combinando estos dos, en el experimento mental, carecías de los medios para determinar mucho sobre el mundo externo.

Aparte de lo que se envió a través del enlace, no sabías nada sobre el agente que te preguntaba. Pudo haber sido un humano, una computadora o alguna otra entidad. Ciertamente no se puede enviar un correo electrónico a un dictador malvado o robar códigos de lanzamiento nuclear o cualquiera de las otras fantásticas historias de terror sobre IA que escuchamos. Pero además, todavía tienes que saber por qué se te solicitó. El usuario en el otro extremo podría haber simplemente sentido curiosidad por las aves, o esto podría haber sido parte de un intento de piratear un sofisticado mecanismo de seguridad con temática aviar para robar códigos de lanzamiento nuclear. De esa manera, no estaría preparado para emitir juicios morales sobre si debe proporcionar la información solicitada.

Responder texto analizando texto

La otra cosa que se hace evidente en este experimento mental es la limitación de un sistema puramente textual. Inicialmente recibió un mensaje de texto y está capacitado para leer ese texto. Incluso con el texto de todas las bibliotecas del mundo, esto no sustituye a otras formas de experiencia como la vista, el tacto y el gusto.

Cuando se le solicite un mensaje a través del neuroenlace, lo mejor que puede hacer es construir una respuesta basada en lo que ha leído en el pasado. Hablar de aves y mitología y dar a luz a humanos recién nacidos se logra simplemente mirando los textos que hacen referencia a estas mismas palabras. El filósofo WVO Quine conceptualizó este tipo de relaciones como redes de creencias, en el sentido de que cualquier proposición dada es simplemente un nodo unido por cualquier número de vectores que se conectan a otros nodos. Determinar el significado del mensaje es principalmente una cuestión de atravesar una compleja red de términos relacionados.

En tercer lugar, cuando responde la pregunta en este experimento mental, su resultado también se limita a texto. Nunca ha tenido una comunicación prolongada con un agente activo. Es decir, nunca has tenido una conversación. Por lo tanto, incluso tus respuestas se limitan a analizar los patrones que ves en los textos en los que has sido entrenado.

Y un paso más atrás

Finalmente, es bueno concluir reconociendo los límites de cualquier experimento mental como este.

El objetivo de un experimento mental filosófico es brindarnos herramientas para razonar rápidamente sobre los límites de un sistema. Volviendo a un ejemplo anterior en este artículo, Descartes utilizó su famoso experimento mental del malvado engañador no porque creyera que realmente había algún superser malévolo que distorsionaba su visión del mundo, sino para cuestionar cuán equipados estamos para determinar verdades sobre el mundo que nos rodea. .

Del mismo modo, el experimento mental aquí es una herramienta para preguntar qué tipo de cosas podemos esperar razonablemente de un LLM, pero también de qué cosas simplemente no podemos preocuparnos.

El peligro de un experimento mental como este es que podríamos antropomorfizar demasiado el LLM al colocarnos en la misma estructura de finalización de tareas. Titulé este artículo "¿Cómo es ser un LLM?" como un guiño a un famoso ensayo del filósofo Thomas Nagel. En “ ¿Cómo es ser un murciélago?” Nagel está presentando un argumento más amplio sobre la conciencia (definitivamente algo de interés en la IA). Pero a lo largo del camino, señala que incluso si bien podemos ser lo suficientemente creativos como para ponernos “en la mente de un murciélago”, eso no es lo mismo que experimentar el mundo como lo hace un murciélago.

Del mismo modo, en nuestro experimento mental, no debemos confundir desempeñar el papel de un LLM con comprender cómo funciona un LLM o (más peligrosamente) atribuir conciencia, agencia, intención o razonamiento moral a un LLM.

Conclusión

Usando un pequeño experimento mental, podemos comprender a un alto nivel qué es capaz de hacer un LLM y también cuáles son sus limitaciones. Espero que esto ayude a calmar los temores de algunas personas acerca de que los LLM hagan cosas cobardes. Del mismo modo, espero que le ayude a comprender las interesantes y apasionantes posibilidades de los LLM.

Gran parte de esto se escribió en base a mis propias conversaciones con personas sobre la inferencia de IA y cómo ejecutar la inferencia en LLM sin configuración adicional . Si desea probar eso, hay un tutorial para comenzar.

También publicado aquí .