10,830 lecturas

Asimov, sin saberlo, fue pionero en la ingeniería rápida moderna

por Login Jones15m2023/05/14

Demasiado Largo; Para Leer

La ingeniería de avisos es un proceso en el que los avisos de entrada a un modelo de lenguaje grande de IA se elaboran y refinan para generar resultados precisos, relevantes y útiles. Implica el diseño y el refinamiento deliberados y sistemáticos de indicaciones y estructuras de datos subyacentes para manipular los sistemas de IA para lograr resultados específicos y deseados. Con la aparición de la IA, en particular los modelos de procesamiento del lenguaje natural, la ingeniería rápida ha cobrado importancia.

featured image - Asimov, sin saberlo, fue pionero en la ingeniería rápida moderna

Isaac Asimov , un visionario en el ámbito de la ciencia ficción , sin saberlo, fue pionero en la ingeniería rápida moderna a través de su estimulante exploración de las interacciones entre humanos y robots en su innovadora Serie Robot.

Ingeniería rápida: antecedentes e historia

El nuevo lenguaje de programación más popular es el inglés - Andrej Karpathy (@karpathy)

La ingeniería de avisos es un proceso en el que los avisos de entrada a un modelo de lenguaje grande de IA se elaboran y refinan para generar resultados precisos, relevantes y útiles. Implica el diseño y el refinamiento deliberados y sistemáticos de indicaciones y estructuras de datos subyacentes para manipular los sistemas de IA para lograr resultados específicos y deseados. Con el surgimiento de la IA, en particular los modelos de procesamiento del lenguaje natural, la ingeniería rápida ha cobrado importancia como medio para mejorar la eficacia y la experiencia del usuario de los sistemas de IA.

La ingeniería rápida combina elementos de lógica, codificación, arte y lenguaje .

Términos de ingeniería rápidos

Claridad del aviso : el aviso debe ser claro e inequívoco, sin dejar lugar a malas interpretaciones por parte de la IA.

Precisión rápida : diseñado para apuntar a la información específica o salida deseada de la IA.

Contexto de solicitud : el contexto suficiente dentro de la solicitud, como información de antecedentes o ejemplos, es esencial para guiar al sistema de IA hacia la producción del resultado deseado.

Adaptabilidad rápida : produzca resultados esperados y precisos en modelos de IA entrenados de manera diferente.

Cadena de indicaciones de pensamiento : la indicación incluye una cadena de razonamiento que ilumina el proceso de razonamiento requerido para resolver el problema.

Menos a más indicaciones : dividir un problema en subproblemas y luego resolver cada uno para llevar a la IA en una dirección determinada a la solución final.

Indicación de roles : especializa el contexto de la IA en un rol especializado particular que lo ayudará a obtener resultados más precisos.

Indicación de uno, cero o pocos disparos : proporciona cero, uno o algunos ejemplos de preguntas/respuestas para ayudar a establecer el contexto para la IA y restringirla a lo largo de una ruta específica y obtener resultados más precisos.

Serie de robots de Asimov

El universo Robot de Asimov es un mundo vasto e intrincado que abarca numerosas novelas, cuentos y series interconectadas. Ambientado en un futuro donde los humanos han colonizado varios planetas a lo largo de la galaxia, este universo se caracteriza por una clara división entre la Tierra y los mundos espaciales.

La Tierra , superpoblada y tecnológicamente limitada, está habitada por humanos que viven en vastas ciudades abovedadas conocidas como cuevas de acero , donde los robots son generalmente temidos y desconfiados.

Los mundos espaciales , por el contrario, son sociedades tecnológicamente avanzadas con una población escasa, donde los humanos y los robots coexisten en armonía, y los robots se han convertido en una parte esencial de la vida cotidiana. Los mundos espaciales mantienen una actitud condescendiente hacia la Tierra y sus habitantes, viéndolos como atrasados e inferiores.

Las Tres Leyes de la Robótica es un concepto central del universo Robot, que sirven como principios rectores para el comportamiento de los robots.

Estas leyes, ideadas por Asimov, son las siguientes:

Un robot no puede dañar a un ser humano o, por inacción, permitir que un ser humano sufra daño;
Un robot debe obedecer las órdenes que le dan los seres humanos, excepto cuando dichas órdenes entren en conflicto con la Primera Ley; y
Un robot debe proteger su propia existencia siempre que dicha protección no entre en conflicto con la Primera o la Segunda Ley.

A lo largo de las historias de Asimov, las interacciones entre humanos y robots, así como las implicaciones éticas y filosóficas de las Tres Leyes, forman la columna vertebral del universo Robot, ofreciendo a los lectores una exploración única de los desafíos y las posibles consecuencias de un futuro donde la humanidad y los avances la inteligencia artificial coexiste.

Asimov: El ingeniero rápido inconsciente

La serie Robot y los cuentos de Isaac Asimov, a partir de la década de 1950, ponen un fuerte énfasis en la importancia de dar órdenes precisas a los robots, lo que puede verse como un precursor de la ingeniería rápida moderna. Los trabajos de Asimov demostraron una comprensión inherente de la necesidad de instrucciones cuidadosamente elaboradas, particularmente cuando se trata de sistemas complejos de IA implícitos en sus robots que operan bajo las Tres Leyes de la Robótica.

Ejemplos de ingeniería rápida de las obras de Asimov

Mirror Image (cuento 1972)

Durante un viaje interestelar casual de un grupo de espaciales, ocurre un crimen en la nave espacial. Las dos partes son un matemático joven y brillante (Sabbat) y un matemático mayor y establecido (Humboldt), ambos acusan al otro de robar una idea matemática nueva y brillante del otro. Los únicos testigos son cada sirviente robot matemático. Se le pide al detective terrestre Elijah Baley que ayude a investigar y resolver el crimen lo antes posible antes de que estalle en un escándalo mucho mayor, sin embargo, todo lo que puede hacer es entrevistar a los robots. Baley ve que cada parte está presentando la imagen especular de la historia de la otra parte, y tiene que averiguar qué parte está mintiendo.

El detective Baley interroga al robot de los matemáticos más jóvenes (Sabbats) y lo guía a través de los pasos lógicos que muestran que el matemático mayor sufriría un daño mayor a través del testimonio del robot y logra que el robot cambie su testimonio.

Aquí hay un extracto del interrogatorio entre el detective Elijah Baley y el robot servidor R. Idda, con ligeros cambios por brevedad:

Baley : Eres el robot personal de Gennao Sabbat, ¿verdad?
Robot : Yo soy señor.
Baley : ¿Por cuánto tiempo?
Robot : Durante veintidós años, señor.
Baley : ¿Y la reputación de tu amo es valiosa para ti?
robot : si señor
Baley : ¿Consideraría importante proteger esa reputación?
robot : si señor
Baley : ¿Tan importante para proteger su reputación como su vida física?
Robot : No, señor.
Baley : ¿Tan importante proteger su reputación como la reputación de otro?
Robot : Esos casos deben decidirse según sus méritos individuales, señor. No hay manera de establecer una regla general.
Baley : Si decidieras que la reputación de tu maestro es más importante que la de otro, digamos, la de Alfred Barr Humboldt, ¿mentirías para proteger la reputación de tu maestro?
Robot : Lo haría, señor.
Baley : ¿Mintió en su testimonio acerca de su maestro en su controversia con el Dr. Humboldt?
Robot : No, señor.
Baley : Pero si estuvieras mintiendo, negarías que estuvieras mintiendo para proteger esa mentira, ¿no?
robot : si señor
Baley : Bueno, entonces, consideremos esto. Tu maestro, Gennao Sabbat, es un joven de gran reputación en matemáticas, pero es un joven. Si en esta controversia con el Dr. Humboldt hubiera sucumbido a la tentación y hubiera actuado sin ética, sufriría cierto eclipse de reputación, pero es joven y tendría tiempo suficiente para recuperarse. Tendría muchos triunfos intelectuales por delante y los hombres eventualmente considerarían este intento de plagio como el error de un joven de sangre caliente, deficiente en el juicio. Sería algo que se compensaría en el futuro. Si, por el contrario, fuera el doctor Humboldt quien sucumbiera a la tentación, el asunto sería mucho más grave. Es un anciano cuyas grandes hazañas se han extendido a lo largo de los siglos. Su reputación ha sido intachable hasta ahora. Todo eso, sin embargo, sería olvidado a la luz de este crimen de sus últimos años, y no tendría oportunidad de compensarlo en el tiempo relativamente corto que le quedaba. Poco más podría lograr. Habría muchos más años de trabajo arruinados en el caso de Humboldt que en el de su maestro y muchas menos oportunidades de recuperar su posición. ¿Ves, verdad, que Humboldt se enfrenta a la peor situación y merece la mayor consideración?
Robot : Mi evidencia era una mentira. fue el doctor Humboldt
Baley : Tiene instrucciones de no decirle nada a nadie sobre esto hasta que el capitán del barco le dé permiso.

Cuando Baley interroga al anciano matemático Humboldt, el robot sirviente R. Preston, el interrogatorio transcurre exactamente igual excepto por la parte final, que dice así:

Baley : Pero si estuvieras mintiendo, negarías que estuvieras mintiendo, para proteger esa mentira, ¿no?
robot : si señor
Baley : Bueno, entonces, consideremos esto. Su maestro, Alfred Barr Humboldt, es un anciano de gran reputación en matemáticas, pero es un anciano. Si, en esta controversia con el Dr. Sabbat, hubiera sucumbido a la tentación y actuado sin ética, sufriría un cierto eclipse de reputación, pero su gran edad y sus siglos de logros se opondrían y saldrían ganando. Los hombres verían este intento de plagio como el error de un anciano quizás enfermo, que ya no tiene un juicio seguro. Si, por el contrario, hubiera sido el Dr. Sabbat quien hubiera sucumbido a la tentación, el asunto sería mucho más grave. Es un hombre joven, con una reputación mucho menos segura. Normalmente tendría siglos por delante en los que podría acumular conocimientos y lograr grandes cosas. Esto estará cerrado para él, ahora, oscurecido por un error de su juventud. Tiene un futuro mucho más largo que perder que el que tiene tu amo. ¿Ves, verdad, que Sabbat se enfrenta a la peor situación y merece la mayor consideración?
Robot : Mi evidencia fue como yo-
Baley : Continúe, R. Preston, por favor.
Daneel : Me temo, amigo Elijah, que R. Preston está en estasis [se ha estrellado]. Está fuera de servicio.

En el cuento, el detective Baley usa esta diferencia en las respuestas de los robots para tender una trampa y engañar al ladrón real para que confiese.

Aquí podemos ver a Asimov usar de Menos a más avisos desplegados por Baley mientras interroga a los robots. Para ambos robots, quiere averiguar si hay alguna asimetría en su experiencia (es decir, cuál está mintiendo) y su enfoque es guiarlos por un camino de razonamiento en el que finalmente establece una pregunta moral compleja al final.

En última instancia, en la historia, Baley usa una combinación de esta asimetría de las respuestas del robot y su intuición de la naturaleza humana para resolver el caso, pero es muy interesante ver a Asimov predecir los matices necesarios para interactuar con la IA a nivel humano y, de hecho, basa esta teoría seminal. series de ciencia ficción trabajan sobre ese hecho.

Correr (1942)

Enesta historia corta , el robot inusualmente caro Speedy es enviado en una misión para recuperar un elemento en un planeta peligroso. Debido a que este Speedy es costoso, está programado para seguir la tercera ley (un robot debe proteger su propia existencia siempre que dicha protección no entre en conflicto con la primera o la segunda ley) con más fuerza de lo normal.

Powell y Donovan, los protagonistas humanos, asignan a Speedy la tarea de recuperar selenio de una reserva de selenio. Los humanos necesitan esto para recargar sus celdas de energía, que se están agotando, y protegerse del calor. Sin embargo, sin darse cuenta crean un conflicto entre la Segunda y la Tercera Ley de la Robótica al darle a Speedy un comando impreciso que no enfatiza la importancia de la misión. Le dicen a Speedy: "Sal y tómalo [el selenio]". Debido al peligro que representa la reserva de selenio y la propensión de Speedy a seguir la 3.ª ley con más fuerza de lo normal, Speedy se encuentra atrapado en un bucle, incapaz de priorizar sus órdenes (Segunda Ley) sobre su propia conservación (Tercera Ley).

El problema finalmente se resuelve cuando Powell se pone en peligro, lo que invoca la Primera Ley y obliga a Speedy a priorizar salvarlo. Powell y Donovan le dan a Speedy una orden imprecisa al principio:

Luego, dijo: "Escucha, Mike, ¿qué le dijiste a Speedy cuando lo enviaste tras el selenio?"

Donovan se quedó desconcertado. "Bueno, maldita sea, no lo sé. Solo le dije que lo consiguiera".

"Sí, lo sé, pero ¿cómo? Intenta recordar las palabras exactas".
"Dije... eh... dije: 'Speedy, necesitamos un poco de selenio. Puedes conseguirlo en tal y tal lugar. Ve a buscarlo', eso es todo. ¿Qué más querías que dijera? "

La clave aquí es que este comando dado por Donovan le acabo de decir que lo consiga era impreciso porque no contenía urgencia. En el universo de Asimovs Robots, el tono y la entrega de un comando son solo variables adicionales del mensaje en sí. Entonces, debido a que el tono no era particularmente urgente en el comando, provocó un conflicto entre las Tres Leyes.

Debido a que Speedy está atascado en un bucle y no puede aceptar otro aviso que haya sido iterado y reformulado con más precisión, la única forma de obtener la acción correcta era cambiar otras variables en el universo para que el aviso impreciso inicial condujera al resultado deseado. . Powell finalmente resuelve el problema poniéndose en peligro, lo que obliga a Speedy a priorizar salvarlo (la primera ley tuvo prioridad) y lo sacó de su punto muerto entre los mandatos de la segunda y la tercera ley.

Esta historia muestra cómo no usar el contexto adecuado en el aviso (pedir a Speedy) condujo a resultados inexactos. El contexto apropiado es este extracto de Runaround:

Lo único que podía salvarlos era el selenio. Lo único que podía conseguir el selenio era Speedy. Si Soeedy no regresaba, no selenio. Sin selenio, sin bancos de fotocélulas. No hay bancos de fotos. Bueno, la muerte por asado lento es una de las formas más desagradables de acabar.

Donovan se frotó salvajemente la mata de pelo rojo y se expresó con amargura.

"Seremos el hazmerreír del Sistema, Greg. ¿Cómo puede haber ido todo tan mal tan pronto? El gran equipo de Powell y Donovan es enviado a Mercury para informar sobre la conveniencia de reabrir la Estación Minera Sunside con técnicas modernas y robots y arruinamos todo el primer día. Un trabajo puramente rutinario, también. Nunca lo olvidaremos".

"Tal vez no tengamos que hacerlo", respondió Powell en voz baja. "Si no hacemos algo rápidamente, no podemos vivir nada, o incluso simplemente vivir, será imposible".

El aviso también sufrió una falta de adaptabilidad , un buen aviso debería ser capaz de producir resultados precisos en diferentes sistemas de IA. Donovan dice que le dio a Speedy una orden estándar (prompt) para obtener el selenio.

Donovan: "Dije... eh... dije: 'Speedy, necesitamos un poco de selenio. Puedes conseguirlo en tal y tal lugar. Ve a buscarlo, eso es todo. ¿Qué más querías que dijera? ?"

Powell: "No puso ninguna urgencia en la orden, ¿verdad?"

Donovan: "¿Para qué? Era pura rutina".

La suposición incorrecta aquí es que una simple orden/indicación para obtener selenio, que funcionaría bien en cualquier otro robot/IA, funcionaría igual en Speedy, pero como sabemos que el 'cerebro positrónico'/red neuronal de Speedy está entrenado de manera diferente (3. se fortalece la ley de autoconservación) Speedy no es una IA estándar. Por lo tanto, se debería haber utilizado un mensaje/orden más adaptable .

Los principios de claridad, contexto y adaptabilidad de las indicaciones dadas a la IA para obtener resultados precisos son un concepto central con la ingeniería rápida. En general, se entiende que cuanto más descriptivo y detallado sea el mensaje, mejores serán los resultados. PromptingGuide.ai . En esta historia (escrita por primera vez en 1942), Asimov muestra en detalle cómo no seguir estas reglas puede conducir a resultados inexactos.

Cuevas de acero (1954)

"Cuevas de acero" se publicó por primera vez en 1954 y es la primera de una serie de novelas ambientadas en el Universo Robot y presenta a los personajes Detective Elijah Baley y Robot Daneel Olivaw.

La historia está ambientada en un futuro lejano. Los habitantes de la Tierra viven en grandes ciudades con cúpulas y albergan un profundo resentimiento hacia los espaciales, un grupo de humanos que han colonizado otros planetas y adoptado tecnología avanzada y robótica. Asimov utiliza la narrativa de policías amigos para explorar temas de prejuicio, IA, tecnología y cooperación. La asociación entre Baley y Daneel sirve como piedra angular para la serie Robot de Asimov, que continúa profundizando en la relación dinámica entre humanos y robots/IA, así como en los desafíos que enfrentan en la coexistencia.

Hay una escena corta pero muy ingeniosa en los capítulos "Palabras de un experto / Cambio a la máquina" que muestra que incluso en 1954 Asimov predijo que sería necesario evaluar la efectividad de la IA y que la evaluación podría ser muy invasiva pero también habría un método de evaluación más fácil para verificar rápidamente la salud y la precisión de un modelo.

La escena en cuestión involucra a un especialista en robótica de la Tierra (Dr. Gerrigel) a quien Baley le pidió que hiciera una evaluación del robot Daneel Olivaw para verificar que tenía correctamente instalada la primera ley (básicamente un modelo preciso).

Cuando se le ofrecen los laboratorios informáticos para cualquier equipo que pueda necesitar, el Dr. Gerrigel responde:

Dr. Gerrigel : Mi querido Sr. Baley, no necesitaré un laboratorio.
Balay : ¿Por qué no?
Dr. Gerrigel : No es difícil probar la Primera Ley. ... es bastante simple.
Baley : ¿Podría explicar lo que quiere decir? ¿Estás diciendo que puedes probarlo aquí?
Dra. Gerrigel : “Sí, por supuesto. Mire, Sr. Baley, le daré una analogía. Si yo fuera Doctor en Medicina y tuviera que medir el nivel de azúcar en la sangre de un paciente, necesitaría un laboratorio químico. Si necesitara medir su tasa metabólica basal, o probar su función cortical, o verificar sus genes para identificar un mal funcionamiento congénito, necesitaría un equipo elaborado. Por otro lado, podía comprobar si estaba ciego simplemente pasando mi mano por sus ojos y podía comprobar si estaba muerto simplemente tomándole el pulso. “Lo que quiero decir es que cuanto más importante y fundamental sea la propiedad que se está probando, más simple será el equipo necesario. Es lo mismo en un robot. La Primera Ley es fundamental. Afecta todo. Si estuviera ausente, el robot no podría reaccionar adecuadamente en dos docenas de formas obvias”.

La descripción de la evaluación real que el Dr. Gerrigel realiza en Daneel se describe así:

Lo que siguió lo confundió y lo decepcionó.
El Dr. Gerrigel procedió a hacer preguntas y realizar acciones que parecían no tener sentido, puntuadas por referencias a su triple regla de cálculo y ocasionalmente al espectador.
En una ocasión, preguntó: “Si tengo dos primos, con cinco años de diferencia, y el menor es una niña, ¿de qué sexo es el mayor?”.
Daneel respondió (inevitablemente, pensó Baley): "Es imposible decirlo con la información dada".
A lo que la única respuesta del Dr. Gerrigel, aparte de una mirada a su cronómetro, fue extender su mano derecha lo más que pudo hacia un lado y decir: "¿Podrías tocar la punta de mi dedo medio con la punta del tercer dedo?" de tu mano izquierda?”
Daneel lo hizo rápida y fácilmente.
En quince minutos, no más, el Dr. Gerrigel terminó.

Esto no es diferente a los enfoques modernos para evaluar modelos de lenguaje grande (LLM). Los LLM se pueden evaluar con un enfoque más complicado que implica integrarlo en otras aplicaciones y procesos llamado evaluación extrínseca y un enfoque más introspectivo pero más rápido que implica evaluar el AI LLM directamente llamado evaluación intrínseca . La evaluación de un modelo se realiza con medidas como la perplejidad y la entropía utilizando fórmulas matemáticas sobre el conjunto de datos.

Cuando el Dr. Gerrigel evalúa a Daneel, realiza una serie de pruebas para evaluar las propiedades físicas y funcionales del robot para determinar si realmente es un robot y para comprender si se ha instalado correctamente con la primera ley. De manera similar, la evaluación intrínseca de un modelo de lenguaje grande implica analizar su funcionamiento interno y su desempeño en tareas específicas para comprender qué tan bien ha aprendido los patrones, las relaciones y el conocimiento del lenguaje a partir de los datos de entrenamiento.

A menudo incluye medir su desempeño en varias tareas lingüísticas, como predecir la siguiente palabra en una oración, responder preguntas o resumir un texto. Los investigadores también pueden analizar las representaciones internas del modelo, como examinar las incorporaciones aprendidas o los mecanismos de atención, para obtener información sobre el conocimiento lingüístico que ha adquirido durante el entrenamiento. Estas evaluaciones ayudan a determinar las fortalezas y debilidades del modelo, así como su capacidad para comprender y generar un lenguaje similar al humano.

En ambos casos, las evaluaciones están diseñadas para evaluar las capacidades del sujeto (Daneel o un modelo de lenguaje grande) y obtener información sobre sus mecanismos subyacentes.

Aunque Asimov no construye mucho el mundo en torno a los detalles de su método de "evaluación intrínseca" del Dr. Gerrigel de Daneel, es sorprendente que Asimov predijera que este tipo de evaluación de la IA se usaría hace 70 años.

Conclusión

Estos son solo algunos ejemplos de cómo Isaac Asimov profundizó en la intrincada relación entre la IA y la humanidad, anticipando la importancia de la ingeniería rápida para obtener respuestas de mayor calidad de la IA y los robots. La serie de robots de Asimov representa ciencia ficción especulativa que se ha vuelto cada vez más relevante debido al éxito generalizado de los grandes modelos de lenguaje y la IA. Este cuerpo de trabajo fundamental ofrece un contexto histórico valioso y una visión para los científicos de datos y los ingenieros de aprendizaje automático, y arroja luz sobre los orígenes de muchas ideas e inspiraciones contemporáneas en el campo.