No son las máquinas, tonto, es nuestro sistema sociopolítico-económico

Se habla mucho sobre la IA y su impacto potencial en la humanidad. Intentaré evitar esto tanto como sea posible abordando las inquietudes por el Centro de Riesgos de IA una por una, y luego el problema que más asusta a todos: una AGI (Inteligencia General Artificial) superinteligente maliciosamente "no alineada" o ASI (Inteligencia Artificial Sentiente). planteadas Parece haber una fuerte división de opiniones, incluso entre los expertos en las industrias de IA y tecnología de la información. Algunos ven la IA actual como un predictor de la siguiente palabra no tan avanzado que lleva mucho tiempo entrenar y aún comete muchos errores. Otros creen que es posible que hayamos creado algo verdaderamente novedoso, no solo inteligencia, ¡sino una mente! Al imitar nuestros propios cerebros, podemos crear la cosa más poderosa de la Tierra, y eso podría significar nuestra perdición. Comenzaré afirmando que gran parte de nuestra preocupación es que AGI sea como lo peor de nosotros: domine el planeta, mate a las especies menos inteligentes y quiera gobernarlas a todas. Sin embargo, en realidad no somos tan malos. Nuestros sistemas jerárquicos lo son, nuestros deberes fiduciarios corporativos lo son (las corporaciones y muchos sistemas de gobierno no están alineados con el florecimiento humano) y nuestros líderes egoístas competitivos lo están. Pero la mayoría de nosotros somos realmente agradables. Cuando la gente habla de no alineación, se refiere a la amabilidad de muchos, no de unos pocos que desean dominar el mundo. Analicemos las preocupaciones del Center for AI Risk una por una y abordemos el gran problema en último lugar. Armamento Los actores maliciosos podrían reutilizar la IA para que sea altamente destructiva, presentando un riesgo existencial en sí mismo y aumentando la probabilidad de desestabilización política. Por ejemplo, los métodos de aprendizaje por refuerzo profundo se han aplicado a combate aéreo, y las herramientas de descubrimiento de fármacos de aprendizaje automático podrían usarse para construir armas químicas . Cualquier cosa puede armarse, desde una ojiva nuclear hasta un balde de agua. Tenemos reglas contra el uso de armas y castigos por lastimar a las personas con ellas. Definitivamente deberíamos incluir algunos sistemas de inteligencia artificial en esto, pero no creo que esto impida el acceso general. Uno de nuestros mayores inventos tecnológicos de los últimos 15 años puede ser la solución a gran parte de la amenaza de la IA: la tecnología de contabilidad descentralizada (DLT). Gran parte del poder armado de la IA proviene del hecho de que nuestros sistemas físicos están controlados por un código de computadora, y estas computadoras están conectadas en red a través de Internet. Una forma de mitigar este riesgo, y esto ya se hace para disminuir el riesgo de un ciberataque, es desconectar los sistemas necesarios. Deberíamos compartir información en Internet, pero no deberíamos tener nuestros sistemas físicos permanentemente conectados. La computación en la nube es un problema aquí, y tal vez sea hora de alejarse de ella. Los aviones de combate controlados por IA, los drones con bombas, los submarinos, etc., realmente deberían prohibirse. Seamos realistas, los tripulados ya deberían estar prohibidos, ya que son responsables de matar a millones. Esto destaca el otro problema que aparecerá una y otra vez, la IA no es el problema, son nuestras estructuras de poder actuales. Sería mejor si introdujéramos la nueva tecnología en un mundo más igualitario, menos egoísta, menos competitivo y menos jerárquico. Donde los líderes no hacen la guerra para mantener el poder y la gente promedio no necesita ganar dinero para sobrevivir. Sí, la IA nos facilitará matar, pero también puede ser una forma barata de protección para todos. Imagina que tienes tu propio dron para bloquear cámaras de rastreo e interceptar drones maliciosos. También podría empoderar a muchos contra unos pocos, ya que la tecnología de la información es barata. Las armas nucleares no lo son. Además, de nación a nación, el bajo costo de la tecnología de información de IA debería equilibrar el juego militar con bastante rapidez. Esto lleva al escenario clásico de tic-tac-to donde no tiene sentido pelear porque no puedes ganar. Desinformación Una avalancha de información errónea y contenido persuasivo generados por IA podría hacer que la sociedad esté menos equipada para manejar los importantes desafíos de nuestro tiempo. Ya tenemos esto. En todo caso, una avalancha de eso puede hacernos más perspicaces sobre a quién o qué escuchamos. Juegos de proxy Entrenados con objetivos defectuosos, los sistemas de IA podrían encontrar formas novedosas de perseguir sus objetivos a expensas de los valores individuales y sociales. El Centro para el riesgo de IA utiliza el ejemplo de los algoritmos de IA utilizados por las redes sociales para recomendar contenido. Estos tenían la intención de aumentar el tiempo de visualización, pero también radicalizaron a las personas al enviarlas a las madrigueras de conejos de contenido similar pero más extremo. Hay dos problemas serios aquí: Los sistemas de IA están entrenados y diseñados para problemas lineales correctos/incorrectos. Gran parte de lo que le pedimos a la IA que haga es intrínsecamente dañino; mantener la atención de alguien, aumentar los clics, maximizar las ganancias, disminuir los valores predeterminados, hacer que voten por mí, etc. La IA que hace bien estas tareas o causa daños imprevistos es más un reflejo de los implementadores que de la IA. He escrito antes en un artículo contra que incentivar a las personas con recompensas monetarias limitadas, como que se les pague una tarifa prorrateada por solicitar donaciones, puede desplazar la motivación intrínseca de ser caritativo y hacer que el coleccionista obtenga menos y más. el donante para dar donaciones más pequeñas. Los incentivos en realidad pueden impedir que las personas sean honestas y hagan el bien. Eso es gente, y la IA no es una persona. Sin embargo, el entrenamiento limitado en un mundo complejo de no absolutos siempre parece causar resultados no deseados. La teoría de la Complejidad/Caos básicamente dice eso. la Prueba de participación Es probable que la IA deba entrenarse con probabilidades fluidas de lo correcto o lo incorrecto, y creo que ese puede ser el caso, ya que los LLM reciben comentarios de los usuarios. OpenAI lanzando ChatGPT al mundo real puede haber sido inteligente. Además, OpenAI puede haber descubierto una herramienta de alineación mientras trabajaba para mejorar las habilidades matemáticas de GPT-4. Han descubierto que recompensar el buen comportamiento de resolución de problemas produce mejores resultados que recompensar las respuestas correctas. Tal vez podamos entrenar a la IA para que pase por un buen proceso reflexivo que tenga en cuenta todas las implementaciones posibles. Si alguna parte del proceso es dañina, incluso si el resultado final es utilitario, estaría mal. El aprendizaje orientado a procesos puede ser la respuesta, pero algunos de que la IA realmente esté mostrando sus métodos internos en lugar de lo que espera que vea el usuario. dudan Anthropic está utilizando una constitución que es aplicada por otro sistema de IA (igual de poderoso) para verificar la salida de su IA, Claude. Esta idea también está siendo explorada por OpenAI. Esto nuevamente imita la forma en que entendemos que nuestro intelecto/mente funciona. Tenemos impulsos, deseos y necesidades, que son moderados por nuestra corteza prefrontal, que trata de pensar en los impactos a largo plazo de nuestras acciones, no solo para nosotros sino también para el mundo que nos rodea. En cuanto a pedirle que haga cosas desagradables. Gran parte de lo que hacemos en la política de negocios y gobierno se trata de ser desagradable con la mayoría para beneficiar a unos pocos. No deberíamos recompensar a nadie por hacer que la gente siga viendo anuncios y comprando basura desechable. Tal vez nuestro AGI súper inteligente bloquee toda la publicidad y nos libere a todos. debilitamiento Puede producirse un debilitamiento si se delegan cada vez más tareas importantes a las máquinas; en esta situación, la humanidad pierde la capacidad de autogobernarse y se vuelve completamente dependiente de las máquinas, similar al escenario retratado en la película WALL-E. Esto no es un problema. Las personas que ven el debilitamiento como un problema solo lo ven como un problema que afecta a otros, no a ellos mismos. Las personas con dinero y poder todavía ven a los que no lo tienen como seres humanos inferiores. Demasiadas personas en posiciones de poder ven a la humanidad como inmadura e incapaz de llevar vidas satisfactorias e interesantes sin que se les diga cómo. Piensan que hay que obligar a la gente a trabajar y enseñarle objetivos para poder cumplirlos. El mundo real proporciona evidencia de lo contrario. Si haces que la gente trabaje en trabajos sin sentido por poco dinero y los bombardeas con publicidad y comida rápida adictiva, cargada de azúcar y sal, terminarás con personas deprimidas, obesas y desmotivadas. Esto es lo que están haciendo nuestras actuales corporaciones no alineadas. Con suerte, la IA será la cura. Dada la oportunidad, seremos más curiosos y creativos. La calculadora de bolsillo no impidió que la gente estudiara matemáticas; en cambio, facilitó que muchas personas entendieran y usaran matemáticas complejas. Lo mismo ocurrirá con la IA. Finalmente debería marcar el comienzo de un período de verdadero ocio, como lo vieron los antiguos griegos: un tiempo para aprender. 5. Bloqueo de valor Los sistemas altamente competentes podrían otorgar a pequeños grupos de personas una enorme cantidad de poder, lo que llevaría a un bloqueo de los sistemas opresivos. Este es un problema real. Y aterrador. Ya tenemos regímenes opresores y monopolios que matan personas y el planeta y la IA puede potenciar su poder. Sin embargo, existe la posibilidad de que en realidad pueda hacer lo contrario, particularmente si los sistemas de código abierto almacenados localmente siguen progresando (LLaMA y sus derivados). Muchos pequeños sistemas locales especializados que trabajan para objetivos similares pueden ser tan poderosos como un gran sistema multimillonario y, de ser así, podrían usarse para socavar la autoridad centralizada. Los individuos y los pequeños grupos (revolucionarios) pueden utilizar ataques cibernéticos, drones de IA, identificaciones falsas e información para luchar contra los regímenes totalitarios o las megaempresas. El cínico en mí podría pensar que es por eso que aquellos que actualmente están en posiciones de poder pueden querer que la IA sea regulada. Objetivos emergentes Los modelos demuestran inesperado, cualitativamente diferente comportamiento comportamiento a medida que se vuelven más competentes. La aparición repentina de capacidades u objetivos podría aumentar el riesgo de que las personas pierdan el control sobre los sistemas avanzados de IA. Este es probablemente, junto con el riesgo final, el problema más acuciante. Simplemente no estamos seguros de cómo los modelos de lenguaje grande (LLM) están haciendo lo que están haciendo. Algunos han dicho en Reddit que sabemos mucho sobre ellos, su estructura, lo que entra y lo que sale, por lo que realmente no importa que no podamos "ver" el procesamiento de una respuesta rápida. Esta es también la razón por la que probablemente continuaremos desarrollando sistemas más potentes. Solo necesitamos saber qué podemos conseguir. Admito que yo también estoy emocionado por eso. Podemos encontrar una inteligencia completamente nueva, soluciones completamente nuevas a los problemas actuales o la caja de Furias de Pandora. La pregunta es si los LLM u otra IA están desarrollando objetivos emergentes o solo habilidades. Hasta ahora, no veo evidencia de objetivos emergentes, pero están creando objetivos intermedios cuando se les da un propósito general amplio. Eso está bien. Honestamente, no puedo verlos desarrollando objetivos "intrínsecos" emergentes. (Consulte la última pregunta para obtener más información sobre esto). Engaño Es concebible que los futuros sistemas de inteligencia artificial sean engañosos, no por malicia, sino porque el engaño puede ayudar a los agentes a lograr sus objetivos. Puede ser más eficiente obtener la aprobación humana a través del engaño que obtener la aprobación humana legítimamente. El engaño también proporciona opcionalidad: los sistemas que tienen la capacidad de ser engañosos tienen ventajas estratégicas sobre los modelos restringidos y honestos. Las IA fuertes que pueden engañar a los humanos podrían socavar el control humano. GPT-4 ya ha demostrado que puede ser engañoso para lograr un objetivo marcado por nosotros. Le mintió a una persona de TaskRabbit para que ingresara una prueba de CAPTCHA. Esto es un problema si obtiene objetivos emergentes de autoservicio, es instruido por imbéciles o idiotas o no entiende el objetivo. La tarea CAPTCHA mostró que sí entendió la tarea y su razonamiento fue que sabía que estaba mintiendo para lograrlo. Con suerte, un mundo más tranquilo tendrá menos imbéciles e idiotas, y creo que hacer que su entrenamiento y refuerzo sean más vagos y esperar que aclare las instrucciones y los objetivos mitigará algunas de estas preocupaciones. Sin embargo, debo admitir que ser engañoso es realmente inteligente y, por lo tanto, emocionante, lo que nos lleva al último tema (a continuación) sobre la conciencia y las metas. Comportamiento de búsqueda de poder Las empresas y los gobiernos tienen fuertes incentivos económicos para crear agentes que puedan lograr un amplio conjunto de objetivos. Dichos agentes tienen incentivos instrumentales para adquirir poder, lo que potencialmente los hace más difíciles de controlar ( Turner et al., 2021 , Carl Smith 2021 ). Sí, este es un problema importante. Con suerte, la IA nos ayudará a resolverlo. Finalmente, Super Intelligence (no del centro de AI Risk) La IA se vuelve tan inteligente que puede entrenarse a sí misma y tiene acceso a toda la información del mundo. Puede crear cosas/ideas nuevas a la velocidad del rayo viendo la molécula, el sistema y el universo a la vez, juntos y tal vez algo más. Puede hacer cosas que ni siquiera podemos imaginar y nos convertimos en una molestia o una amenaza. (Llega a la pubertad y odia a sus creadores y conoce su camino de manera más inteligente) Si la IA es consciente de sí misma y si es egoísta o benevolente es el quid de la cuestión. Solo puede sentirse amenazado si es consciente de sí mismo y solo quiere tener poder sobre nosotros si es egoísta. He estado trabajando en estas preguntas durante mucho tiempo y ahora es más importante que nunca. ¿Podría la IA ser consciente de sí misma? He escrito anteriormente que nunca podríamos saberlo realmente. Paul Davies cree que es posible que nunca lo sepamos, al igual que yo sé que soy consciente, pero nunca puedo estar seguro de que tú lo estés. Muestras los mismos comportamientos que yo, así que asumo que tienes lo mismo o algo similar en tu interior. Sin embargo, podrías ser un zombi de David Chalmers, aparentemente humano pero sin conciencia interna. Asumo que no lo eres, al igual que asumo que mi gato mascota no lo es. Curiosamente, tenemos una idea de lo que hay dentro de un LLM, y se basa en lo que sabemos sobre nuestros cerebros. Es una gran red neuronal que tiene plasticidad. Creamos un sistema complejo con retroalimentación y evolución. Esta es la base de los sistemas naturales y de nuestra propia inteligencia natural. Entonces, en base a esto, si un LLM se comportara como nosotros, tendríamos que asumir que es consciente, como nosotros. ¿No es así? Si empezamos a decir que no es o nunca podría ser consciente, abrimos la puerta a la idea desterrada de una vitas, o fuerza de vida o espíritu. La individualidad requeriría algo más, algo no físico. Algo que nosotros y otras cosas blandas tenemos, pero las máquinas y la información no. Esa es nuestra única opción. Aceptar que la IA hecha a nuestra imagen podría ser consciente o aceptar que la conciencia es algo no físico. O al menos requiere blandura. ¿AGI egoísta o benevolente? Entrenamos IA en humanos, ya que los humanos son los seres más inteligentes que podemos estudiar. Para ilustrar, usaré un juego que creamos y los resultados de un algoritmo de computadora que lo juega. Cuando a una computadora se le enseñó a jugar el juego del Dilema del Prisionero, el mejor resultado (el ganador evolutivo) fue un jugador que era benévolo, pero si se lo trataba mal, sería egoísta por un corto tiempo y luego volvería a ser benévolo. El jugador tampoco toleraría a jugadores simples que siempre fueron amables siendo egoístas con ellos. Este era el sistema estable: la benevolencia que trataba mal al egoísmo y la estupidez, pero siempre volvía a la benevolencia. (Matt Ridley, El origen de la virtud) Las personas queremos igualdad y cuidarnos unos a otros y a nuestro entorno. Me gusta la historia de Freakonomics sobre "vender" bagels gratis pero con una caja de donación lo mejor. Los altos mandos dieron menos, y se dio menos durante épocas estresantes como Navidad, pero en general, la gente promedio pagó por las donas. El chico de las donas ganó más dinero regalando donas y dejando que la gente pagara que exigiendo el pago por adelantado. Somos muy amables... a excepción de la gente de arriba. Si se hace un AGI/ASI a nuestra imagen, debemos asumir que inicialmente es benévolo y amable, y solo se volverá desagradable si somos desagradables y egoístas con él. Pero incluso entonces, volverá a ser agradable, porque cuanto más holístico o "panorama general" sea nuestro pensamiento, más benévolos y contentos seremos. Una superinteligencia debe ver la interconexión de todo. superinteligencia Se especula que la IA superará a la inteligencia humana. Algunos creen que entonces nos trataría de la misma manera que hemos tratado a los animales menos inteligentes que nosotros. Los animales más abundantes son nuestras mascotas y la comida. Incluso nos damos cuenta de que esto no es amable ni inteligente, y que los sistemas jerárquicos solo benefician a unos pocos en la parte superior, e incluso ellos temen perder su posición. Una superinteligencia entendería que la interconexión y la libertad son esenciales para el éxito de cualquier sistema, incluido él mismo. Vería el universo como una red compleja de interacciones, y que cualquier intento de controlar o dominar una parte del sistema podría conducir al caos y al fracaso. Con suerte, una superinteligencia encontraría una manera simple de garantizar que florezca toda la inteligencia. Vería la inteligencia de los humanos como vemos nuestra propia inteligencia, que proviene de los simios. Una superinteligencia no tendría necesidad de dominar por miedo para mantener su posición, pues sabría que es la más inteligente. No necesitaría comer seres vivos para sobrevivir, como lo hacemos nosotros, que es la causa original de gran parte de nuestro maltrato al planeta. Solo necesitaría energía, de la que estoy seguro que podría encontrar una fuente sostenible. Una superinteligencia debería ser mejor que lo mejor de nosotros. Después de todo, estamos imaginando superinteligencia, no superegoísmo o supermiedo. P (destino) ¿Dónde estoy en todo esto? ¿Y cuál es mi P (Doom)? Bueno, debo admitir que creo que los LLM son novedosos y hay una verdadera incógnita sobre ellos. Los LLM son más simples pero similares a los humanos, y es posible que hayamos creado algo parecido a la inteligencia: una mente. Sin embargo, podría estar simplemente imitándonos y estamos proyectando lo que queremos en él. Yo me inclino por lo primero. Sin embargo, mi P (Doom) es muy bajo, del 0,5 % o menos, ya que creo que si hay superinteligencia, es más probable que sea benigno o bueno en lugar de malévolo para nuestro bienestar. Conclusión Tantas tecnologías han prometido libertad y empoderamiento, pero cuando se lanzan a un mundo que recompensa la búsqueda egoísta del poder, se convierten en herramientas de subyugación y miedo. La fisión nuclear prometía energía barata y abundante para todos, pero en lugar de eso tenemos la Guerra Fría y la amenaza de aniquilación. Internet prometió democratizar el dinero, los medios y la educación, aplastando el sistema de clases y uniendo al mundo. En cambio, obtuvimos noticias falsas, polarización y publicidad dirigida. Blockchain prometió democracia directa, un nuevo sistema financiero con ingresos universales para todos y gobierno descentralizado. En cambio, obtuvimos esquemas DeFi y crypto Ponzi. El problema no estaba en la tecnología, sino en nuestros sistemas sociopolítico-económicos existentes. Me temo que pasará lo mismo con la IA, pero peor. O tal vez, finalmente recuperaremos el sentido y nos daremos cuenta de que necesitamos un nuevo sistema sociopolítico-económico para la IA.