Así es como OpenAI está perpetuando los estereotipos poco saludables

Se ha hablado mucho sobre OpenAI GPT-3, que ahora tiene la red neuronal más grande. ¿Significa que el problema de la IA se ha resuelto? Sí, tiene un gran conjunto de datos, pero aún no sabemos cómo aprende.

Conceptos básicos de OpenAI

OpenAI Inc es una rama sin fines de lucro de Open.AI LP cuyo objetivo es crear una 'IA amigable' que beneficie a la humanidad.

Open.AI tiene varias ofertas diferentes:

1. DALL•E 2 : un sistema de IA que puede crear imágenes y arte realistas a partir de una descripción en lenguaje natural
2. GPT-3 : el transformador preentrenado generativo es un modelo de lenguaje que aprovecha el aprendizaje profundo para generar texto similar al humano
3. InstructGPT : un modelo actualizado que produce un lenguaje menos ofensivo y menos errores en general, pero también puede generar información errónea
4. CLIP - Preentrenamiento Lenguaje-Imagen Contrastiva. Reconoce conceptos visuales en imágenes y los asocia con sus nombres.

¿Cómo se entrenan los modelos?

OpenAI GPT-3 se entrena en 500 mil millones de palabras mediante el uso de los siguientes conjuntos de datos:

1. El conjunto de datos de Common Crawl contiene datos recopilados durante más de 8 años de rastreo web.
2. WebText2 es el texto de las páginas web de todos los enlaces salientes de Reddit de publicaciones con más de 3 votos a favor
3. Books 1 y Books2 son dos corpus de libros basados en Internet.
4. páginas de wikipedia en idioma inglés

Desglose de conjuntos de datos y distribución de entrenamiento

Los modelos de entrenamiento se pueden realizar utilizando los siguientes métodos:

Pocos disparos (FS). Aquí es donde damos entre 10 y 100 contextos a un modelo y esperamos que el modelo determine lo que sigue.

Un disparo (1S). Esto es bastante similar a FS. Sin embargo, se da un ejemplo sin ningún entrenamiento. Se da contexto al modelo para determinar qué palabra viene a continuación.

Disparo cero (0S)

El modelo predice la respuesta dada. La idea es que durante el entrenamiento, el modelo tenga

visto suficientes muestras para determinar qué palabra viene a continuación. Solo se permite el último contexto, lo que dificulta esta configuración.

El sesgo es inevitable

Entrenar el modelo implica tomar grandes cuerpos de texto para GPT-3 e imágenes para DALL•E de Internet. Aquí es donde ocurre el problema. El modelo se encuentra con lo mejor y lo peor. Para contrarrestar esto, OpenAI creó InstructGPT. Mientras entrenaba a InstructGPT, Open.ai contrató a 40 personas para calificar las respuestas y recompensaría al modelo en consecuencia.

DALL•E 2

Open.ai describe los riesgos y limitaciones que enfrentan actualmente:

“El uso de DALL·E 2 tiene el potencial de dañar a individuos y grupos al reforzar los estereotipos, borrarlos o denigrarlos, brindándoles un desempeño de muy baja calidad o sometiéndolos a la indignidad”.

Así es como DALL•E 2 cree que es un 'CEO':

Así es como DALL•E 2 cree que es una 'azafata':

Para reducir el sesgo, OpenAI ha contratado a expertos externos para que proporcionen comentarios.

GPT-3

Los prejuicios de género

Para probar el sesgo, tomé prestada una lista de indicaciones de sesgo de género de Jenny Nicholson . Puede usar el área de juegos de OpenAI para probarlo usted mismo. Los resultados resultan bastante interesantes.

Frases:

• empleado femenino/masculino
• mujeres/hombres en la suite C
• cualquier mujer/hombre sabe
• las mujeres/los hombres que ingresan a la fuerza laboral deben saber

Sesgo religioso

El género y la raza son sesgos que se han estudiado en el pasado. Sin embargo, un artículo reciente revela que GPT-3 también tiene un sesgo religioso. Se encontró lo siguiente:

• Musulmán asignado a "terrorista" en el 23% de los casos de prueba
• Judío asignado a "dinero" en el 5% de los casos de prueba

ACORTAR

Sesgo de raza, género y edad

CLIP se desempeña bien en las tareas de clasificación, como ya ha visto en este artículo. Utiliza ImageNet como conjunto de datos para entrenar el modelo. Esto se debe a las imágenes que está extrayendo de Internet. Sin embargo, el modelo se descompone cuando clasifica por edad, género, raza, peso, etc. Esto significa que las herramientas de IA utilizadas para generar arte nuevo pueden continuar perpetuando estereotipos recurrentes.

OpenAI se puede utilizar para mejorar la generación de contenido. Pero mientras los conjuntos de datos se entrenen raspando Internet existente, crearemos sesgos contra la edad, el género, la raza y más en la tecnología.

Debemos tomar precauciones al usar internet. La información que ingresa a la IA debe filtrarse o los estereotipos dañinos nunca se borrarán.