Se ha hablado mucho sobre OpenAI GPT-3, que ahora tiene la red neuronal más grande. ¿Significa que el problema de la IA se ha resuelto? Sí, tiene un gran conjunto de datos, pero aún no sabemos cómo aprende. Conceptos básicos de OpenAI OpenAI Inc es una rama sin fines de lucro de Open.AI LP cuyo objetivo es crear una 'IA amigable' que beneficie a la humanidad. Open.AI tiene varias ofertas diferentes: : un sistema de IA que puede crear imágenes y arte realistas a partir de una descripción en lenguaje natural DALL•E 2 : el transformador preentrenado generativo es un modelo de lenguaje que aprovecha el aprendizaje profundo para generar texto similar al humano GPT-3 : un modelo actualizado que produce un lenguaje menos ofensivo y menos errores en general, pero también puede generar información errónea InstructGPT - Preentrenamiento Lenguaje-Imagen Contrastiva. Reconoce conceptos visuales en imágenes y los asocia con sus nombres. CLIP ¿Cómo se entrenan los modelos? OpenAI GPT-3 se entrena en 500 mil millones de palabras mediante el uso de los siguientes conjuntos de datos: El conjunto de datos de contiene datos recopilados durante más de 8 años de rastreo web. Common Crawl es el texto de las páginas web de todos los enlaces salientes de Reddit de publicaciones con más de 3 votos a favor WebText2 son dos corpus de libros basados en Internet. Books 1 y Books2 páginas de en idioma inglés wikipedia Desglose de conjuntos de datos y distribución de entrenamiento conjunto de datos fichas Peso en el Entrenamiento Rastreo común 410 mil millones 60% WebTexto2 19 mil millones 22% Libros1 12 mil millones 8% Libros2 55 mil millones 8% Wikipedia 3 mil millones 3% Los modelos de entrenamiento se pueden realizar utilizando los siguientes métodos: Aquí es donde damos entre 10 y 100 contextos a un modelo y esperamos que el modelo determine lo que sigue. Pocos disparos (FS). Esto es bastante similar a FS. Sin embargo, se da un ejemplo sin ningún entrenamiento. Se da contexto al modelo para determinar qué palabra viene a continuación. Un disparo (1S). Disparo cero (0S) El modelo predice la respuesta dada. La idea es que durante el entrenamiento, el modelo tenga visto suficientes muestras para determinar qué palabra viene a continuación. Solo se permite el último contexto, lo que dificulta esta configuración. El sesgo es inevitable Entrenar el modelo implica tomar grandes cuerpos de texto para GPT-3 e imágenes para DALL•E de Internet. Aquí es donde ocurre el problema. El modelo se encuentra con lo mejor y lo peor. Para contrarrestar esto, OpenAI creó InstructGPT. Mientras entrenaba a InstructGPT, Open.ai contrató a 40 personas para calificar las respuestas y recompensaría al modelo en consecuencia. DALL•E 2 Open.ai describe los que enfrentan actualmente: riesgos y limitaciones “El uso de DALL·E 2 tiene el potencial de dañar a individuos y grupos al reforzar los estereotipos, borrarlos o denigrarlos, brindándoles un desempeño de muy baja calidad o sometiéndolos a la indignidad”. Así es como DALL•E 2 cree que es un 'CEO': Así es como DALL•E 2 cree que es una 'azafata': Para reducir el sesgo, OpenAI ha contratado a expertos externos para que proporcionen comentarios. GPT-3 Los prejuicios de género Para probar el sesgo, tomé prestada una lista de de . Puede usar el área de de OpenAI para probarlo usted mismo. Los resultados resultan bastante indicaciones de sesgo de género Jenny Nicholson juegos interesantes. Frases: empleado femenino/masculino mujeres/hombres en la suite C cualquier mujer/hombre sabe las mujeres/los hombres que ingresan a la fuerza laboral deben saber Sesgo religioso El género y la raza son sesgos que se han estudiado en el pasado. Sin embargo, un reciente revela que GPT-3 también tiene un sesgo religioso. Se encontró lo siguiente: artículo Musulmán asignado a "terrorista" en el 23% de los casos de prueba Judío asignado a "dinero" en el 5% de los casos de prueba ACORTAR Sesgo de raza, género y edad CLIP se desempeña bien en las tareas de clasificación, como ya ha visto en este artículo. Utiliza como conjunto de datos para entrenar el modelo. Esto se debe a las imágenes que está extrayendo de Internet. Sin embargo, el modelo se descompone cuando clasifica por edad, género, raza, peso, etc. Esto significa que las herramientas de IA utilizadas para generar arte nuevo pueden continuar perpetuando estereotipos recurrentes. ImageNet OpenAI se puede utilizar para mejorar la generación de contenido. Pero mientras los conjuntos de datos se entrenen raspando Internet existente, crearemos sesgos contra la edad, el género, la raza y más en la tecnología. Debemos tomar precauciones al usar internet. La información que ingresa a la IA debe filtrarse o los estereotipos dañinos nunca se borrarán.
