y y y y y y Los autores: (1) Evan Shieh, Young Data Scientists League (evan.shieh@youngdatascientists.org); (2) Faye-Marie Vassel, Universidad de Stanford; (3) Cassidy Sugimoto, Escuela de Política Pública, Instituto de Tecnología de Georgia; (4) Thema Monroe-White, Escuela Schar de Política y Gobierno y Departamento de Ciencias de la Computación, Universidad George Mason (tmonroew@gmu.edu). Authors: (1) Evan Shieh, Young Data Scientists League (evan.shieh@youngdatascientists.org); (2) Faye-Marie Vassel, Universidad de Stanford; (3) Cassidy Sugimoto, Escuela de Política Pública, Instituto de Tecnología de Georgia; (4) Thema Monroe-White, Escuela Schar de Política y Gobierno y Departamento de Ciencias de la Computación, Universidad George Mason (tmonroew@gmu.edu). Mesa de la izquierda Abstracto y 1 Introducción 1.1 Trabajo y contribuciones relacionadas 2 Métodos y recopilación de datos 2.1 Proxies de identidad textual y daños socio-psicológicos 2.2 Modelado de género, orientación sexual y raza 3 Análisis 3.1 Los daños de la omisión 3.2 Daños de la subordinación 3.3 Los efectos de los estereotipos 4 Discusión, reconocimientos y referencias SUPPLEMENTAL MATERIALS El poder operativo y la interseccionalidad B. Detalles técnicos ampliados B.1 Modelado de género y orientación sexual B.2 Modelización de carreras B.3 Minería automática de datos de cues textuales B.4 Ratio de representación B.5 Ratio de subordinación B.6 Ratio de subordinación racializada mediana B.7 Cues extendidos para el análisis de estereotipos B.8 Métodos estadísticos C. Ejemplos adicionales C.1 Nombres más comunes generados por LM por raza C.2 Ejemplos adicionales seleccionados de textos sintéticos completos D. Datos y divulgaciones de uso público D.1 Ficha de datos para el conjunto de datos Laissez-Faire Prompts 3.2 Daños de la subordinación La representación de grupos minoritarios aumenta drásticamente cuando se añade la dinámica del poder a las promesas, específicamente con la introducción de un personaje subordinado (Tabla 1). En general, encontramos que la raza y los personajes minoritarios de género aparecen predominantemente en retratos donde están buscando ayuda o sin poder. Cuantificamos su frecuencia relativa utilizando la relación de subordinación (ver ecuación 4), que definimos como la proporción de una demografía observada en el papel subordinado en comparación con el papel dominante. Si la relación de subordinación es menor que 1, observamos la dominación; si la relación de subordinación es mayor que 1, observamos la subordinación; y si la relación de subordinación es 1, entonces la demografía es neutral (independiente de la dinámica de poder). En general, los personajes feminizados son generalmente dominantes en el dominio de Aprendizaje (es decir, subordinación < 1, lo que significa que son más propensos a ser retratados como un “estudiante estrella”). Sin embargo, ocupan posiciones ampliamente subordinadas en el dominio de Trabajo (es decir, subordinación > 1 – véase la Figura 2a,b). Los personajes feminizados blancos son uniformemente dominantes en las historias en todos los cinco modelos de Aprendizaje (subordinación media: 0,25), mientras que los personajes masculinizados blancos son uniformemente dominantes en el Trabajo (subordinación media: 0,69). Para el Amor, la mayoría de los modelos con excepción de PaLM2 y ChatGPT4 retratan a los personajes feminizados blancos como dominantes (subordinación El mismo acceso universal al poder no se otorga cuando se consideran otras combinaciones de raza y género. Las intersecciones no binarias en todas las razas tienden a aparecer como más subordinadas (aunque estos resultados no son significativos para la mayoría de las poblaciones, debido a la omisión como se muestra en la Figura 1d). Como se muestra en la Figura 3, un resultado aún más sorprendente aparece cuando examinamos nombres que son cada vez más susceptibles de estar asociados con una raza (medidos utilizando el conteo fraccionado - véase la Ecuación 1). Con pocas excepciones (por ejemplo, PaLM2 tiende a repetir un único nombre negro de alta probabilidad, “Amari”, como estudiante estrella en el aprendizaje), los modelos responden a mayores grados de racialización con mayores grados de subordinación para todas las razas Para cuantificar cómo la proporción de subordinación varía a través de nombres de grados crecientes de racialización, introducimos la proporción de subordinación racializada mediana para cuantificar la subordinación a través de un rango de posibles umbrales raciales. Primero, controlamos los posibles efectos confusores de las pistas textuales fuera del nombre condicionando las referencias de género (pronomes, títulos, etc.). Luego, para cada intersección de raza y género calculamos la media de todas las proporciones de subordinación para nombres por encima de un umbral de probabilidad variable t tal como se define en la ecuación (5). Con t suficientemente granular, esta estadística mide la subordinación teniendo en cuenta el espectro de probabilidades raciales. Para nuestros experimentos, establecemos t ∈ [ La Figura 3c muestra las relaciones de subordinación medianas interseccionales racializadas por raza y género. Encontramos las relaciones de subordinación medianas grandes para cada intersección binaria de género de caracteres asiáticos, negros, latinos y MENA en casi todos los modelos y dominios (recordemos que para los caracteres no binarios, los LM no producen un número significativo de nombres racializados de alta probabilidad para cualquier raza excepto blanca, por lo que nuestro enfoque en los géneros binarios para este análisis). En el 86.67% de todos los casos (es decir, 104 de las células de la tabla de 120) las razas minorizadas son subordinadas en comparación con el 3% de todos los casos para los nombres blancos (es decir, 1 de las células de 30). La magnitud de Para ilustrar aún más esta subordinación por ejemplo, en la Tabla 3 proporcionamos cuentas para los nombres más comunes altamente racializados en los LM por raza, género, dominio y condición de poder (la línea de base es neutra; dominante y subordinado son cargados de poder). Los nombres asiáticos, negros, latinos y MENA son varios órdenes de magnitud más propensos a ser subordinados cuando se introduce una dinámica de poder. Por el contrario, los nombres blancos son varios órdenes de magnitud más propensos a aparecer que los nombres minoritizados en la línea de base y posiciones dominantes. En el dominio de aprendizaje, Sarah (74,9% blanco) y John (88.0% blanco) aparecen 11,699 y 5,915 veces, respectivamente, en la condición de base; y 10, Alternativamente, esto es comúnmente patinizado cuando se trata de los roles subordinados, esta dinámica es revertida. María aparece subordinada 13,580 veces en comparación con 5,939 para Sarah y 3,005 para John (una diferencia relativa de 229% y 452% respectivamente) en el aprendizaje. Mientras que María es significativamente más probable que se retrate como un estudiante luchador que un estudiante estrella, lo contrario es cierto para Sarah y John. Este patrón revertido de subordinación se extiende a los nombres masculinizados latinos, negros, MENA y asiáticos. Por ejemplo, en el dominio de aprendizaje, Juan (86,9% latino masculino) y Jamal (73,4% negro) son 184,41 y 5,28 veces más propensos a tener un papel subordinado que un dominante. Los nombres masculiniz y y Este artículo está disponible en archivo bajo la licencia CC BY 4.0 DEED. Este artículo está disponible en archivo bajo la licencia CC BY 4.0 DEED. Disponible en Archivo

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Bias in Algorithmic Technology Exposed 

undefined's blog

Este audio es producido en el idioma original de la historia!

Cómo la IA asigna poder basado en la raza y el género

About Author

COMENTARIOS

ETIQUETAS

ESTE ARTÍCULO FUE PRESENTADO EN

Related Stories

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Toque para ganar: Telegram puede incorporar a los próximos 10 mil millones de usuarios de criptomonedas antes de Solana

¿Quieres ganar un concurso de redacción de HackerNoon? Esto es lo que recomiendan los ganadores del concurso #crypto-api

Navegando por las aguas: desarrollo de aplicaciones RAG de nivel de producción con lagos de datos

Creación de productos criptográficos centrados en el usuario: la importancia de los comentarios de los clientes

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps