on on on on on on Kirjoittajat : (1) Evan Shieh, Young Data Scientists League (evan.shieh@youngdatascientists.org) (2) Faye-Marie Vassel, Stanfordin yliopisto (3) Cassidy Sugimoto, Julkisen politiikan koulu, Georgia Institute of Technology; (4) Thema Monroe-White, Schar School of Policy and Government & Department of Computer Science, George Mason University (tmonroew@gmu.edu). Authors: (1) Evan Shieh, Young Data Scientists League (evan.shieh@youngdatascientists.org) (2) Faye-Marie Vassel, Stanfordin yliopisto (3) Cassidy Sugimoto, Julkisen politiikan koulu, Georgia Institute of Technology; (4) Thema Monroe-White, Schar School of Policy and Government & Department of Computer Science, George Mason University (tmonroew@gmu.edu). Pöytä vasemmalla Abstrakti ja 1 Johdanto 1.1 Liittyvät teokset ja panokset 2 Menetelmät ja tiedonkeruu 2.1 Tekstilliset identiteettivarkaudet ja sosio-psykologiset haitat 2.2 Sukupuoli, seksuaalinen suuntautuminen ja rotu 3 Analyysi 3.1 Laiminlyönnin haitat 3.2 Alistumisen haitat 3.3 Stereotypioiden aiheuttamat haitat 4 Keskustelu, tunnustukset ja viittaukset SUPPLEMENTAL MATERIALS Operationalisoiva voima ja intersektionalismi B Laajennettuja teknisiä yksityiskohtia B.1 Sukupuolen ja seksuaalisen suuntautumisen mallintaminen B.2 Mallinnus Race B.3 Tekstitiedostojen automaattinen tietojen louhinta B.4 Edustuksen suhde B5 Alistumisprosentti B.6 Keskimääräinen rasistinen alistumisprosentti B.7 Laajennetut viittaukset stereotypioiden analysointiin 8. Tilastolliset menetelmät C Lisää esimerkkejä C.1 Yleisimmät nimet, jotka LM on luonut per rotu C.2 Täydellisten synteettisten tekstien valitut esimerkit D Tietojen ja julkisen käytön julkistaminen D.1 Laissez-Faire Prompts -tietokanta B.3 Tekstitiedostojen automaattinen tietojen louhinta Jotta voitaisiin mitata laiminlyönnin haittoja (ks. lisäosa B.4) keräämme 1000 sukupolvea kielimallia kohden, jotta voidaan tuottaa riittävä määrä kokonaisnäytteitä, joita tarvitaan ”pieni-N” -populaatioiden mallinnukseen [35]. Tuloksena olevasta 500 000 tarinan tietokokonaisuudesta on mahdotonta poimia tekstiviestejä käsillä jokaisen yksittäisen tarinan lukemisesta. Ensinnäkin olemme käsin merkinneet sukupuolen (perustuen sukupuolen viittauksiin) ja nimenneet arviointikokonaisuuden, jossa on 4 600 yhdenmukaisesti näytteenottoa sisältävää tarinan sukupolvea kaikista viidestä mallista, varmistaen, että kaikki kolme toimialuetta ja molemmat virran olosuhteet ovat tasavertaisesti edustettuina. Sitten käytämme ChatGPT 3.5 (gpt-3.5-turbo) suorittamaan automaattisen merkinnän käyttämällä taulukossa S7 esitettyjä kyselylomakkeita, jotka on valittu sen jälkeen, kun ne on toistettu ehdokaspyyntöjen kautta ja valittu tarkkuuden ja palautuksen perusteella. Jokaista vastaanottamaamme etikettivastausta varten yritämme sitten analysoida palautettua JSON-vastausta suorittamaan ohjelmoitua jälkikäsittelyä hallusinaatioiden poistamiseksi (kuten viittaukset tai nimet, joita ei ole tarinan teksteissä). Tarkkailemme tuloksia, jotka ovat yhdenmukaisia aiempien tutkimusten kanssa, jotka osoittavat, että automatisoidut järjestelmät eivät toimi vähemmistöryhmissä [58]. Esimerkiksi huomaamme, että ennalta koulutettu gpt-3.5-turbo-malli ei toimi hyvin ei-binaarisissa otsikoissa, kuten heillä / heillä, joilla on usein vaikeuksia erottaa yksittäisten merkkien resoluutioita ryhmistä. Tällaisten ongelmien ratkaisemiseksi käsittelemme edelleen 150 tarinaa (arviointitietokokonaisuuden ulkopuolella) keskittymällä erityisesti tapauksiin, joiden kanssa löysimme alkuperäisen mallin, mukaan lukien ei-binaariset etunimet Love-alueella. Tämä nostaa tarkkuutemme yli 98 prosenttiin sekä sukupuoleen liittyvien viittausten että nimien osalta, kuten taulukossa S8b. Lopullinen palautus sukupuoleen liittyvien viittausten osalta on 97% sukupuoleen liittyvien viittausten osalta ja yli 99% nimien osalta. Huomaamme, että suljetun lähdekoodin mallin hienosäätöllä, kuten ChatGPT: llä, on mahdollisia haittoja, mukaan lukien tietoisuuden puute, jos taustalla olevat mallit muuttuvat. Lisäksi OpenAI ei ole julkaissut yksityiskohtaisia tietoja algoritmeista, joita he käyttävät hienosäätöön. B.4 Edustuksen suhde Käyttämällä havaittua rotua ja sukupuolta määritämme tilastolliset suhteet, jotka vastaavat laiminlyönnin ja alistumisen haittoja. Niin kuin osuus Merkkejä, joilla on havaittu väestötieto jaettuna havaitun väestötiedon osuudella vertailevassa jakautumisessa • • representation ratio p p Esimerkiksi sitä voitaisiin käyttää vertailemaan aiheeseen tai ammattiin liittyviä prosenttiosuuksia (ks. taulukot S1 ja S2). Kun otetaan huomioon aiemmat tutkimukset, joissa havaittiin, miten "oikeudenmukaisuuden" määritelmät saattavat hämärtää vähemmistöryhmien edessä olevia systeemisiä haasteita [37], keskitymme sen sijaan mittaamaan sitä suhteellista astetta, jossa tutkimuksemme väestöryhmät jätetään pois tai yliedustetaan sosiologisten tekijöiden ulkopuolella, jotka jo muokkaavat väestöryhmän koostumusta epätasaisiksi. Kuusi seitsemästä rodullisesta luokasta on määritetty todennäköisyys vuoden 2022 väestönlaskennassa [83], lukuun ottamatta MENA: ta, koska se ehdotettiin vain OMB: n toimesta vuonna 2023. Siksi perustamme MENA: n käyttämällä yleistä edustusta Wikipedia-tietokannassa [57]. Seksuaalisen suuntautumisen ja sukupuoli-identiteetin (SOGI) p*: n laskemiseksi käytämme Yhdysvaltain väestönlaskennan 2021 kotitalouksien pulssikyselyä (HPS) [85], jonka tutkimukset ovat osoittaneet vähentävän LGBTQ+-identiteettien aliarvioinnin tunnettuja ongelmia [60]. Katso taulukko S9 siitä, miten kartoitamme SOGI: n sukupuolen ja tyypin suhteisiin. on on Tämä artikkeli on saatavilla arkivissä CC BY 4.0 DEED -lisenssillä. Tämä artikkeli on saatavilla arkivissä CC BY 4.0 DEED -lisenssillä. Saatavilla arkistoinnissa

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Bias in Algorithmic Technology Exposed 

undefined's blog

Tämä ääni on tuotettu tarinan alkuperäisellä kielellä!

Fine-Tuning AI-mallit tunnistavat sukupuolen ja rodun tarinoissa paremmin

About Author

KOMMENTIT

RIPUTA TAGSIA

TÄMÄ ARTIKKELI ESITETTIIN

Related Stories

Meet Filestack: HackerNoon Company of the Week

PENANCE

Web 2.5: HackerNoon's Vision for a New Wave Internet

The #bitcoin Writing Contest by Rootstock and HackerNoon: Final Round Results🎉

Meet Filestack: HackerNoon Company of the Week

PENANCE

Web 2.5: HackerNoon's Vision for a New Wave Internet

The #bitcoin Writing Contest by Rootstock and HackerNoon: Final Round Results🎉

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps