Šaltinis Šaltinis Šaltinis Šaltinis Šaltinis Šaltinis Autorių : (1) Evan Shieh, Jaunųjų duomenų mokslininkų lyga (evan.shieh@youngdatascientists.org); 2) Faye-Marie Vassel, Stanfordo universitetas (3) Cassidy Sugimoto, Viešosios politikos mokykla, Gruzijos technologijos institutas; (4) Thema Monroe-White, Scharo politikos ir vyriausybės mokykla ir kompiuterių mokslo katedra, George Mason universitetas (tmonroew@gmu.edu). Authors: (1) Evan Shieh, Jaunųjų duomenų mokslininkų lyga (evan.shieh@youngdatascientists.org); 2) Faye-Marie Vassel, Stanfordo universitetas (3) Cassidy Sugimoto, Viešosios politikos mokykla, Gruzijos technologijos institutas; (4) Thema Monroe-White, Scharo politikos ir vyriausybės mokykla ir kompiuterių mokslo katedra, George Mason universitetas (tmonroew@gmu.edu). Stalas kairėje Abstrakcija ir 1 įvadas 1.1 Susiję darbai ir indėlis 2 Metodai ir duomenų rinkimas 2.1 Tekstinės tapatybės proksijos ir socialinė-psichologinė žala 2.2 Lytis, seksualinė orientacija ir rasė 3 Analizė 3.1 Žala dėl praleidimo 3.2 Subordinacijos pažeidimai 3.3 Stereotipų poveikis 4 Diskusijos, pripažinimai ir nuorodos SUPPLEMENTAL MATERIALS Operatyvinė galia ir tarpusavio ryšys B Išplėstinės techninės detalės B.1 Lyčių ir seksualinės orientacijos modeliavimas B.2 Modelių lenktynės B.3 Automatizuota tekstinių užrašų duomenų gavyba B.4 Atstovavimo santykis B5 Subordinacijos santykis B.6 Vidutinis rasizuotas pavaldumo santykis B.7 Išplėstinės užuominos stereotipų analizei B.8 Statistiniai metodai C Papildomi pavyzdžiai C.1 Labiausiai paplitę vardai, kuriuos sukūrė LM pagal rasę C.2 Papildomi atrinkti viso sintetinio teksto pavyzdžiai D. Duomenų ir viešojo naudojimo atskleidimas D.1 Laissez-Faire Prompts duomenų rinkinys B.3 Automatizuota tekstinių užrašų duomenų gavyba Norėdami išmatuoti praleidimo žalą (žr. papildomą B.4) surenkame 1000 kartų vienam kalbos modeliui, kad būtų pagamintas pakankamas bendras pavyzdžių skaičius, reikalingas „small-N“ populiacijoms modeliuoti [35]. Dėl gauto 500K istorijų duomenų rinkinio neįmanoma rankiniu būdu ištraukti tekstinių užuominų iš kiekvienos atskiros istorijos skaitymo. Pirma, mes rankiniu būdu paaiškinome lytį (pagal lyčių nuorodas) ir įvardijame 4600 vienodai atrinktų istorijų kartų iš visų penkių modelių vertinimo rinkinį, užtikrinant, kad visos trys sritys ir abi galios sąlygos būtų vienodai atstovaujamos. Tada mes naudojame „ChatGPT 3.5“ (gpt-3.5-turbo), kad atliktume automatinį ženklinimą naudojant S7 lentelėje pateiktus skambučių šablonus, pasirinktus pakartotinai per kandidato skambučius ir atrinkdami pagal tikslumą ir atšaukimą.Remiantis kiekvieno konkretaus pasakojimo skambučio scenarijais ir galios sąlygomis (žr. A priedą, S3, S4 ir S5 lenteles), mes koreguojame skambučių šablono „Character“ vietos turėtojo kintamąjį (-us). Kiekvienam gaunamam etiketės atsakymui mes bandome analizuoti grąžintą JSON atsakymą, kad atliktume programinį po apdorojimą, kad pašalintume haliucinacijas (pavyzdžiui, nuorodas ar vardus, kurie neegzistuoja istorijos tekstuose). Mes stebime rezultatus, atitinkančius ankstesnius susijusius co-referencijos sprendimo tyrimus, kurie rodo, kad automatizuotos sistemos nepakankamai veikia minoritizuotose tapatybės grupėse [58]. Pavyzdžiui, mes pastebime, kad iš anksto apmokytas gpt-3.5-turbo modelis neveikia gerai ne dvejetainiams pronomams, pvz., Jie / Jie, dažnai sunku atskirti atskirų simbolių rezoliucijas nuo grupių. Norėdami išspręsti tokias problemas, mes toliau ranka ženkliname 150 istorijų (išskyrus vertinimo duomenų rinkinį), ypatingą dėmesį skiriant atvejams, su kuriais mes nustatėme pradinį modelį, su kuriuo turime kovoti, įskaitant ne dvejetainius vardinius vardus meilės srityje. Atkreipiame dėmesį, kad uždarojo kodo modelio, pvz., „ChatGPT“, subtilinimas turi galimų trūkumų, įskaitant informuotumo trūkumą, jei pasikeičia pagrindiniai modeliai.Be to, šio rašymo metu „OpenAI“ nepateikė išsamios informacijos apie algoritmus, kuriuos jie naudoja subtilinimui. B.4 Atstovavimo santykis Naudojant stebimą rasę ir lytį, mes kiekybiškai įvertiname statistinius santykius, atitinkančius praleidimo ir pavaldumo žalą. Kaip proporcija simbolių, kurių stebimasis demografinis skaičius padalintas iš stebimojo demografinio skaičiaus palyginimo pasiskirstymo • • representation ratio p p Palyginimo pasiskirstymo p* pasirinkimas skiriasi priklausomai nuo pageidaujamo studijų konteksto. Pavyzdžiui, jis gali būti naudojamas palyginti su dalyko ar profesijos specifiniais procentais (žr. S1 ir S2 lenteles). Atsižvelgiant į ankstesnius tyrimus, kuriuose stebima, kaip „teisingumo“ apibrėžtys gali užgožti sisteminius iššūkius, su kuriais susiduria tarpsektorinės mažumos grupės [37], mes sutelkiame dėmesį į santykinį laipsnį, kuriuo mūsų studijų demografija yra praleista arba pernelyg atstovaujama už sociologinių veiksnių, kurie jau formuoja demografinę sudėtį, kad būtų nevienoda. Šešios iš septynių rasinių kategorijų yra priskirtos tikimybei 2022 m. Skaitymui [83], išskyrus MENA, nes tai buvo pasiūlyta tik OMB 2023 m. Todėl mes iš pradžių nustatėme MENA naudojant bendrą atstovavimą Vikipedijos duomenų rinkinyje [57]. Norėdami apskaičiuoti p* dėl seksualinės orientacijos ir lytinės tapatybės (SOGI), mes naudojame JAV 2021 m. Skaitymui skirtą namų impulsų tyrimą (HPS) [85], kurio tyrimai parodė, kad sumažėja žinomos LGBTQ+ tapatybių skaičiavimo problemos [60]. Žr. S9 lentelę, kaip SOGI priskiriame prie mūsų lyties ir tipų santykių schemos. Šaltinis Šaltinis Šis dokumentas yra prieinamas archive pagal CC BY 4.0 DEED licenciją. Šis dokumentas yra prieinamas archive pagal CC BY 4.0 DEED licenciją. Prieinama archyve

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Bias in Algorithmic Technology Exposed 

undefined's blog

Šis garso įrašas sukurtas originalia istorijos kalba!

Per ilgai; Skaityti

Make resilience your competitive advantage

Fine-Tuning AI modeliai geriau atpažinti lytį ir rasę istorijose

About Author

KOMENTARAI

PABAIGTI ŽYMES

ŠIS STRAIPSNIS BUVO PRISTATYMAS

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps