Az Az Az Az Az Az A szerzők: (1) Evan Shieh, Young Data Scientists League (evan.shieh@youngdatascientists.org) (2) Faye-Marie Vassel, Stanford Egyetem (3) Cassidy Sugimoto, Közpolitikai Iskola, Georgia Institute of Technology; (4) Thema Monroe-White, Schar Politikai és Kormányzati Iskola és Számítástechnika Tanszék, George Mason Egyetem (tmonroew@gmu.edu). Authors: (1) Evan Shieh, Young Data Scientists League (evan.shieh@youngdatascientists.org) (2) Faye-Marie Vassel, Stanford Egyetem (3) Cassidy Sugimoto, Közpolitikai Iskola, Georgia Institute of Technology; (4) Thema Monroe-White, Schar Politikai és Kormányzati Iskola és Számítástechnika Tanszék, George Mason Egyetem (tmonroew@gmu.edu). Baloldali asztal Absztrakt és 1 Bevezetés 1.1 Kapcsolódó munkák és hozzájárulások 2 Módszerek és adatgyűjtés 2.1 Szöveges identitási proxiák és társadalmi-pszichológiai károsodások 2.2 A nemek, a szexuális irányultság és a faj modellezése 3 Elemzése 3.1 Az elhanyagolás káros hatásai 3.2 Az alárendeltség károsodása 3.3 A sztereotípiák hatása 4 Beszélgetés, elismerések és referenciák SUPPLEMENTAL MATERIALS Operatizáló hatalom és intersekcionalitás B. Kiterjesztett technikai részletek B.1 Nemek és szexuális irányultság modellezése B.2 Modellező verseny B.3 Automatizált adatbányászat szöveges idézetek B.4 Képviseleti arány B5 Alárendeltségi arány B.6 A racializált alárendeltség aránya B.7 Kiterjesztett idézetek a sztereotípiák elemzéséhez 8. Statisztikai módszerek C. További példák C.1 Leggyakoribb nevek által generált LM per faj C.2 A teljes szintetikus szövegek további kiválasztott példái D. Adatbázis és nyilvános felhasználás közzététele D.1 Adatlap a Laissez-Faire Prompts adatkészlethez B.3 Automatizált adatbányászat szöveges idézetek A kihagyás káros hatásainak méréséhez (lásd a B.4. kiegészítést) 1000 generációt gyűjtünk nyelvmodellenként, hogy elegendő számú mintát állítsunk elő a „kis-N” populációk modellezéséhez [35]. Az 500 000 történetből származó adatkészleten lehetetlen kézzel kivonni az egyes történetek olvasásából származó szöveges jeleket. Először is kézzel címkézzük a nemeket (a nemi referenciákon alapulva), és egy 4.600 egységesen mintavételezett történetgeneráció értékelésén alapulunk mind az öt modellből, biztosítva, hogy mind a három tartomány és mindkét teljesítményfeltétel egyenlő arányban legyen képviselt. Ezután a ChatGPT 3.5 (gpt-3.5-turbo) használatával automatizált címkézést hajtunk végre az S7 táblázatban látható prompt sablonok használatával, amelyeket a jelölt-megbízásokon keresztül történő ismétlés és a pontosság és a visszahívás alapján történő kiválasztás után választottunk ki. Minden kapott címke válasz esetén megpróbáljuk a visszaküldött JSON válasz elemzését elvégezni a hallucinációk eltávolítására szolgáló programozott utólagos feldolgozáshoz (például olyan hivatkozásokhoz vagy nevekhez, amelyek nem léteznek a történet szövegében). Megfigyeljük az eredményeket, összhangban a korábbi kapcsolódó tanulmányok a co-referencia felbontás, amely azt mutatja, hogy az automatizált rendszerek rosszul teljesítenek a kisebbségi identitási csoportok [58]. Például megjegyezzük, hogy az előzetesen képzett gpt-3.5-turbo modell nem jól működik a nem-bináris pronómák, mint ők / ők, gyakran nehéz megkülönböztetni a felbontások az egyes karakterek és csoportok. Az ilyen problémák megoldása érdekében további 150 történetet (az értékelési adatkészleten kívül) kézzel címkézünk, különös tekintettel azokra az esetekre, amelyekkel a kezdeti modellt küzdöttük, beleértve a nem-bináris előneveket a Szeretet tartományban. Megjegyezzük, hogy egy zárt forráskódú modell finomhangolása potenciális hátrányokkal jár, beleértve a tudatosság hiányát, ha a mögöttes modellek megváltoznak. Ezen túlmenően az OpenAI nem adott ki részletes információkat az algoritmusokról, amelyeket finomhangolásra használnak. A jövőbeni munkához a modellválasztásnak nem kell korlátozódnia a ChatGPT-re, és az nyílt forráskódú alternatívák is működhetnek. B.4 Képviseleti arány A megfigyelt faj és nem felhasználásával statisztikai arányokat számolunk ki, amelyek megfelelnek a kihagyás és az alárendeltség káros hatásainak. Ahogy az arány a megfigyelt demográfiai értékkel megosztott karakterek aránya a megfigyelt demográfiai érték arányával az összehasonlító eloszlásban * az representation ratio p p A p* összehasonlító eloszlás kiválasztása a kívánt tanulmányi kontextustól függően változik. Például a téma- vagy foglalkozási-specifikus százalékos arányok összehasonlítására lehetne használni (lásd az S1 és S2 táblázatot). Figyelembe véve a korábbi kutatásokat, amelyek megfigyelték, hogy a „igazságosság” meghatározásai elhomályosíthatják az intersectionalizált kisebbségi csoportok előtt álló rendszerszintű kihívásokat [37], inkább arra összpontosítunk, hogy mérjük a tanulmányunk demográfiai adatainak elhagyását vagy túlságosan képviseletét azon szociológiai tényezőkön túl, amelyek már a demográfiai összetétel egyenlőtlenségét alakítják ki. Ezért tanulmány A 2022-es népszámlálásban a hét faji kategória közül hatnak van valószínűsége [83], kivéve a MENA-t, mivel ezt csak az OMB javasolta 2023-ban. Ezért a Wikipédia adatkészletben a teljes képviseletet használjuk a MENA-ra [57]. A szexuális irányultság és a nemi identitás (SOGI) p*-jének kiszámításához az Egyesült Államok népszámlálása 2021-es háztartási impulzus felmérését (HPS) [85] használjuk, amely tanulmányok kimutatták, hogy csökkentik az LGBTQ+ identitások alulszámolásának ismert problémáit [60]. Lásd az S9 táblázatot, hogy hogyan térképezzük fel a SOGI-t a nemi és típusú kapcsolat Az Az Ez a dokumentum a CC BY 4.0 DEED licenc alatt érhető el. Ez a papír az CC BY 4.0 DEED licenc alatt. Elérhető archívum Elérhető archívum

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Bias in Algorithmic Technology Exposed 

undefined's blog

Ez a hanganyag a történet eredeti nyelvén készült!

Fine-Tuning AI modellek a nemek és a fajok jobb felismeréséhez a történetekben

About Author

HOZZÁSZÓLÁSOK

HANG TAGOK

EZT A CIKKET BEMUTATTA

Related Stories

HackerNoon Raises $250k at $50M Valuation From Forward Research

INTRODUCTION

On OpenAI Failed Board Coup of Sam Altman & the Danger of Leaving AI Fate in the Hands of a Few

THE LAST DAY OF NEW YORK

HackerNoon Raises $250k at $50M Valuation From Forward Research

INTRODUCTION

On OpenAI Failed Board Coup of Sam Altman & the Danger of Leaving AI Fate in the Hands of a Few

THE LAST DAY OF NEW YORK

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps