Taylor Hahn, die leert aan de Johns Hopkins University, kreeg een waarschuwing tijdens het beoordelen van een studentenartikel dit voorjaar voor een communicatiecursus. hij had de opdracht geüpload naar Turnitin, software die door meer dan 16.000 academische instellingen over de hele wereld wordt gebruikt om plagiaatteksten op te sporen en, sinds april, om met AI gegenereerd schrijven te vlaggen. "Het ontwerp van veel GPT-detectoren discrimineren inherent tegen niet-native auteurs, met name die met beperkte taalkundige diversiteit en woordkeuze," zei Liang via e-mail. Hai Long Do, een opkomende junior aan de Universiteit van Miami in Oxford, Ohio, zei dat het angstaanjagend is om te denken dat de uren die hij besteedt aan onderzoek, opstellen en herziening van zijn papieren in twijfel kunnen worden gebracht vanwege onbetrouwbare AI-detectoren. Colleges en universiteiten     hun   dat beschuldigingen van academisch misdrijf kunnen leiden tot een schorsing of uitzetting die hun visumstatus zou ondermijnen. De dreiging van deportatie kan voelen als een legitieme angst. Shyam Sharma is een docent aan de Stony Brook University die een boek schrijft over de aanpak van de Verenigde Staten om internationale studenten op te leiden. hij zegt dat universiteiten routinematig deze subgroep op hun campussen niet ondersteunen en professoren vaak hun unieke omstandigheden niet begrijpen. Sharma ziet het voortdurende gebruik van defecte AI-detectoren als een voorbeeld van hoe instellingen de internationale studenten van het land negeren. “Gezien het potentieel voor wantrouwen en angst dat wordt veroorzaakt door de inzet van GPT-detectoren, roept dit vragen op over de vraag of de negatieve impact op de leeromgeving de waargenomen voordelen overtreft.” Annie Chechitelli, Chief Product Officer voor Turnitin, zei dat het gereedschap van het bedrijf werd getraind in het schrijven door Engels sprekende mensen in de VS en in het buitenland, evenals meertalige studenten, dus de vooroordelen van Liang's papier zouden niet moeten worden geïdentificeerd.  Hoewel dat onderzoek nog niet is gepubliceerd, zei Chechitelli tot nu toe dat het antwoord lijkt nee. Toch heeft ze toegegeven dat de tool uiteindelijk leert dat complexer schrijven waarschijnlijker menselijk is, gezien de patronen in trainingsessays. Heewon Yang, een opkomende senior aan de Universiteit van New York en een inwoner van Zuid-Korea, is gefrustreerd door AI-detectoren en haar kwetsbaarheid voor hen. „Als het de AI is die onze taalpatronen opneemt en automatisch besluit, weet ik niet hoe ik dat kan voorkomen”, zei ze. "Hoewel de aanpak van Turnitin goed bedoeld lijkt," zei hij per e-mail, "is het van vitaal belang om de resultaten van hun lopende tests en eventuele evaluaties van derden te zien om een uitgebreid begrip te vormen van de prestaties van hun tool in real-world scenario's." In een nota aan de faculteit eind juni zei het onderwijscentrum van de universiteit dat het het gebruik van AI-detectoren niet ondersteunt, met vermelding van het feit dat valse positieven "het risico lopen van verlies van vertrouwen, vertrouwen en motivatie van studenten, slechte publiciteit en mogelijke juridische sancties." Hoewel de ervaring van internationale studenten niet centraal stond in hun besluitvorming, zei John Radziłowicz, interim-directeur van onderwijsondersteuning aan de Universiteit van Pittsburgh, dat zijn team een handvol beschikbare AI-detectoren heeft getest en heeft besloten dat valse positieven te vaak zijn om hun gebruik te rechtvaardigen. ‘hr’ Turnitin labelde meer dan 90 procent van het papier van de student als door AI gegenereerd. Hahn richtte een Zoom-bijeenkomst op met de student en legde de bevindingen uit en vroeg om notities en andere materialen te bekijken die werden gebruikt om het papier te schrijven.  "Deze student, onmiddellijk, zonder voorafgaande kennisgeving dat dit een AI-kwestie was, toonden ze me ontwerpen, PDF's met hoogtepunten over hen," zei Hahn. In een ander geval werkte Hahn rechtstreeks met een student aan een schets en ontwerpen van een paper, alleen om de meerderheid van het ingediende papier door Turnitin te laten vlaggen als door AI gegenereerd. In de loop van het voorjaarssemester merkte Hahn een patroon van deze valse positieven op. Turnitin's tool was veel waarschijnlijker om het schrijven van internationale studenten als AI-gegenereerd te markeren. Toen Hahn deze trend begon te zien, ontwierp een groep Stanford computerwetenschappers een experiment om de betrouwbaarheid van AI-detectoren beter te begrijpen bij het schrijven door niet-native Engelssprekers. Ze publiceerden vorige maand een paper,  het vinden van een duidelijke vooroordeel In de tussentijd maakten de detectoren bijna nooit dergelijke fouten bij het beoordelen van het schrijven van moedertaalsprekers. AI-detectoren zijn meestal geprogrammeerd om te vlaggen schrijven als door AI gegenereerd wanneer de woordkeuze voorspelbaar is en de zinnen eenvoudiger zijn. Mensen hebben meestal grotere woordenschat en een beter begrip van complexe grammatica in hun eerste talen. Dit betekent dat niet-native-Engelse sprekers de neiging hebben om eenvoudiger in het Engels te schrijven. Zo doet ChatGPT. In feite nabootst het menselijk schrijven door alles te analyseren wat het ooit heeft verwerkt en zinnen te maken met behulp van de meest voorkomende woorden en zinnen. Zelfs als AI-detectors niet specifiek zijn opgeleid om minder complex schrijven, leren de hulpmiddelen dit te doen door steeds opnieuw te zien dat door AI gegenereerd schrijven minder complex is. Weixin Liang, een van de auteurs van de Stanford studie, leerde Cantonese en Mandarin voor Engels. Hij was sceptisch over   van    claims near-perfect aanspraken bijna-perfect nauwkeurigheid Na ChatGPT debuteerde in november vorig jaar, veel van de nationale  bijna 950.000 internationale studenten in het hele land, net als hun collega's, overwogen de implicaties. opvoeders waren in paniek over het vooruitzicht van studenten met behulp van generatieve AI om taken te voltooien. En internationale studenten, toegestaan om hier te studeren met onderwijs-specifieke visa, realiseerden zich snel hun kwetsbaarheid in de wapenwedloop die ontstond tussen AI-generatoren en detectoren. bijna 950.000 "Veel erger," zei Do, "is dat een AI-vlag mijn reputatie in het algemeen kan beïnvloeden." routinely advise internationale studenten routinely advise internationale studenten “Omdat het slachtoffer hier minder belangrijk is”, zei Sharma. „Het slachtoffer hier is minder waardig van een tweede gedachte, of twijfel aan het instrument.” Er zijn onderwijzers geweest die echter de tool in twijfel hebben gesteld,   van AI-detectoren en de ernstige gevolgen van   Als de campus opnieuw wordt geopend voor het herfstsemester, moet de faculteit overwegen of het nieuwste onderzoek een duidelijker geval maakt voor het ontdekken, zoals Hahn, de foutbaarheid ongrondeloze beschuldigingen ontdekken, zoals Hahn, de foutbaarheid ongegronde beschuldigingen In Liang's paper wees zijn team erop dat valse beschuldigingen van bedrog schadelijk kunnen zijn voor de academische carrière en het psychologische welzijn van een student. Diane Larryeu, een inwoner van Frankrijk, studeert dit jaar aan de Cardozo School of Law in New York City. Vorig jaar, in een masteropleiding in het gemeenschappelijk recht in de buurt van Parijs, werd het Engelse essay van haar vriend gemarkeerd als door AI gegenereerd, zei ze. OpenAI   zijn AI-detector aan het einde van juli vanwege lage nauwkeurigheid, en Quill.org en CommonLit   met hun AI Writing Check, zeggen generatieve AI-tools zijn te verfijnd voor detectie. Turnitin, echter, heeft slechts verdubbeld op zijn claims van hoge nauwkeurigheid. shut down deed hetzelfde shut down deed hetzelfde Het bedrijf voert zijn eigen onderzoek uit naar de vraag of de tool minder nauwkeurig is bij het beoordelen van het schrijven van niet-native-Engelstalige mensen. Krediet: YouTube Dat is de reden waarom Liang zei dat hij sceptisch is Turnitin's detector kan de vooroordelen zijn team geïdentificeerd in hun paper te vermijden. In juni heeft Turnitin zijn software bijgewerkt om instellingen in staat te stellen  , dus hoewel de software het schrijven voor AI zal blijven beoordelen, zal de conclusie ervan niet worden weergegeven aan instructeurs. Aan het einde van juli hadden slechts twee procent van de instellingen van Turnitin-klanten die optie gebruikt, volgens het bedrijf. de AI-schrijfindicator uit te schakelen de AI schrijfindicator uitschakelen “We denken dat de focus op fraude en plagiaat een beetje overdreven en hyperbolisch is”, zei Radziłowicz. Heb je vals beschuldigd van bedrog? Als een AI-detector uw schrijven ten onrechte als door AI gegenereerd heeft geïdentificeerd, willen we erover horen. E-mail  . tara@themarkup.org tara@themarkup.org Kredieten      Onderzoeksreporter Tara Garcia Mathewson  Onderzoeksreporter Tara Garcia Mathewson Tara Garcia Mathewson Design en grafisch ontwerp       Joel Eastwood Gabriel Hongsdusit Joeel Eastwood Joeel Eastwood Gabriel Hongsdusit Gabriel Hongsdusit Video opnemen       Maria Puertas Dan Phiffer Maria Puertas Maria Puertas Vrouw Van Denken Voetblijfselen Betrokkenheid     Maria Puertas Maria Puertas Maria Puertas Copy editing en productie     Sabrina Toppa Sabrina Toppa Sabrina Toppa Bewerken       Ryan Tate Sisi Wei Ryan Tate Ryan Tate Sisi Wei Sisi Wei Ook gepubliceerd  hier Ook gepubliceerd  hier hier Foto van   op  gaspar zaldo Unsplash Foto van   op  gaspar zaldo Unsplash gaspar zaldo Unsplash

Every dollar you donate helps support The Markup’s work.

Read My Stories

Deze audio wordt geproduceerd in de originele taal van het verhaal!

Internationale studenten werden ten onrechte beschuldigd van bedrog dankzij AI-detectie-tools

About Author

OPMERKINGEN

LABELS

DIT ARTIKEL WERD GEPRESENTEERD IN

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps