In Wisconsin werden Studenten aufgrund ihrer Rasse und ihres Einkommens als „hochriskant“ eingestuft

Diese Geschichte wurde gemeinsam mit Chalkbeat veröffentlicht, einer gemeinnützigen Nachrichtenorganisation, die sich mit öffentlicher Bildung beschäftigt. Melden Sie sich hier für den Newsletter an.

Letzten Sommer trafen sich die Schulleiter der Bradford High School in Kenosha, Wisconsin, wie jedes Jahr, um die neue Klasse der Neuntklässler zu planen. Aus einer Liste von Hunderten von Mittelschülern erstellten der stellvertretende Schulleiter Matt Brown und seine Mitarbeiter eine Liste mit 30 bis 40 Schülern, von denen sie vermuteten, dass sie am meisten Schwierigkeiten haben würden, ihren Abschluss zu machen.

Im Laufe der Sommerferien gingen Brown und sein Team die Liste durch und besuchten das Zuhause jedes Kindes. Die Mitarbeiter brachten den Schülern T-Shirts mit, stellten sich den Eltern vor, hinterließen ihre Kontaktdaten und hoffentlich einen positiven ersten Eindruck.

„Es ist wie: ‚Hey, wir möchten dich mit etwas Bradford-Ausrüstung ausstatten.‘ „Du wirst jetzt Teil einer Bradford-Familie sein“, sagte Brown.

„Es geht sozusagen von dem Standpunkt aus: ‚Hey, wir sind hier, um dich zu unterstützen‘, nicht unbedingt ‚Hey, dein Kind hat letztes Jahr wirklich Mist gebaut‘ … weil wir nicht wollen, dass Eltern sich so fühlen wie du.“ Sie bezeichnen ihr Kind bereits als jemanden, der Unruhe stiftet.“

Aber in den meisten Fällen landen die Studenten auf Bradfords Liste für Sommerbesuche dort, weil ihnen ein rassistisch ungerechter Algorithmus des Bundesstaates Wisconsin die Bezeichnung „hohes Risiko“ zugewiesen hat und häufig Fehlalarme auslöst.

Seit 2012 erhalten Schulverwalter in Wisconsin wie Brown ihren ersten Eindruck von neuen Schülern über das Dropout Early Warning System (DEWS), ein Ensemble maschineller Lernalgorithmen, die historische Daten nutzen – wie etwa Testergebnisse der Schüler, Disziplinarunterlagen, kostenlos oder ermäßigt Mittagessenpreisstatus und Rennen – um vorherzusagen, wie wahrscheinlich es ist, dass jeder Sechst- bis Neuntklässler im Bundesstaat die High School pünktlich abschließt.

Zweimal im Jahr erhalten Schulen eine Liste ihrer eingeschriebenen Schüler mit der farbcodierten DEWS-Vorhersage neben jedem Namen: Grün für geringes Risiko, Gelb für mäßiges Risiko oder Rot für hohes Abbruchrisiko.

Bildungsbeamte hielten DEWS einst für ein wichtiges Instrument im Kampf gegen die Abschlusslücke des Staates.

Während 94 Prozent der weißen Schüler letztes Jahr pünktlich ihren Abschluss machten , schlossen nur 82 Prozent der hispanischen und 71 Prozent der schwarzen Schüler die High School in vier Jahren ab. Ziel von DEWS war es, personalisierte Vorhersagen früh genug in die Hände von Pädagogen zu legen, damit diese eingreifen konnten, bevor ein Kind offensichtliche Anzeichen dafür zeigte, dass es vom Kurs abweicht.

Aber nach einem Jahrzehnt der Nutzung und Millionen von Vorhersagen hat The Markup herausgefunden, dass DEWS die Wahrnehmung von Schülern, insbesondere farbigen Schülern, durch Lehrkräfte möglicherweise falsch und negativ beeinflusst.

Und eine demnächst erscheinende akademische Studie von Forschern der University of California in Berkeley, die Daten und vorab veröffentlichte Ergebnisse mit The Markup geteilt haben, kommt zu dem Schluss, dass DEWS sein Hauptziel nicht erreicht hat: die Abschlussquoten für die Studenten zu verbessern, die es als „hochriskant“ einstuft. ”

Eine im Jahr 2021 durchgeführte interne Gerechtigkeitsanalyse des Department of Public Instruction (DPI) ergab, dass DEWS deutlich häufiger Fehlalarme darüber auslöste, dass schwarze und hispanische Schüler ihren Abschluss nicht pünktlich machten, als dies bei ihren weißen Klassenkameraden der Fall war.

Die Fehlalarmrate des Algorithmus – also die Häufigkeit, mit der ein Student, von dem er vorhersagte, dass er seinen Abschluss nicht rechtzeitig abschließen würde, tatsächlich pünktlich seinen Abschluss machte – war bei schwarzen Studenten um 42 Prozentpunkte höher als bei weißen Studenten, laut einer DPI- Präsentation, die die Analyse zusammenfasst , die wir durch a erhalten haben Anfrage nach öffentlichen Aufzeichnungen.

Die Fehlalarmrate war bei hispanischen Studierenden 18 Prozentpunkte höher als bei weißen Studierenden.

DPI hat den Schulbeamten, die DEWS verwenden, weder von den Ergebnissen erzählt, noch scheint es die Algorithmen in den fast zwei Jahren, seit es zu dem Schluss kam, dass DEWS unfair sei, geändert zu haben.

Die DPI-Präsentation, die die von uns überprüfte Gerechtigkeitsanalyse zusammenfasst, enthielt nicht die zugrunde liegenden Fehlalarmraten für schwarze, hispanische und weiße Studierende, die DPI für seine Berechnungen verwendet hat. Es wurden auch keine Ergebnisse für Schüler anderer Rassen berücksichtigt.

Die Abteilung lehnte es ab, Fragen zur Analyse zu beantworten, und als Antwort auf eine spätere Anfrage nach öffentlichen Aufzeichnungen teilte DPI mit, dass es über die Präsentation hinaus über keine Dokumentation der Ergebnisse der Aktienanalyse verfüge. (Ein Video der Präsentation finden Sie hier .)

Ein separater DPI- Validierungstest der DEWS-Genauigkeit im März 2021 zeigt, dass die Vorhersage, dass ein Student seinen Abschluss nicht rechtzeitig abschließen würde, in fast drei Vierteln der Fälle falsch lag.

Die von uns befragten Studenten waren überrascht, als sie erfuhren, dass DEWS existierte, und sagten gegenüber The Markup, sie seien besorgt, dass ein Algorithmus ihre Rasse nutzen würde, um ihre Zukunft vorherzusagen und sie als hohes Risiko einzustufen.

„Es gibt farbigen Schülern das Gefühl, getrennt zu sein … als hätten sie automatisch weniger“, sagte Christopher Lyons, ein schwarzer Schüler, der 2022 seinen Abschluss an der Bradford High School machte.

Die DPI-Sprecherin von Wisconsin, Abigail Swetz, lehnte es ab, Fragen zu DEWS zu beantworten, gab jedoch eine kurze Erklärung per E-Mail ab.

„Ist DEWS rassistisch?“ Swetz schrieb. „Nein, die Datenanalyse ist nicht rassistisch. Es ist Mathematik, die unsere Systeme widerspiegelt. Die Realität ist, dass wir in einer weißen, supremacistischen Gesellschaft leben und das Bildungssystem systematisch rassistisch ist. Deshalb braucht die DPI Tools wie DEWS und deshalb setzen wir uns für Bildungsgerechtigkeit ein.“

Als Antwort auf unsere Erkenntnisse und weitere Fragen schrieb Swetz: „Sie haben ein grundlegendes Missverständnis darüber, wie dieses System funktioniert.“ Wir bleiben bei unserer bisherigen Antwort.“ Sie erklärte nicht, was dieses grundlegende Missverständnis war.

Um herauszufinden, wie sich DEWS auf die von ihm beurteilten Schüler ausgewirkt hat, untersuchte The Markup unveröffentlichte DPI-Forschung, analysierte 10 Jahre DEWS-Daten auf Bezirksebene, befragte Schüler und Schulbeamte und sammelte Umfrageantworten aus 80 der mehr als 400 Bezirke des Bundesstaates ihre Verwendung der Vorhersagen.

Unsere Untersuchung zeigt, dass viele Bezirke in Wisconsin DEWS verwenden – 38 Prozent derjenigen, die an unserer Umfrage teilgenommen haben – und dass die technischen Mängel der Algorithmen durch mangelnde Schulung der Pädagogen noch verstärkt wurden.

DEWS ist ein freiwilliges Programm und DPI ermutigt Pädagogen , die Vorhersagen in Kombination mit anderen lokalen Daten über Schüler zu nutzen, um Entscheidungen zu treffen. Die Agentur verfolgt nicht, ob und wie Schulen die Vorhersagen nutzen.

Schulleiter, Superintendenten und andere Administratoren teilten The Markup mit, dass sie kaum oder gar keine Erklärung dazu erhalten hätten, wie DEWS seine Vorhersagen berechnet oder wie man eine Bezeichnung wie „hohes Risiko“ in die entsprechende Intervention umwandelt.

In Bezirken wie Kenosha benötigen farbige Schüler keine Daten, um die Konsequenzen zu verstehen, wenn sie von voreingenommenen Systemen beurteilt werden. Im Jahr 2020 sorgte die Stadt nach der Erschießung von Jacob Blake durch die Polizei landesweit für Schlagzeilen.

Und Anfang dieses Jahres verklagte die Familie einer 12-jährigen schwarzen Schülerin den Kenosha Unified School District, nachdem ein außerdienstlicher Polizist im Sicherheitsdienst sie in der Kantine ihrer Schule in einen Würgegriff gesteckt hatte.

Im Jahr 2018, dem Jahr, in dem Lyons die Bradford High School betrat, wurde ein dortiger Lehrer wiederholt dabei gefilmt, wie er vor Schülern eine rassistische Beleidigung ausführte . In diesem Jahr stufte das DEWS 43 Prozent der schwarzen Neuntklässler in Kenosha als hochgefährdet ein, verglichen mit 11 Prozent der weißen Neuntklässler.

Zu diesem Zeitpunkt, sagte Lyons, habe er bereits die akademische Motivation verloren. „Man hatte irgendwie das Gefühl, dass von uns nicht viel erwartet wurde“, sagte er. „Es fühlte sich an, als wüssten sie, dass wir einfach zum Scheitern verurteilt waren.“

Dann geschah in seinem zweiten Studienjahr etwas Unerwartetes: Die COVID-19-Pandemie schlug zu, der Unterricht wurde virtuell und, wie er es ausdrückte, „schnellten“ seine Noten von einem Notendurchschnitt von 2,9 vor der Pandemie auf einen Notendurchschnitt von 3,8 nach der Umstellung auf Fernunterricht.

Was für viele Schüler eine verwirrende Unterbrechung ihrer Ausbildung war, war für Lyons eine Atempause, die es ihm ermöglichte, sich zu konzentrieren. „Ich stand nicht unter dem sozialen Druck der Lehrer um mich herum oder der Verwaltung um mich herum“, sagte er. „Es waren nur ich, der Computer, mit wem auch immer ich gesprochen habe.“

Letztes Jahr begann Lyons sein erstes Studienjahr am Carthage College in Kenosha mit einem Vollstipendium. Seine Reise veranschaulicht die Eigenheiten der Persönlichkeit, des Lernstils und der Umgebung, die es nach Ansicht einiger Experten kontraproduktiv machen, die Zukunft eines einzelnen Schülers auf der Grundlage einer Analyse auf Bevölkerungsebene statistisch ähnlicher Schüler vorherzusagen.

Nichtsdestotrotz sind Frühwarnsysteme, die maschinelles Lernen nutzen, um die Ergebnisse von Schülern vorherzusagen , im K-12-Bereich und im Hochschulbereich weit verbreitet. Laut einer Markup-Umfrage in allen 50 Bundesstaaten stellen mindestens acht staatliche Bildungsbehörden algorithmische Frühwarnsysteme bereit oder bauen sie derzeit für die zukünftige Verwendung auf. Vier Staaten antworteten nicht.

Montana war neben Wisconsin der einzige Bundesstaat, der angab, die Leistung seines Frühwarnsystems bei verschiedenen Rassengruppen untersucht zu haben. Brian O'Leary, Sprecher des Montana Office of Public Instruction, sagte, dass die Gerechtigkeitsstudie seines Staates noch nicht abgeschlossen sei.

„Ist DEWS fair? NEIN ..."

Zu Beginn und in der Mitte eines jeden Jahres berechnet DEWS auf einer Skala von 0 bis 100, wie wahrscheinlich es ist, dass jeder neu hinzukommende Schüler der sechsten bis neunten Klasse die High School pünktlich abschließt.

Ein Wert von 90 bedeutet, dass Studierende mit ähnlichen akademischen, verhaltensbezogenen und demografischen Merkmalen in der Vergangenheit in 90 Prozent der Fälle pünktlich ihren Abschluss gemacht haben. Jeder Student, dessen DEWS-Punktzahl (plus Fehlerquote) unter 78,5 liegt, hat ein hohes Risiko, seinen Abschluss nicht rechtzeitig zu machen.

Um den Pädagogen das Verständnis der Vorhersagen zu erleichtern, übersetzt DPI die DEWS-Ergebnisse in ein einfaches, farbcodiertes Format. Neben dem Namen jedes Schülers befindet sich im DEWS-Tab des landesweiten Informationssystems ein Etikett mit seiner Punktzahl und einer grünen „geringen“, gelben „mäßigen“ oder roten „hohen“ Risikobezeichnung.

Im akademischen Jahr 2020–21 wurden mehr als 32.000 Schüler – 15 Prozent der Schüler der sechsten bis neunten Klasse des Staates – als „hohes Risiko“ eingestuft.

Bildunterschrift: Beispiele, wie die DEWS-Vorhersagen von Studierenden im landesweiten Informationssystem angezeigt werden. Bildnachweis: DEWS Data Brief von DPI

Experten sagen, dass das System so konzipiert ist, dass es unbeabsichtigt die Meinung der Pädagogen über die Schüler beeinflussen und knappe Schulressourcen fehlleiten könnte. Besonders besorgniserregend ist, wie stark sich DEWS auf Faktoren wie Rasse, Behinderung und Familienvermögen stützt, die wahrscheinlich zu systemischer Diskriminierung führen und an denen weder die Schule noch der Schüler etwas ändern können.

Andere in DEWS eingespeiste Datenpunkte, wie z. B. Disziplinarquoten, weisen deutliche Rassenunterschiede auf – DPI weiß das und hat auf seiner Website darüber geschrieben .

„Ich frage mich, wie diese Risikokategorien Schulen und Bezirke dazu bringen, sich auf Einzelpersonen statt auf strukturelle Probleme zu konzentrieren – und zu sagen, dass dieses Kind diese Dinge braucht, und nicht, dass strukturelle Probleme der Grund dafür sind, dass wir diese Risiken sehen“, sagte Tolani Britton , Professor für Pädagogik an der UC Berkeley, der die bevorstehende Studie zu DEWS mitverfasst hat.

„Ich denke nicht, dass es schlecht ist, dass Schüler zusätzliche Ressourcen erhalten, aber gleichzeitig scheint es ein gefährlicher Weg zu sein, Algorithmen zu entwickeln, die Ihre Rasse oder ethnische Zugehörigkeit mit Ihrer Fähigkeit, die High School abzuschließen, in Verbindung bringen.“

Wenn DEWS prognostiziert, dass ein Student seinen Abschluss machen wird, liegt er in der Regel richtig – 97 Prozent der Fälle, in denen diese Studenten innerhalb der üblichen vier Jahre ihren Abschluss machen, geht aus dem Validierungstest 2021 hervor, der zeigt, wie die Algorithmen beim Testen anhand historischer Daten abgeschnitten haben.

Aber wenn DEWS vorhersagte, dass ein Student dies nicht tun würde, lag es normalerweise falsch – 74 Prozent der Fälle, in denen diese Studenten pünktlich ihren Abschluss machten, ergab derselbe Test.

Dies ist teilweise beabsichtigt. DPI kalibriert DEWS, um ein weites Netz auszuwerfen und Studierende, die Gefahr laufen, ihr Studium abzubrechen, übermäßig zu identifizieren.

In einem Artikel über DEWS im Journal of Educational Data Mining aus dem Jahr 2015 schrieb der frühere DPI-Forschungsanalyst Jared Knowles, dass DPI „ausdrücklich erklärte, wir seien bereit, 25 Fehlalarme zu akzeptieren“, dass Studenten keinen Abschluss machen würden, wenn es darum ginge, einen Studienabbrecher korrekt zu identifizieren.

In seiner Eigenkapitalanalyse stellte DPI jedoch fest, dass die Algorithmen nicht gleichermaßen Fehlalarme auslösen.

Bildunterschrift: Ein Screenshot einer DPI-Präsentation, die die Ergebnisse der DEWS-Aktienanalyse der Abteilung zusammenfasst. Bildnachweis: Wisconsin DPI

„Um es mit Laienbegriffen auszudrücken: Das Modell überbewertet weiße Studenten unter den pünktlichen Absolventen, während es schwarze, hispanische und andere farbige Studenten unter den nicht pünktlichen Absolventen überbewertet“, schrieb ein DPI-Forschungsanalyst in Notizen für das Präsentation.

In der Präsentation wird nicht angegeben, welche DEWS-Ergebnisse für die Zwecke der Aktienanalyse als pünktlicher Abschluss gelten.

Die Notizen zur Folie mit dem Titel „Ist DEWS fair?“ enden Sie mit der Schlussfolgerung „Nein….“

„Sie haben definitiv ein Modell verwendet, das systematische Fehler in Bezug auf die Rasse der Schüler aufweist, und das muss wirklich behoben werden“, sagte Ryan Baker, Pädagogikprofessor an der University of Pennsylvania, der sich mit Frühwarnsystemen beschäftigt.

„Sie hatten demografische Faktoren als Prädiktoren und das wird die Bedeutung dieser Variablen überbetonen und diese Art von Effekt verursachen.“

↩︎ Link

Ein Jahrzehnt entmystifiziertes DEWS

Kürzlich hat ein Forscherteam, das hauptsächlich an der UC Berkeley arbeitet – der Doktorand Juan Perdomo, Britton und die Experten für algorithmische Fairness Moritz Hardt und Rediet Abebe – die Wirksamkeit von DEWS aus einer anderen Perspektive untersucht.

Ihre Forschung unter Verwendung von DEWS-Daten aus fast zehn Jahren – die DPI freiwillig zur Verfügung gestellt hat – ist die bisher umfangreichste Analyse darüber, wie sich ein prädiktives Frühwarnsystem auf die Ergebnisse von Schülern auswirkt.

Während frühere Studien untersucht haben, wie genau Frühwarnsysteme funktionieren, wenn sie anhand historischer Daten getestet werden, untersucht die UC Berkeley-Studie, ob DEWS zu besseren Abschlussquoten für tatsächliche Studenten mit hohem Risiko führte.

Die Forscher testeten, ob sich die Abschlussquoten für Studierende verbesserten, deren DEWS-Ergebnisse knapp unter dem Schwellenwert von 78,5 lagen, um sie in die Kategorie mit hohem Risiko einzuordnen, im Vergleich zu Studierenden, deren Ergebnisse knapp über diesem Schwellenwert lagen und sie in die Kategorie mit mittlerem Risiko einordneten.

Wenn das System wie vorgesehen funktionieren würde, würden Studierende in der Hochrisikokategorie bessere Abschlussquoten verzeichnen, weil sie zusätzliche Ressourcen erhielten. Die Studie ergab jedoch, dass die Einstufung in die Hochrisikokategorie keinen statistisch signifikanten Einfluss darauf hatte, ob die Studierenden ihren Abschluss pünktlich abschlossen.

„Es gibt keine Beweise dafür, dass die Vorhersagen des DEWS in irgendeiner Weise die Wahrscheinlichkeit eines pünktlichen Abschlusses beeinflusst haben“, schreiben die Autoren.

Wenn das System wie vorgesehen funktionieren würde und die Schulen mehr Ressourcen an Schüler mit hohem Risiko richten würden, so die Studie der UC Berkeley, hätte dies andere, aber auch ungleiche Auswirkungen.

„Wenn Schulen Schüler für Interventionen auswählen, indem sie ihre [DEWS]-Ergebnisse bewerten und diejenigen mit der geringsten vorhergesagten Abschlusswahrscheinlichkeit auswählen, würden unterversorgte Schüler systematisch übersehen und depriorisiert“, schreiben die Autoren.

Das liegt daran, dass die prognostizierten Abschlussquoten des DEWS nicht genau die tatsächlichen Abschlussquoten der Studierenden widerspiegeln. Vor allem weiße Studenten schließen viel häufiger ab, als ihre DEWS-Ergebnisse vermuten lassen, wie aus Daten hervorgeht, die die Forscher der UC Berkeley The Markup mitgeteilt haben.

Beispielsweise schlossen Farbstudierende, die DEWS-Werte von 83 erhielten, ihren Abschluss in 90 Prozent der Fälle pünktlich ab. Das entspricht der landesweiten durchschnittlichen Abschlussquote von Wisconsin im letzten Jahr.

Weiße Studenten, die den gleichen DEWS-Wert von 83 erreichten, schlossen ihr Studium in 93 Prozent der Fälle pünktlich ab, was über dem Landesdurchschnitt liegt.

Entscheidend ist jedoch, dass weiße Studierende, die deutlich niedrigere DEWS-Werte von 63 erzielten, ihren Abschluss im Wesentlichen genauso pünktlich machten wie die höher bewerteten weißen Studierenden: 92 Prozent der Zeit.

Aber farbige Schüler, die DEWS-Werte von 68 erreichten, schlossen ihr Studium nur in 81 Prozent der Fälle pünktlich ab, was unter dem Landesdurchschnitt liegt.

Mit anderen Worten: Wenn Pädagogen dem Rat von DEWS gefolgt wären und weißen Schülern mit einem Wert von 63 den Vorrang vor farbigen Schülern mit einem Wert von 68 eingeräumt hätten, hätten sie Schülern, die letztendlich einen Abschluss mit überdurchschnittlichen Abschlussquoten erzielten, den Vorzug gegeben gegenüber Schülern, die letztendlich einen Abschluss mit unterdurchschnittlichen Werten erzielten. Durchschnittspreise.

Die Studie kam zu dem Schluss, dass diese besondere Eigenart des Algorithmus die Ungleichheit in Wisconsin wahrscheinlich nicht verschärft hat, da DEWS die Ergebnisse für Personen mit hohem Risiko nicht verbessert, unabhängig von der Rasse.

Fortgeschrittene Algorithmen, Schulsystem der zweiten Klasse

Von Anfang an förderte DPI DEWS als kostengünstiges Instrument zur Bekämpfung der „inakzeptablen“ Abschlusslücke des Staates. Doch das Frühwarnsystem war nicht die erste Wahl der Behörde.

Als Teil seines halbjährlichen Haushaltsvorschlags im Jahr 2011 beantragte Wisconsin DPI, das unter der Führung von Tony Evers, dem heutigen Gouverneur des Bundesstaates, stand , 20 Millionen US-Dollar für ein Zuschussprogramm „Jedes Kind ein Absolvent“, das Ressourcen direkt an schwächelnde Bezirke senden sollte .

In diesem Jahr schlossen 91 Prozent der weißen Schüler im Bundesstaat die High School pünktlich ab, verglichen mit 64 Prozent der schwarzen Schüler.

Doch der damalige Gouverneur Scott Walker hatte einen anderen Plan für die öffentliche Bildung. Er kürzte die staatlichen Mittel für öffentliche Schulen aus dem Zweijahreshaushalt um fast 800 Millionen US-Dollar , etwa sieben Prozent. Dazu gehörten die 20 Millionen US-Dollar für „Jedes Kind ein Absolvent“, von denen Walkers Verwaltung 15 Millionen US-Dollar für den Aufbau eines landesweiten Studenteninformationssystems umleitete , um alle Schülerdaten an einem Ort zu speichern.

Da das Stipendienprogramm abgelehnt wurde, aber im Besitz einer Fülle neuer Daten war, suchte DPI nach einer High-Tech-Lösung für die Abschlusslücke. Im Jahr 2012 begann das Unternehmen mit der Pilotierung von DEWS.

Zum Zeitpunkt seiner Gründung war DEWS eines der fortschrittlichsten prädiktiven Frühwarnsysteme des Landes.

Seine Genauigkeit „entsprach einigen der angesehensten derzeit verwendeten Systeme, wird jedoch in größerem Maßstab, in einer vielfältigeren Reihe von Schulumgebungen und in früheren Klassenstufen durchgeführt“, so Knowles, der ehemalige DPI-Forschungsanalyst Wer das System gebaut hat, schrieb im Journal of Educational Data Mining 2015.

DPI beschloss schnell, den Einsatz prädiktiver Analysen auszuweiten und führte 2016 einen Schwesteralgorithmus namens College and Career Readiness Early Warning System (CCREWS) ein, der vorhersagt, ob Studenten für das ACT und das College „bereit“ oder „nicht bereit“ sind.

In der Umfrage von The Markup unter Schulbezirken in Wisconsin gaben sieben von 80 Befragten an, dass sie CCREWS in irgendeiner Form nutzen, verglichen mit 30 Bezirken, die angaben, DEWS zu nutzen.

Im Jahr 2019 testete DPI ein weiteres auf DEWS basierendes Algorithmusmodell, das angeblich vorhersagen sollte, welche Studenten in AP-Kursen erfolgreich sein würden. Schulen in 11 Bezirken haben sich für das Pilotprojekt angemeldet, das Projekt wurde jedoch nach Ausbruch der COVID-19-Pandemie abgebrochen, wie aus Dokumenten hervorgeht, die im Rahmen einer Anfrage nach öffentlichen Aufzeichnungen eingeholt wurden.

Anzahl der Prozentpunkte, um die sich der Abschlussunterschied zwischen schwarzen und weißen Studenten in Wisconsin seit 2011, dem Jahr vor der Pilotierung von DEWS, verringert hat.

In den letzten zehn Jahren, in denen der Staat mit Vorhersagealgorithmen experimentiert hat, hat sich die Bildungsungleichheit in Wisconsin kaum verbessert.

Der Abschlussunterschied zwischen schwarzen und weißen Studierenden ist seit 2011 nur um vier Prozentpunkte von 27 auf 23 Prozent geschrumpft. Unterdessen war die Kluft zwischen den Lesenoten schwarzer und weißer Achtklässler in Wisconsin bei allen National Assessment of Educational Progress (NAEP) seit 2011 die schlechteste aller Bundesstaaten des Landes .

Seit 2009 gab es in jedem NAEP auch die größte Lücke zwischen den Mathematikergebnissen schwarzer und weißer Achtklässler aller Bundesstaaten.

„Die Frage, die ich immer stelle, wenn diese Daten veröffentlicht werden, ist nicht nur, wie schlecht es schwarzen Kindern geht, sondern wie kommt es, dass es weißen Kindern so gut geht?“ sagte Gloria Ladson-Billings, eine nationale Expertin für Bildungsungleichheit und pensionierte Professorin an der University of Wisconsin-Madison.

„Es ist nicht so, dass wir nicht wüssten, wie wir diese Kinder durchbringen können. Das Problem ist, dass sie wie Athleten der Division I aussehen müssen, damit wir uns genug darum kümmern.“

Schwarze und hispanische Schüler in Wisconsin sagten gegenüber The Markup, dass sie sich oft als Teil eines Schulsystems zweiter Klasse fühlen.

Kennise Perry, eine 21-jährige Schülerin an der UW-Parkside, besuchte die Milwaukee Public Schools, die zu 49 Prozent aus Schwarzen besteht, bevor sie in den Vorort Waukesha zog, wo die Schulen nur zu 6 Prozent aus Schwarzen bestehen. Sie sagte, ihre Kindheit sei schwierig gewesen, ihr Privatleben sei manchmal instabil und ihre Schulen würden sie wahrscheinlich als „Hochrisikoschülerin“ betrachten.

„Ich war in all meinen Klassen das einzige schwarze Kind. Keine andere Darstellung von jemandem, der wie ich aussieht, und meine Kollegen waren extrem rassistisch“, sagte sie. „Es war wirklich traumatisch. … Ich war einfach so wütend und wusste nicht, wie ich meine Wut einordnen sollte. Mir ging es elend.

Dann fingen natürlich die Etiketten und so an. Aber ich habe das Gefühl, dass der Unterschied zwischen Menschen, die es schaffen, und Menschen, die es nicht schaffen, die Menschen sind, die man um sich herum hat, als hätte ich Menschen, die sich um mich kümmerten und mir eine zweite Chance gaben und so. Wenn [DEWS] diese Kinder mit hohem Risiko und ihre Statistiken auflistet, gibt man ihnen nicht einmal eine Chance, sondern etikettiert sie bereits.“

Der Schulbezirk von Waukesha reagierte weder auf die Umfrage von The Markup noch auf die Bitte um einen Kommentar. Aus Dokumenten, die durch Anfragen nach öffentlichen Aufzeichnungen erlangt wurden, geht jedoch hervor, dass sich die Waukesha North High School, die Perry besuchte, für die Teilnahme am Pilotprojekt für den Algorithmus von DPI angemeldet hatte, der vorhersagen soll, welche Schüler in AP-Klassen erfolgreich sein würden.

Milwaukee Public Schools, der größte Bezirk des Bundesstaates, nutzen weder DEWS noch irgendeine Art von maschinellem Lernen für ihr Frühwarnsystem, schrieb Sprecher Stephen Davis in einer E-Mail an The Markup. Wie in vielen Bezirken und Bundesstaaten wird stattdessen ein Low-Tech-Ansatz verwendet, der Schüler anhand der Erfüllung bestimmter Kriterien, wie z. B. Abwesenheit für eine vordefinierte Anzahl von Tagen, als auf dem richtigen Weg oder nicht auf dem richtigen Weg erkennt.

Letztes Jahr gründeten Schüler der Cudahy High School ihre erste schwarze Studentenvereinigung als Reaktion auf rassistische Vorfälle, die ihrer Meinung nach von der Schulleitung nicht angemessen angegangen wurden.

„Sie wissen, dass [weiße Studenten] bereits einen Vorsprung haben“, sagte Mia Townsend, Juniorin und Vizepräsidentin der Black Student Union in Cudahy. „Man spürt diese Trennung bereits. … Sie haben mehr Möglichkeiten und mehr Spielraum, wenn es um bestimmte Dinge geht.“

Die Studenten der BSU haben organisch die gleichen unterstützenden Interventionen füreinander bereitgestellt, die der Staat durch seine Vorhersagealgorithmen zu erreichen hoffte.

Im Schuljahr 2020–21 legten 18 Prozent der weißen Schüler in Wisconsin AP-Prüfungen ab, verglichen mit 5 Prozent der schwarzen Schüler. Townsend, eine Studentin mit Auszeichnung, sagte, sie sei auf dem besten Weg, AP-Kurse zu meiden, bis ihr Mitschüler Maurice Newton, der Präsident der BSU, sie drängte, die Herausforderung anzunehmen. Sie bat darum, nächstes Jahr an einem AP-Englischkurs teilnehmen zu dürfen.

„Sie erwecken den Eindruck, dass es anspruchsvoller ist, und im Grunde ist es das Gleiche“, sagte Newton. „Man kann den Kurs mit einer guten Note bestehen.“

Als Antwort auf die Fragen von The Markup zu DEWS teilte die Bezirksleiterin von Cudahy, Tina Owen-Moore, einen E-Mail-Thread mit, in dem die Mitarbeiter zum Ausdruck brachten, dass sie nichts von den Vorhersagen wussten und sie derzeit nicht nutzten, dass die Berater jedoch „von dieser Ressource begeistert“ seien. ”

Nach Durchsicht unserer Ergebnisse schrieb Owen-Moore jedoch: „Das verändert sicherlich meine Sichtweise!!“

„Sie haben uns einfach die Daten gegeben und gesagt: ‚Finden Sie es heraus.‘ ”

Viele Bezirke, die an der Umfrage von The Markup geantwortet haben, gaben an, dass sie DEWS-Vorhersagen auf ähnliche Weise verwenden wie Brown und die Mitarbeiter der Bradford High School in Kenosha – um herauszufinden, welche neuen Schüler in ihren Gebäuden möglicherweise zusätzliche Aufmerksamkeit benötigen.

Im Schulbezirk der Stadt Appleton nutzen High-School-Fallmanager DEWS und andere Daten, um ankommende Erstsemesterschüler zu identifizieren, die Unterstützung benötigen, und um beispielsweise die Fallzahlen im Sonderpädagogikbereich zu ermitteln.

Der Winneconne School District verlässt sich „stark“ auf DEWS-Daten und sendet Briefe an Eltern, in denen er sie darüber informiert, dass ihr Kind möglicherweise gefährdet ist, obwohl diese Briefe keinen Bezug zum Algorithmus haben.

Einige Schulen haben jedoch andere Off-Label-Nutzungsmöglichkeiten für die Daten gefunden. Sara Croney, die Leiterin des Maple School District, sagte beispielsweise gegenüber The Markup, dass ihre Mitarbeiter die „wahrgenommenen unvoreingenommenen Daten“ von DEWS genutzt hätten, um sich erfolgreich um ein Personalentwicklungsstipendium zu bewerben, das darauf abzielt, nicht engagierte Schüler zu erreichen.

In der Stadt Racine verwendeten Mittelschulen einst DEWS, um auszuwählen, welche Schüler in ein spezielles „Violence Free Zone“-Programm aufgenommen werden sollten, zu dem auch die Unterbringung störender Schüler in einem separaten Klassenzimmer gehörte.

Der Racine School District nutzt „derzeit weder DEWS noch CCREWS“, schrieb Sprecherin Stacy Tapp in einer E-Mail.

Viele von The Markup befragte Administratoren sagten, sie hätten kaum oder gar keine Schulung dazu erhalten, wie DEWS seine Vorhersagen berechnet oder diese interpretiert.

„Sie haben uns einfach die Daten gegeben und gesagt: ‚Finde es heraus‘“, sagte Croney. „Also werden unsere Schulleiter es analysieren und entscheiden, wer die Kinder im gefährdeten Bereich sind.“

DPI stellt auf seiner Website Dokumentation über die Funktionsweise von DEWS und seine beabsichtigten Verwendungszwecke zur Verfügung, doch ein Großteil des öffentlich zugänglichen Materials lässt eine wichtige Tatsache über das System außer Acht: dass seine Vorhersagen teilweise auf der Rasse, dem Geschlecht, dem Familienvermögen usw. der Schüler basieren andere Faktoren, auf die Schulen keinen Einfluss haben.

Im DEWS-Aktionsleitfaden der Abteilung wird beispielsweise nicht erwähnt, dass die Rasse, das Geschlecht der Studierenden oder der Status eines kostenlosen oder ermäßigten Mittagessens wichtige Eingabevariablen für die Algorithmen sind.

Auf der DPI- Webseite, auf der die zur Generierung von DEWS-Vorhersagen verwendeten Daten beschrieben werden, sind vier verschiedene Informationskategorien aufgeführt: Anwesenheit, Disziplinaraufzeichnung, Anzahl der im Vorjahr besuchten Bezirke (Mobilität) und staatliche Testergebnisse.

Darin heißt es, dass „demografische Attribute verwendet werden“, aber nicht welche oder wie sie die Vorhersagen beeinflussen.

Wenn Lehrkräfte die DEWS-Vorhersagen der Schüler im landesweiten Informationssystem einsehen, können sie in ähnlicher Weise untersuchen, wie sich die Anwesenheit, die Disziplinarleistung, die Mobilität und die Testergebnisse der Schüler auf die allgemeine Risikobewertung auswirken. Es wird ihnen jedoch nicht angezeigt, wie sich die demografischen Merkmale der Schüler auf die Vorhersage auswirken .

Shari Johnson, Direktorin für Lehrplan und Unterricht im Richland School District, sagte, ihre Schulen würden damit beginnen, Aktionspläne zu erstellen und „Hochrisiko“-Schülern Mentoren zuzuweisen, mit dem Ziel, sie aus dieser Kategorie herauszuholen, insbesondere diejenigen mit dem „größten Risiko“. “, weil sie sagte, dass es nicht möglich sei, jeden zu betreuen.

Als sie jedoch mit The Markup sprach, wusste sie nicht, dass Merkmale wie eine Behinderung oder eine wirtschaftliche Benachteiligung die Punktzahl eines Schülers beeinflussen.

„Wessen Verantwortung liegt darin, dass wir über diese Dinge Bescheid wissen? Das ist meine Sorge in dieser Position, denn ich habe es nur durch Zufall herausgefunden“, sagte Johnson. „Was ich tue, steht in direktem Zusammenhang mit DEWS und den dort vorhandenen Informationen, und das macht mir Angst.“

Die Diskrepanz zwischen der Funktionsweise von DEWS und der Art und Weise, wie Pädagogen es verstehen, ist für DPI nichts Neues.

Im Jahr 2016 verfassten Forscher des Midwest Regional Education Laboratory einen Bericht für DPI, der nie veröffentlicht wurde und auf einer Umfrage zu den Erfahrungen von Mittelschulleitern mit DEWS basierte.

Der Bericht, den wir durch Anfragen nach öffentlichen Aufzeichnungen erhielten, kam zu dem Schluss, dass die Befragten „mehr Schulung und Unterstützung bei der Identifizierung und Überwachung von Interventionen wünschten“ und dass „Zeit, Geld und Schulung zu DEWS“ die größten Hindernisse für die Nutzung des Systems waren.

Brian Geiger, Rektor der Bradford High School, sagte, er erinnere sich, dass er etwa zum Zeitpunkt der Einführung von DEWS gehört habe, als er stellvertretender Rektor an einer anderen Schule in Kenosha war, und dass er es seitdem für verschiedene Zwecke genutzt habe, darunter auch für Hausbesuche im Sommer.

Jetzt hat Brown, sein stellvertretender Schulleiter in Bradford, die Praxis übernommen. Auch wenn er weiß, dass DEWS Mängel aufweist, sagte Brown, dass die Vorhersagen die besten Daten seien, die er für neue Studierende habe.

„Es ist kein hundertprozentiger Prädiktor. Meiner Meinung nach nutzen wir es als Leitfaden“, sagte er und fügte hinzu: „Ich wünschte, wir könnten jedes einzelne Haus aller 1.400 Kinder besuchen [die an der Bradford High School eingeschrieben sind]. Dafür haben wir kein Sommerschulbudget.“

Korrektur, 11. Mai 2023

Eine frühere Version der Karte in diesem Artikel umfasste fälschlicherweise Hawaii, Nevada, New Jersey, North Carolina und Michigan. Diese Staaten verwenden Frühwarnsysteme, aber sie verwenden keine Algorithmen oder maschinelles Lernen, um die Ergebnisse der Schüler vorherzusagen.

Credits: Todd Feathers , Ko Bragg , Joel Eastwood , Gabriel Hongsdusit , Rodney Johnson , Jeremy Singer-Vine , Maria Puertas und Jill Jaroff

Auch hier veröffentlicht

Foto von Sigmund auf Unsplash