Wisconsin'de Öğrenciler Irkları ve Gelirleri Nedeniyle "Yüksek Riskli" Olarak Etiketleniyor

Bu hikaye, kamu eğitimiyle ilgili kar amacı gütmeyen bir haber kuruluşu olan Chalkbeat ile birlikte yayınlandı. Bültenlerine buradan kaydolun.

Geçen yaz Kenosha, Wisconsin'deki Bradford Lisesi'nin yöneticileri, her yıl olduğu gibi dokuzuncu sınıfa başlayacak öğrenciler için planlama yapmak üzere bir araya geldi. Yüzlerce ortaokul öğrencisinden oluşan bir listeden, müdür yardımcısı Matt Brown ve ekibi, mezun olmakta en fazla zorluk çekebileceklerinden şüphelendikleri 30 ila 40 öğrenciden oluşan bir liste hazırladılar.

Yaz tatili boyunca Brown ve ekibi listeyi inceleyerek her çocuğun evini ziyaret etti. Personel öğrencilere tişört getirdi, kendilerini velilere tanıttı, iletişim bilgilerini bıraktı ve olumlu bir ilk izlenim elde etmeyi umdu.

“Sanki 'Hey, sana Bradford malzemeleri vermek istiyoruz. Artık Bradford ailesinin bir parçası olacaksın'” dedi Brown.

"Bu bir bakıma 'Hey, seni desteklemek için buradayız' bakış açısıyla ortaya çıkıyor, 'Hey, çocuğun geçen sene gerçekten berbat durumdaydı' demek değil... çünkü ebeveynlerin senin gibi hissetmesini istemiyoruz' Zaten çocuklarını baş belası biri olarak etiketliyorsunuz.”

Ancak çoğu durumda, Bradford'un yaz ziyaretleri listesindeki öğrenciler, Wisconsin eyaleti tarafından oluşturulan ve sıklıkla yanlış alarmlara yol açan, ırksal olarak adaletsiz bir algoritma tarafından kendilerine atanan "yüksek riskli" etiketi nedeniyle oraya geliyorlar.

2012'den bu yana, Brown gibi Wisconsin'deki okul yöneticileri, yeni öğrenciler hakkındaki ilk izlenimlerini, öğrencilerin sınav puanları, disiplin kayıtları, ücretsiz veya indirimli gibi geçmiş verileri kullanan bir makine öğrenimi algoritmaları topluluğu olan Okulu Bırakma Erken Uyarı Sistemi'nden (DEWS) alıyor. öğle yemeği fiyatı durumu ve ırk: eyaletteki altıncı sınıftan dokuzuncu sınıfa kadar her öğrencinin liseden zamanında mezun olma olasılığını tahmin etmek için.

Yılda iki kez, okullar kayıtlı öğrencilerinin bir listesini alır ve her ismin yanında DEWS'in renk kodlu tahmini bulunur: düşük risk için yeşil, orta risk için sarı veya yüksek okulu bırakma riski için kırmızı.

Eğitim yetkilileri bir zamanlar DEWS'i eyaletteki mezuniyet açığına karşı mücadelede önemli bir araç olarak görüyordu.

Beyaz öğrencilerin yüzde 94'ü geçen yıl zamanında mezun olurken, İspanyol öğrencilerin yalnızca yüzde 82'si ve Siyah öğrencilerin yüzde 71'i liseyi dört yılda tamamladı. DEWS'in amacı kişiselleştirilmiş tahminleri eğitimcilerin eline yeterince erken vererek, çocuğun bariz yoldan sapma belirtileri göstermeden önce müdahale edebilmelerini sağlamaktı.

Ancak on yıllık kullanım ve milyonlarca tahminden sonra The Markup, DEWS'in eğitimcilerin öğrencileri, özellikle de farklı etnik kökenden gelen öğrencileri algılama biçimini yanlış ve olumsuz yönde etkileyebileceğini buldu.

Verileri ve yayın öncesi bulgularını The Markup ile paylaşan Berkeley'deki California Üniversitesi'nden araştırmacıların yakında yayınlanacak bir akademik çalışması , DEWS'in birincil hedefinde başarısız olduğu sonucuna vardı: "yüksek riskli" olarak etiketlediği öğrencilerin mezuniyet oranlarını iyileştirmek. ”

Kamu Eğitimi Bakanlığı'nın (DPI) dahili bir eşitlik analizi, 2021'de DEWS'nin Siyahi ve Hispanik öğrencilerin zamanında mezun olamamaları konusunda Beyaz sınıf arkadaşlarına kıyasla önemli ölçüde daha yüksek oranda yanlış alarmlar ürettiğini ortaya çıkardı.

Analizi özetleyen bir DPI sunumuna göre, algoritmanın yanlış alarm oranı (zamanında mezun olmayacağını öngördüğü bir öğrencinin gerçekte zamanında mezun olduğu sıklıkta) Siyah öğrenciler için Beyaz öğrencilerden yüzde 42 daha yüksekti. kamu kayıtları talebi.

Yanlış alarm oranı İspanyol öğrencilerde Beyaz öğrencilere göre yüzde 18 daha yüksekti.

DPI, DEWS'i kullanan okul yetkililerine bulgular hakkında bilgi vermedi ve DEWS'in adil olmadığı sonucuna varmasından bu yana neredeyse iki yıl içinde algoritmaları değiştirmiş gibi görünmüyor.

İncelediğimiz eşitlik analizini özetleyen DPI sunumu, DPI'nın hesaplamalarını yapmak için kullandığı Siyah, Hispanik ve Beyaz öğrenciler için temel yanlış alarm oranlarını içermiyordu. Ayrıca diğer ırklardan öğrencilerin sonuçlarını da içermiyordu.

Bakanlık, analizle ilgili soruları yanıtlamayı reddetti ve daha sonra gelen kamu kayıtları talebine yanıt olarak DPI, sunumun ötesinde özsermaye analizi sonuçlarına ilişkin hiçbir belgenin bulunmadığını söyledi. (Sunumun videosunu buradan izleyebilirsiniz.)

Mart 2021'de DEWS'in doğruluğuna ilişkin ayrı bir DPI doğrulama testi, bir öğrencinin zamanında mezun olamayacağını öngördüğü sürenin neredeyse dörtte üçünde yanlış olduğunu gösterdi.

Görüştüğümüz öğrenciler DEWS'in var olduğunu öğrenince şaşırdılar ve The Markup'a, bir algoritmanın onların ırkını geleceklerini tahmin etmek ve onları yüksek riskli olarak etiketlemek için kullandığından endişe ettiklerini söylediler.

Bradford Lisesi'nden 2022'de mezun olan siyahi öğrenci Christopher Lyons, "Bu, farklı ırklardan öğrencilerin birbirlerinden ayrılmış gibi hissetmelerine neden oluyor... sanki otomatik olarak daha az şeye sahipmişler gibi" dedi.

Wisconsin DPI sözcüsü Abigail Swetz, DEWS hakkındaki soruları yanıtlamayı reddetti ancak e-postayla kısa bir açıklama yaptı.

“DEWS ırkçı mı?” Swetz yazdı. “Hayır, veri analizi ırkçı değil. Sistemlerimizi yansıtan matematiktir. Gerçek şu ki, beyazların üstünlüğünü savunan bir toplumda yaşıyoruz ve eğitim sistemi sistematik olarak ırkçıdır. DPI'nın DEWS gibi araçlara ihtiyaç duymasının nedeni budur ve biz de eğitimde eşitlik konusuna bu nedenle bağlıyız."

Bulgularımıza ve diğer sorularımıza yanıt olarak Swetz şunları yazdı: "Bu sistemin nasıl çalıştığına dair temel bir yanlış anlamanız var. Önceki yanıtımızın arkasındayız.” Bu temel yanlış anlamanın ne olduğunu açıklamadı.

DEWS'in değerlendirdiği öğrencileri nasıl etkilediğini bir araya getirmek için The Markup, yayınlanmamış DPI araştırmasını inceledi, 10 yıllık bölge düzeyinde DEWS verilerini analiz etti, öğrencilerle ve okul yetkilileriyle röportaj yaptı ve eyaletin 400'den fazla bölgesinden 80'inden anket yanıtları topladı. tahminlerini kullanıyorlar.

Araştırmamız, birçok Wisconsin bölgesinin (anketimize yanıt verenlerin yüzde 38'i) DEWS kullandığını ve algoritmaların teknik başarısızlıklarının eğitimcilere yönelik eğitim eksikliğinden kaynaklandığını gösteriyor.

DEWS gönüllü bir programdır ve DPI, eğitimcileri karar verirken tahminleri öğrenciler hakkındaki diğer yerel verilerle birlikte kullanmaya teşvik eder . Ajans, okulların tahminleri kullanıp kullanmadığını veya nasıl kullandığını takip etmiyor.

Müdürler, müfettişler ve diğer yöneticiler The Markup'a DEWS'in tahminlerini nasıl hesapladığı veya "yüksek risk" gibi bir etiketin uygun müdahaleye nasıl çevrileceği konusunda çok az açıklama aldıklarını veya hiç açıklama almadıklarını söyledi.

Kenosha gibi bölgelerde siyahi öğrencilerin önyargılı sistemler tarafından yargılanmanın sonuçlarını anlamak için verilere ihtiyacı yok. 2020'de şehir, Jacob Blake'in polis tarafından vurulmasının ardından ulusal manşetlere çıktı.

Ve bu yılın başlarında, 12 yaşındaki Siyah bir öğrencinin ailesi, güvenlikte çalışan izinli bir polis memurunun onu okulunun yemekhanesinde boğulmaya maruz bırakmasının ardından Kenosha Birleşik Okul Bölgesi'ne dava açtı .

Lyons'un Bradford Lisesi'ne girdiği 2018 yılında, oradaki bir öğretmen, öğrencilerinin önünde ırkçı hakaretler kullanarak defalarca filme alınmıştı. O yıl DEWS, Kenosha'daki Siyah dokuzuncu sınıf öğrencilerinin yüzde 43'ünü yüksek riskli olarak etiketlerken, Beyaz dokuzuncu sınıf öğrencilerinin yüzde 11'i yüksek risk altındaydı.

Bu noktada Lyons akademik olarak motivasyonunu çoktan kaybettiğini söyledi. "Çok fazla bir şey yapmamız beklenmiyormuş gibi hissettim" dedi. “Başarısızlığa mahkum olduğumuzu biliyorlardı sanki.”

Sonra ikinci yılında beklenmedik bir şey oldu: COVID-19 salgını başladı, dersler sanal hale geldi ve kendi deyimiyle notları, uzaktan öğrenmeye geçişten sonra salgın öncesi 2,9 not ortalamasından 3,8 not ortalamasına "fırladı".

Birçok öğrenci için eğitimlerinde kafa karıştırıcı bir kesinti olan şey, Lyons için odaklanmasına izin veren bir ertelemeydi. “Çevremdeki öğretmenlerin ya da yönetimin sosyal baskısını hissetmiyordum” dedi. "Sadece bendim, bilgisayar, kiminle konuşuyorsam."

Geçen yıl Lyons, birinci yılına Kenosha'daki Carthage College'da tam burslu olarak başladı. Onun yolculuğu, bazı uzmanların söylediğine göre, istatistiksel olarak benzer öğrencilerden oluşan nüfus düzeyindeki bir analize dayanarak bireysel bir öğrencinin geleceğini tahmin etmeyi verimsiz hale getiren kişilik, öğrenme stili ve çevredeki tuhaflıkları gösteriyor.

Bununla birlikte, öğrenci sonuçlarını tahmin etmek için makine öğrenimini kullanan erken uyarı sistemleri K-12 ve yüksek öğrenimde yaygındır. 50 eyaletin tamamını kapsayan bir Markup anketine göre, en az sekiz eyalet halk eğitim kurumu algoritmik erken uyarı sistemleri sağlıyor veya şu anda gelecekte kullanılmak üzere bunları geliştiriyor. Dört eyalet yanıt vermedi.

Montana, Wisconsin dışında erken uyarı sisteminin farklı ırk grupları üzerindeki performansını incelediğini söyleyen tek eyaletti. Montana Kamu Eğitimi Ofisi sözcüsü Brian O'Leary, eyaletinin eşitlik çalışmasının henüz tamamlanmadığını söyledi.

“DEWS Adil mi? HAYIR ..."

DEWS, her yılın başında ve ortasında, altıncı sınıftan dokuzuncu sınıfa kadar her gelen öğrencinin liseden zamanında mezun olma olasılığını 0 ila 100 arası bir ölçekte hesaplar.

90 puan, benzer akademik, davranışsal ve demografik özelliklere sahip öğrencilerin geçmişte yüzde 90 oranında zamanında mezun olduklarını gösterir. DEWS puanı (artı hata payı) 78,5'in altında olan herhangi bir öğrenci, zamanında mezun olamama riski yüksek olarak etiketlenir.

Eğitimcilerin tahminleri anlamasını kolaylaştırmak için DPI, DEWS puanlarını basit, renk kodlu bir formata dönüştürür. Eyalet çapındaki bilgi sisteminin DEWS sekmesinde her öğrencinin adının yanında, puanlarını gösteren bir etiket ve yeşil "düşük", sarı "orta" veya kırmızı "yüksek" risk tanımı bulunur.

2020-21 akademik yılında 32.000'den fazla öğrenci (eyaletin altıncı ila dokuzuncu sınıf öğrencilerinin yüzde 15'i) "yüksek riskli" olarak etiketlendi.

Altyazı: Öğrencilerin DEWS tahminlerinin eyalet çapındaki bilgi sisteminde nasıl görüntülendiğine dair örnekler. Katkıda bulunanlar: DPI'nin DEWS Veri Özeti

Uzmanlar, sistemin, eğitimcilerin öğrenciler hakkındaki görüşlerine yanlışlıkla önyargı oluşturabilecek ve kıt okul kaynaklarını yanlış yönlendirebilecek şekilde tasarlandığını söylüyor. DEWS'in sistemik ayrımcılığı kodlayan ve ne okulun ne de öğrencinin değiştiremeyeceği ırk, engellilik ve aile zenginliği gibi faktörlerden ne kadar yoğun şekilde yararlandığı özellikle endişe vericidir.

Disiplin oranları gibi DEWS'e beslenen diğer veri noktalarında açık ırksal eşitsizlikler var ; DPI bunu biliyor ve web sitesinde bunun hakkında yazdı .

Tolani Britton şöyle konuştu: "Bu risk kategorilerinin okulları ve bölgeleri yapısal sorunlar yerine bireylere bakmaya nasıl ittiğini merak ediyorum; bu riskleri görmemizin nedeninin yapısal sorunlar olması yerine bu çocuğun bunlara ihtiyacı olduğunu söylemek." UC Berkeley'de eğitim profesörü ve DEWS ile ilgili gelecek çalışmanın ortak yazarı.

"Öğrencilerin ek kaynaklar almasının kötü bir şey olduğunu düşünmüyorum, ancak aynı zamanda ırkınızı veya etnik kökeninizi liseyi tamamlama yeteneğinizle ilişkilendiren algoritmalar oluşturmak tehlikeli bir yol gibi görünüyor."

DEWS bir öğrencinin mezun olacağını tahmin ettiğinde bu genellikle doğrudur; algoritmaların geçmiş veriler üzerinde test edildiğinde nasıl performans gösterdiğini gösteren 2021 doğrulama testine göre, bu öğrencilerin standart dört yılda mezun olma ihtimalinin yüzde 97'si doğrudur.

Ancak DEWS bir öğrencinin bunu yapmayacağını tahmin ettiğinde bu genellikle yanlıştı; aynı teste göre bu öğrencilerin zamanında mezun olma oranının yüzde 74'ü.

Bu kısmen tasarım gereğidir. DPI, DEWS'i geniş bir ağ oluşturacak ve okulu bırakma riski taşıyan öğrencileri aşırı tanımlayacak şekilde kalibre eder.

2015 yılında Journal of Educational Data Mining'de DEWS'yi anlatan bir makalede , eski DPI araştırma analisti Jared Knowles, DPI'nin, okulu bırakanlardan birinin doğru şekilde tanımlanması anlamına gelmesi durumunda öğrencilerin mezun olamayacaklarına dair 25 yanlış alarmı "kabul etmeye hazır olduğumuzu açıkça belirttiğini" yazdı.

Ancak eşitlik analizinde DPI, algoritmaların eşit derecede yanlış alarm üretmediğini buldu.

Altyazı: Bakanlığın DEWS eşitlik analizinin sonuçlarını özetleyen bir DPI sunumundan bir ekran görüntüsü. Kredi bilgileri: Wisconsin DPI

Bir DPI araştırma analisti, "LAYMAN'IN KOŞULLARINA GÖRE: model, zamanında mezun olanlar arasında beyaz öğrencileri aşırı tanımlarken, zamanında mezun olmayanlar arasında Siyahi, Hispanik ve diğer siyahi öğrencileri aşırı tanımlıyor" diye yazdı. sunum.

Sunum, eşitlik analizi amacıyla hangi DEWS puanlarının zamanında mezuniyet olarak nitelendirildiğini belirtmemektedir.

“DEWS Adil mi?” başlıklı slaydın notları "hayır..." sonucuyla bitirin.

Pennsylvania Üniversitesi'nde erken uyarı sistemleri üzerinde çalışan eğitim profesörü Ryan Baker, "Kesinlikle öğrencilerin ırkı açısından sistematik hatalara sahip bir model kullanıyorlar ve bu gerçekten düzeltilmesi gereken bir şey" dedi.

"Tahmin edici olarak demografik faktörler vardı ve bu, bu değişkenlerin anlamını aşırı vurgulayacak ve bu tür bir etkiye neden olacak."

↩︎ bağlantı

DEWS'in On Yılı Ortaya Çıktı

Son zamanlarda, öncelikle UC Berkeley dışında çalışan, doktora adayı Juan Perdomo, Britton ve algoritmik adalet uzmanları Moritz Hardt ve Rediet Abebe'den oluşan bir araştırmacı ekibi, DEWS'in etkinliğini farklı bir mercekle inceledi.

DPI'ın gönüllü olarak paylaştığı yaklaşık 10 yıllık DEWS verilerini kullanan araştırmaları, tahmine dayalı bir erken uyarı sisteminin öğrenci sonuçlarını nasıl etkilediğine ilişkin şimdiye kadarki en büyük analizdir.

Önceki çalışmalar, erken uyarı sistemlerinin geçmiş verilere göre test edildiğinde ne kadar doğru performans gösterdiğini sorgularken, UC Berkeley çalışması DEWS'in yüksek riskli olarak etiketlenen gerçek öğrenciler için daha iyi mezuniyet oranlarına yol açıp açmadığını inceliyor.

Araştırmacılar, DEWS puanları 78,5 eşiğinin hemen altında olan öğrencilerin mezuniyet oranlarının iyileşip iyileşmediğini test ederek onları yüksek risk kategorisine koydular ve puanları bu eşiğin hemen üzerinde olan öğrencilerle karşılaştırıldığında onları orta risk kategorisine yerleştirdiler.

Sistem amaçlandığı gibi çalışsaydı, yüksek risk kategorisindeki öğrenciler ek kaynaklar aldıkları için mezuniyet oranlarında iyileşme göreceklerdi, ancak çalışma, yüksek risk kategorisine yerleştirilmenin öğrencilerin zamanında mezun olup olmamaları üzerinde istatistiksel olarak anlamlı bir etkiye sahip olmadığını buldu.

Yazarlar, "DEWS tahminlerinin zamanında mezuniyet olasılığını herhangi bir şekilde etkilediğine dair hiçbir kanıt yok" diye yazdı.

UC Berkeley araştırması, sistem amaçlandığı gibi çalışıyorsa ve okullar yüksek riskli olarak etiketlenen öğrencilere daha fazla kaynak yönlendiriyorsa, bunun farklı ama aynı zamanda adaletsiz bir etkisi olacağını öne sürüyor.

Yazarlar, "Okullar müdahale için öğrencileri [DEWS] puanlarını sıralayarak ve öngörülen mezuniyet olasılığı en düşük olanları seçerek seçerse, yetersiz hizmet alan öğrenciler sistematik olarak gözden kaçırılacak ve öncelikleri kaldırılacaktır" diye yazdı.

Bunun nedeni DEWS'in tahmin ettiği mezuniyet oranlarının öğrencilerin gerçek mezuniyet oranlarını tam olarak yansıtmamasıdır. UC Berkeley araştırmacılarının The Markup ile paylaştığı verilere göre, özellikle beyaz öğrenciler DEWS puanlarının önerdiğinden çok daha yüksek oranlarda mezun oluyor.

Örneğin, DEWS puanı 83 olan siyahi öğrenciler yüzde 90 oranında zamanında mezun oldular. Bu, geçen yıl Wisconsin'in eyalet çapındaki ortalama mezuniyet oranıyla aynı.

Aynı DEWS puanı olan 83'ü alan beyaz öğrenciler, eyalet ortalamasının üzerinde, yüzde 93 oranında zamanında mezun oldular.

Ancak en önemlisi, 63 gibi önemli ölçüde daha düşük DEWS puanı alan Beyaz öğrenciler, daha yüksek puan alan Beyaz öğrencilerle aynı oranda zamanında mezun oldu: yüzde 92.

Ancak DEWS puanı 68 olan siyahi öğrencilerin yalnızca yüzde 81'i zamanında mezun oldu, bu da eyalet ortalamasının altında.

Başka bir deyişle, eğer eğitimciler DEWS'in tavsiyesine uysaydı ve yardım konusunda 63 puan alan beyaz öğrencilere, 68 puan alan siyahi öğrencilere göre öncelik verselerdi, sonuçta ortalamanın üstünde mezun olan öğrencilere, daha düşük puanla mezun olan öğrencilere göre öncelik verirlerdi. ortalama oranlar.

Çalışmanın sonucuna göre, algoritmadaki bu tuhaflık muhtemelen Wisconsin'deki eşitsizliği daha da kötüleştirmedi; çünkü DEWS, ırktan bağımsız olarak yüksek riskli olarak etiketlenen hiç kimsenin sonuçlarını iyileştirmiyor.

Gelişmiş Algoritmalar, İkinci Sınıf Okul Sistemi

DPI, ilk günlerinden itibaren DEWS'i eyaletteki "kabul edilemez" mezuniyet açığıyla mücadele etmek için uygun maliyetli bir araç olarak tanıttı. Ancak erken uyarı sistemi kurumun ilk tercih ettiği çözüm değildi.

Şu anda eyaletin valisi olan Tony Evers liderliğindeki Wisconsin DPI, 2011'deki iki yıllık bütçe teklifinin bir parçası olarak, kaynakları doğrudan mücadele eden bölgelere gönderecek "Her Çocuk Bir Mezun" hibe programı için 20 milyon dolar talep etti . .

O yıl eyaletteki Beyaz öğrencilerin yüzde 91'i liseden zamanında mezun olurken, Siyah öğrencilerde bu oran yüzde 64'tü.

Ancak dönemin valisi Scott Walker'ın kamu eğitimi konusunda farklı bir planı vardı. İki yıllık bütçeden devlet okulları için ayrılan devlet fonunu yaklaşık yüzde 7 oranında, yani yaklaşık 800 milyon doları kesti . Bu, Walker'ın yönetiminin tüm öğrenci verilerini tek bir yerde tutacak eyalet çapında bir öğrenci bilgi sistemi oluşturmak için 15 milyon doları yönlendirdiği “Her Çocuk Bir Mezun” için verilen 20 milyon doları da içeriyordu.

Hibe programını reddetti ancak elinde çok sayıda yeni veri bulunan DPI, mezuniyet açığını kapatmak için yüksek teknolojili bir çözüm aradı. 2012 yılında DEWS'in pilot uygulamasına başladı.

DEWS, kurulduğu dönemde ülkedeki en gelişmiş tahmine dayalı erken uyarı sistemlerinden biriydi.

Eski DPI araştırma analisti Knowles, doğruluğu "şu anda kullanımda olan en saygın sistemlerden bazılarıyla aynı düzeydeydi, ancak daha geniş bir ölçekte, daha çeşitli okul ortamlarında [ve] daha önceki sınıflarda yapıldı" dedi. sistemi kimin kurduğunu 2015 Journal of Educational Data Mining makalesinde yazdı.

DPI hızla tahmine dayalı analitik kullanımını genişletmeye karar verdi ve 2016 yılında öğrencilerin ACT ve üniversite için "hazır" olup olmadığını veya "hazır olmadığını" tahmin eden, Üniversite ve Kariyere Hazırlık Erken Uyarı Sistemi (CCREWS) adı verilen kardeş bir algoritma başlattı.

Markup'ın Wisconsin okul bölgelerine ilişkin anketinde, yanıt veren 80 kişiden yedisi CCREWS'i bir ölçüde kullandıklarını söylerken, 30 bölge DEWS kullandığını bildirdi.

2019'da DPI, hangi öğrencilerin AP derslerinde başarılı olacağını tahmin ettiğini iddia eden, DEWS'yi temel alan başka bir algoritmik modelin pilot çalışmasını gerçekleştirdi. 11 bölgedeki okullar pilot uygulamaya kaydoldu, ancak kamuya açık kayıt talebi yoluyla elde edilen belgelere göre proje, COVID-19 salgınının başlamasından sonra terk edildi.

Wisconsin'deki Siyah ve Beyaz öğrenciler arasındaki mezuniyet farkının DEWS'in pilot uygulamasından önceki yıl olan 2011'den bu yana azaldığı yüzde puan sayısı.

Eyaletin öngörücü algoritmalarla yaptığı deneylerle geçen son on yılda Wisconsin'deki eğitim eşitsizliği pek iyileşmedi.

Siyah ve Beyaz öğrenciler arasındaki mezuniyet farkı 2011'den bu yana yalnızca dört puan azalarak yüzde 27'den yüzde 23'e düştü. Bu arada, Wisconsin'deki Siyah ve Beyaz sekizinci sınıf öğrencilerinin okuma puanları arasındaki uçurum, 2011'den bu yana Ulusal Eğitim İlerleme Değerlendirmesi'nde (NAEP) ülkedeki eyaletler arasında en kötü olanı oldu.

Aynı zamanda 2009'dan bu yana tüm NAEP'lerde Siyah ve Beyaz sekizinci sınıf öğrencilerinin matematik puanları arasındaki en geniş farka sahip eyalet oldu.

"Bu veriler ortaya çıktığında her zaman sorduğum soru, sadece Siyah çocukların durumunun ne kadar kötü olduğu değil, aynı zamanda Beyaz çocukların nasıl bu kadar iyi durumda olduğudur?" Eğitim eşitsizliği konusunda ulusal uzman ve Wisconsin-Madison Üniversitesi'nden emekli profesör Gloria Ladson-Billings şöyle konuştu:

“Bu çocukları nasıl atlatacağımızı bilmediğimiz söylenemez. Sorun şu ki, bizim yeterince önemsememiz için onların Bölüm I sporcularına benzemeleri gerekiyor."

Wisconsin'deki siyahi ve İspanyol öğrenciler The Markup'a kendilerini genellikle ikinci sınıf okul sisteminin bir parçası gibi hissettiklerini söyledi.

UW-Parkside'da 21 yaşında bir öğrenci olan Kennise Perry, okulların yalnızca yüzde 6'sının Siyah olduğu Waukesha banliyösüne taşınmadan önce yüzde 49'u Siyah olan Milwaukee Devlet Okullarına gitti. Çocukluğunun zor geçtiğini, ev hayatının bazen istikrarsız olduğunu ve okullarının onu muhtemelen "yüksek riskli" bir öğrenci olarak gördüğünü söyledi.

“Tüm sınıflarımdaki tek Siyah çocuk bendim. Bana ve akranlarıma benzeyen hiç kimsenin başka bir temsili aşırı derecede ırkçı değildi” dedi. “Gerçekten travmatikti... Çok öfkeliydim ve öfkemi nasıl yönlendireceğimi bilmiyordum. Mutsuzdum.

Sonra elbette etiketler ve benzeri şeyler başladı. Ama bunu başaran insanlarla başaramayanlar arasındaki farkın etrafınızdaki insanlar olduğunu hissediyorum, sanki beni önemseyen ve bana ikinci bir şans veren insanlar varmış gibi. [DEWS] bu yüksek riskli çocukları ve istatistiklerini listeliyor, onlara bir şans bile vermiyorsunuz, onları zaten etiketliyorsunuz.”

Waukesha'nın okul bölgesi Markup'ın anketine veya yorum talebine yanıt vermedi. Ancak kamuya açık kayıt talepleri yoluyla elde edilen belgeler, Perry'nin gittiği Waukesha Kuzey Lisesi'nin, DPI'nin AP derslerinde hangi öğrencilerin başarılı olacağını tahmin etmek için tasarlanan algoritmasının pilot programına katılmak üzere kaydolduğunu gösteriyor.

Sözcü Stephen Davis, The Markup'a gönderdiği bir e-postada, eyaletin en büyük bölgesi olan Milwaukee Devlet Okullarının erken uyarı sistemi için DEWS veya herhangi bir makine öğrenimi kullanmadığını yazdı. Pek çok bölge ve eyalet gibi, bunun yerine, önceden tanımlanmış sayıda gün devamsızlık gibi belirli ölçütleri karşılayıp karşılamadıklarına göre öğrencileri doğru veya yanlış olarak tanımlayan düşük teknolojili bir yaklaşım kullanıyor.

Geçtiğimiz yıl Cudahy Lisesi öğrencileri, okul yönetiminin gerektiği gibi ele almadığını düşündükleri ırkçı olaylara yanıt olarak ilk Siyah Öğrenci Birliği'ni kurdular.

Cudahy Siyah Öğrenci Birliği'nin başkan yardımcısı ve asistanlarından Mia Townsend, "Beyaz öğrencilerin zaten bir adım önde olduğunu biliyorsunuz" dedi. "Zaten bu ayrılığı hissediyorsunuz... Daha fazla fırsatları var ve konu belirli konularda daha fazla hareket alanına sahipler."

BSU'daki öğrenciler, devletin öngörücü algoritmalar aracılığıyla başarmayı umduğu türden destekleyici müdahaleleri organik olarak birbirlerine sağladılar.

2020-21 öğretim yılında Wisconsin'deki beyaz öğrencilerin yüzde 18'i AP sınavlarına girerken siyahi öğrencilerin yüzde 5'i AP sınavına girdi. Onur listesi öğrencisi Townsend, BSU başkanı kıdemsiz arkadaşı Maurice Newton kendisini bu meydan okumayı kabul etmeye çağırana kadar AP derslerinden kaçınma yolunda olduğunu söyledi. Gelecek yıl AP İngilizce dersine katılmak istedi.

Newton, "Daha zorlayıcıymış gibi gösteriyorlar ve aslında durum aynı" dedi. “İyi bir notla sınıfı geçebilirsin.”

Cudahy bölge şefi Tina Owen-Moore, The Markup'ın DEWS hakkındaki sorularına yanıt olarak, personelin tahminleri bilmediklerini ve şu anda bu tahminleri kullanmadıklarını ancak danışmanların "bu kaynak konusunda heyecanlı olduklarını" ifade ettiği bir e-posta dizisini paylaştı. ”

Ancak bulgularımızı inceledikten sonra Owen-Moore şöyle yazdı: "Bu kesinlikle bakış açımı değiştiriyor!"

“Bize Verileri Verdiler ve 'Bunu Çözün' Dediler. ”

The Markup'ın anketine yanıt veren birçok bölge, DEWS tahminlerini Brown ve Kenosha'daki Bradford Lisesi personelinin yaptığı gibi, binalarındaki hangi yeni öğrencilerin daha fazla dikkat gerektirebileceğini belirlemek için kullandıklarını söyledi.

Appleton şehrinin okul bölgesindeki lise vaka yöneticileri, örneğin desteğe ihtiyacı olan birinci sınıf öğrencilerini belirlemek ve özel eğitim vaka yüklerini belirlemek için DEWS'yi ve diğer verileri kullanıyor.

Winneconne Okul Bölgesi, DEWS verilerine "büyük ölçüde" güvenerek ebeveynlere, çocuklarının risk altında olabileceğini bildiren mektuplar gönderiyor, ancak bu mektuplar algoritmaya atıfta bulunmuyor.

Ancak bazı okullar veriler için başka, etiket dışı kullanımlar da buldu. Örneğin, Maple Okul Bölgesi müdürü Sara Croney, The Markup'a, personelinin DEWS'in "algılanan tarafsız verilerini" kullanarak ilgisiz öğrencilere ulaşmaya odaklanan bir personel geliştirme bursuna başarıyla başvurduğunu söyledi.

Racine şehrinde ortaokullar, bir zamanlar hangi öğrencilerin özel bir "Şiddetten Arındırılmış Bölge" programına yerleştirileceğini seçmek için DEWS'i kullanıyordu ; bu program, düzeni bozan öğrencilerin ayrı bir sınıfa gönderilmesini de içeriyordu.

Sözcü Stacy Tapp bir e-postada, Racine Okul Bölgesi'nin "şu anda DEWS veya CCREWS'i kullanmadığını" yazdı.

The Markup'ın görüştüğü birçok yönetici, DEWS'in tahminlerini nasıl hesapladığı veya bunları nasıl yorumlayacağı konusunda çok az eğitim aldıklarını veya hiç eğitim almadıklarını söyledi.

Croney, "Bize sadece verileri verdiler ve 'Anlayın' dediler" dedi. "Böylece müdürlerimiz bunu analiz edecek ve risk altındaki çocukların kim olduğuna karar verecek."

DPI, web sitesinde DEWS'in nasıl çalıştığına ve kullanım amaçlarına ilişkin belgeler sunuyor ancak kamuya açık materyallerin çoğu, sistemle ilgili önemli bir gerçeği göz ardı ediyor: tahminleri kısmen öğrencilerin ırkına, cinsiyetine, aile servetine ve okulların üzerinde kontrol sahibi olmadığı diğer faktörler.

Örneğin, bakanlığın DEWS Eylem Kılavuzu'nda öğrenci ırkı, cinsiyeti veya ücretsiz ya da indirimli öğle yemeği durumunun algoritmalar için temel girdi değişkenleri olduğundan bahsedilmiyor.

DPI'nin DEWS tahminlerini oluşturmak için kullanılan verileri açıklayan web sayfası dört farklı bilgi kategorisini listeliyor: katılım, disiplin kayıtları, önceki yılda katılan bölge sayısı (hareketlilik) ve eyalet sınav puanları.

"Demografik özelliklerin kullanıldığı" belirtiliyor ancak hangilerinin veya bunların tahminleri nasıl etkilediği belirtilmemiş.

Benzer şekilde, eğitimciler eyalet çapındaki bilgi sisteminde öğrencilerin DEWS tahminlerini görüntülediğinde, öğrencilerin devamının, disiplin kayıtlarının, hareketliliğin ve test puanlarının genel risk etiketini nasıl etkilediğini inceleyebilirler ancak öğrencilerin demografik özelliklerinin tahmini nasıl etkilediği gösterilmemektedir. .

Richland Okul Bölgesi müfredat ve öğretim direktörü Shari Johnson, okullarının eylem planları oluşturmaya başladığını ve onları bu kategoriden, özellikle de "en fazla risk altında olanları" çıkarmak amacıyla "yüksek riskli" öğrencilere personel danışmanları atamaya başladığını söyledi. Çünkü herkese mentorluk yapmanın mümkün olmayacağını söyledi.

Ancak The Markup ile konuştuğunda engellilik veya ekonomik açıdan dezavantajlı olma gibi özelliklerin öğrencinin puanını etkilediğini bilmiyordu.

“Bunları bilmek kimin sorumluluğundadır? Johnson, "Bu pozisyondaki endişem bu; bunu yalnızca şans eseri öğrendim" dedi. "Yaptıklarım doğrudan DEWS ve orada bulunan bilgilerle bağlantılı ve bu benim için korkutucu."

DEWS'in çalışma şekli ile eğitimcilerin onu nasıl anladıkları arasındaki kopukluk DPI için yeni bir haber değil.

2016 yılında Midwest Bölgesel Eğitim Laboratuvarı'ndaki araştırmacılar, ortaokul müdürlerinin DEWS ile ilgili deneyimlerine dayanan bir ankete dayanarak DPI için hiçbir zaman yayınlanmayan bir rapor yazdı.

Kamuya açık kayıt talepleri yoluyla elde ettiğimiz rapor, katılımcıların "müdahalelerin nasıl belirleneceği ve izleneceği konusunda daha fazla eğitim ve destek istedikleri" ve "zaman, para ve DEWS eğitiminin" sistemi kullanmanın önündeki en büyük engeller olduğu sonucuna vardı.

Bradford Lisesi müdürü Brian Geiger, DEWS'i lansmanı sırasında, başka bir Kenosha okulunda müdür yardımcısı olduğu dönemde duyduğunu hatırladığını ve o zamandan beri bunu yazlık ev ziyaretleri de dahil olmak üzere çeşitli amaçlarla kullandığını söyledi.

Artık Bradford'daki müdür yardımcısı Brown uygulamayı devraldı. Brown, DEWS'de kusurlar olduğunu bilmesine rağmen tahminlerin gelen öğrenciler için sahip olduğu en iyi veriler olduğunu söyledi.

“Bu yüzde 100 bir tahmin değil. Benim bu konudaki algım, bunu bir nevi rehber olarak kullandığımız yönünde" dedi ve ekledi, "Keşke [Bradford Lisesi'ne kayıtlı] 1.400 çocuğun her evini ziyaret edebilseydik. Bunu yapabilecek bir yaz okulu bütçemiz yok.”

Düzeltme, 11 Mayıs 2023

Bu makaledeki haritanın önceki bir sürümü hatalı bir şekilde Hawaii, Nevada, New Jersey, Kuzey Carolina ve Michigan'ı içeriyordu. Bu eyaletler erken uyarı sistemlerini kullanıyor ancak öğrenci sonuçlarını tahmin etmek için algoritmaları veya makine öğrenimini kullanmıyorlar.

Katkıda bulunanlar: Todd Feathers , Ko Bragg , Joel Eastwood , Gabriel Hongsdusit , Rodney Johnson , Jeremy Singer-Vine , Maria Puertas ve Jill Jaroff

Burada da yayınlandı

Unsplash'ta Sigmund'un fotoğrafı