Студентов в Висконсине относят к группе высокого риска из-за их расы и доходов

Эта история была опубликована совместно с Chalkbeat , некоммерческой новостной организацией, освещающей вопросы государственного образования. Подпишитесь на рассылку новостей здесь .

Прошлым летом администраторы средней школы Брэдфорда в Кеноше, штат Висконсин, встретились, как и каждый год, чтобы подготовить новый класс девятиклассников. Из списка сотен учащихся средней школы заместитель директора Мэтт Браун и его сотрудники составили список из 30–40 учеников, которым, как они подозревали, будет сложнее всего окончить школу.

Во время летних каникул Браун и его команда просмотрели список и посетили дома каждого ребенка. Сотрудники принесли ученикам футболки, представились родителям, оставили свою контактную информацию и, как они надеялись, произвели положительное первое впечатление.

«Это типа: «Эй, мы хотим подарить тебе кое-что из Брэдфордского оборудования». Теперь ты станешь частью семьи Брэдфордов», — сказал Браун.

«Это как бы звучит с точки зрения: «Эй, мы здесь, чтобы поддержать тебя», а не обязательно: «Эй, твой ребенок действительно напортачил в прошлом году»… потому что мы не хотим, чтобы родители чувствовали себя так же, как вы». уже навешивают на своего ребенка ярлык нарушителя спокойствия».

Но в большинстве случаев студенты из списка Брэдфорда для летних визитов попадают туда из-за ярлыка «высокий риск», присвоенного им в результате расово несправедливого алгоритма, созданного штатом Висконсин, который часто вызывает ложные тревоги.

С 2012 года школьные администраторы штата Висконсин, такие как Браун, получали свое первое впечатление о новых учениках от системы раннего предупреждения об отсеве (DEWS), ансамбля алгоритмов машинного обучения, использующих исторические данные, такие как результаты тестов учащихся, дисциплинарные записи, бесплатные или льготные. статус цены на обед и расовая принадлежность — чтобы предсказать, насколько вероятно, что каждый шестиклассник-девятиклассник в штате окончит среднюю школу вовремя.

Дважды в год школы получают список зачисленных учащихся с цветным прогнозом DEWS рядом с каждым именем: зеленый для низкого риска, желтый для среднего риска или красный для высокого риска отсева.

Чиновники образования когда-то считали DEWS ключевым инструментом в борьбе с разрывом в уровне выпускников в штате.

В то время как в прошлом году 94 процента белых учащихся окончили школу вовремя , только 82 процента латиноамериканцев и 71 процент чернокожих учащихся окончили среднюю школу за четыре года. Целью DEWS было предоставление педагогам персонализированных прогнозов на достаточно раннем этапе, чтобы они могли вмешаться до того, как у ребенка появятся явные признаки того, что он сбивается с пути.

Но после десятилетия использования и миллионов прогнозов The Markup обнаружил, что DEWS может неправильно и негативно влиять на то, как преподаватели воспринимают учащихся, особенно цветных.

А предстоящее научное исследование , проведенное исследователями из Калифорнийского университета в Беркли, которые поделились данными и результатами предварительной публикации с The Markup, пришло к выводу, что DEWS не удалось достичь своей основной цели: повысить процент выпускников для студентов, которых он называет «высоким риском». »

Внутренний анализ справедливости Департамента народного образования (DPI), проведенный в 2021 году, показал, что DEWS генерирует ложные тревоги о том, что чернокожие и латиноамериканские студенты не заканчивают обучение вовремя, причем значительно чаще, чем в случае их белых одноклассников.

Согласно презентации DPI, обобщающей анализ , которую мы получили с помощью запрос публичных записей.

Уровень ложных тревог среди латиноамериканских студентов был на 18 процентных пунктов выше, чем среди белых студентов.

DPI не проинформировал школьных чиновников, использующих DEWS, о полученных результатах и, судя по всему, не изменил алгоритмы за почти два года с тех пор, как пришел к выводу, что DEWS является несправедливым.

Презентация DPI, обобщающая анализ справедливости, который мы рассмотрели, не включала базовые показатели ложных тревог среди чернокожих, латиноамериканских и белых студентов, которые DPI использовала для своих расчетов. В него также не были включены результаты учеников других рас.

Департамент отказался отвечать на вопросы об анализе, и в ответ на последующий запрос на публичные отчеты DPI заявил, что у него нет документации о результатах анализа капитала, кроме презентации. (Видео презентации можно посмотреть здесь .)

Отдельный тест DPI на точность DEWS, проведенный в марте 2021 года, показал, что он ошибался почти в трех четвертях случаев, когда прогнозировал, что студент не закончит обучение вовремя.

Студенты, с которыми мы беседовали, были удивлены, узнав о существовании DEWS, и рассказали The Markup, что они обеспокоены тем, что алгоритм использует их расу, чтобы предсказать их будущее и обозначить их как группу высокого риска.

«Это заставляет цветных учеников чувствовать, что они разделены… как будто у них автоматически становится меньше», — сказал Кристофер Лайонс, чернокожий ученик, окончивший среднюю школу Брэдфорда в 2022 году.

Представитель DPI штата Висконсин Эбигейл Светц отказалась отвечать на вопросы о DEWS, но предоставила краткое заявление по электронной почте.

«Является ли DEWS расистским?» Светц написал. «Нет, анализ данных не является расистским. Именно математика отражает наши системы. Реальность такова, что мы живем в обществе, поддерживающем превосходство белой расы, а система образования системно расистская. Вот почему ДОИ нужны такие инструменты, как DEWS, и именно поэтому мы стремимся к равенству в образовании».

В ответ на наши выводы и дополнительные вопросы Светц написал: «У вас фундаментальное непонимание того, как работает эта система. Мы поддерживаем наш предыдущий ответ». В чем заключалось это фундаментальное недоразумение, она не объяснила.

Чтобы собрать воедино то, как DEWS повлияло на учащихся, которых оно оценивало, The Markup изучил неопубликованные исследования DPI, проанализировал данные DEWS на уровне округа за 10 лет, взял интервью у учащихся и школьных чиновников и собрал ответы на опросы в 80 из более чем 400 округов штата по поводу использование ими предсказаний.

Наше расследование показывает, что многие округа Висконсина используют DEWS (38 процентов из тех, кто ответил на наш опрос), и что технические недостатки алгоритмов усугубляются отсутствием подготовки преподавателей.

DEWS — это добровольная программа, и DPI призывает преподавателей использовать прогнозы в сочетании с другими местными данными об учащихся для принятия решений. Агентство не отслеживает, используют ли школы эти прогнозы и как.

Директора, суперинтенданты и другие администраторы рассказали The Markup, что они практически не получили объяснений о том, как DEWS рассчитывает свои прогнозы или как перевести ярлык «высокий риск» в соответствующее вмешательство.

В таких округах, как Кеноша, цветным учащимся не нужны данные, чтобы понять последствия осуждения со стороны предвзятых систем. В 2020 году город попал в заголовки национальных газет после того, как полиция застрелила Джейкоба Блейка.

А ранее в этом году семья 12-летней чернокожей ученицы подала в суд на Объединенный школьный округ Кеноша после того, как дежурный полицейский, работавший в службе безопасности, применил к ней удушающий захват в столовой ее школы.

В 2018 году, когда Лайонс поступил в среднюю школу Брэдфорда, тамошнего учителя неоднократно снимали на видео, используя расовые оскорбления перед учениками. В том же году DEWS отнес к группе высокого риска 43 процента чернокожих девятиклассников в Кеноше по сравнению с 11 процентами белых девятиклассников.

К этому моменту Лайонс сказал, что уже потерял академическую мотивацию. «Было такое ощущение, что от нас не ожидали многого», — сказал он. «Такое ощущение, что они знали, что нам просто суждено потерпеть неудачу».

Затем на втором курсе произошло нечто неожиданное: разразилась пандемия COVID-19, занятия стали виртуальными, и, по его словам, его оценки «взлетели» с 2,9 среднего балла до пандемии до 3,8 среднего балла после перехода на дистанционное обучение.

То, что для многих студентов было дезориентирующим перерывом в учебе, для Лайонса стало отсрочкой, позволившей ему сосредоточиться. «У меня не было такого социального давления со стороны учителей или администрации», — сказал он. «Это был только я, компьютер, с кем бы я ни разговаривал».

В прошлом году Лайонс начал свой первый год обучения в Карфагенском колледже в Кеноше, получив полную стипендию. Его путешествие иллюстрирует особенности личности, стиля обучения и окружающей среды, из-за которых, по мнению некоторых экспертов, контрпродуктивно прогнозировать будущее отдельного учащегося на основе популяционного анализа статистически схожих учащихся.

Тем не менее, системы раннего предупреждения, использующие машинное обучение для прогнозирования результатов учащихся, широко распространены в школах K-12 и высших учебных заведениях . По данным опроса Markup, проведенного во всех 50 штатах, по меньшей мере восемь государственных агентств государственного образования предоставляют алгоритмические системы раннего предупреждения или в настоящее время создают их для будущего использования. Четыре штата не ответили.

Монтана была единственным штатом, помимо Висконсина, который заявил, что изучил, как его система раннего предупреждения работает в различных расовых группах. Представитель Управления народного просвещения Монтаны Брайан О'Лири заявил, что исследование справедливости в его штате еще не завершено.

«Является ли DEWS справедливым? Нет ..."

В начале и в середине каждого года DEWS рассчитывает, насколько вероятно, что каждый поступающий учащийся шестого-девятого классов окончит среднюю школу вовремя по шкале от 0 до 100.

Оценка 90 означает, что учащиеся со схожими академическими, поведенческими и демографическими характеристиками заканчивали обучение вовремя в 90 процентах случаев в прошлом. Любой студент, чей балл DEWS (плюс погрешность) ниже 78,5, имеет высокий риск не окончить школу вовремя.

Чтобы преподавателям было легче понять прогнозы, DPI переводит оценки DEWS в простой формат с цветовой кодировкой. Рядом с именем каждого учащегося на вкладке DEWS информационной системы штата находится метка, показывающая его балл, а также зеленый «низкий», желтый «умеренный» или красный «высокий» риск.

В 2020–21 учебном году более 32 000 учащихся — 15 процентов учащихся шестого–девяти классов штата — были отнесены к группе высокого риска.

Подпись: примеры того, как прогнозы учащихся DEWS отображаются в информационной системе штата. Фото: Краткий обзор данных DEWS от DPI.

Эксперты говорят, что система устроена таким образом, что может непреднамеренно исказить мнение преподавателей об учениках и неправильно направить скудные школьные ресурсы. Особое беспокойство вызывает то, насколько сильно DEWS опирается на такие факторы, как раса, инвалидность и семейное благосостояние, которые могут кодировать системную дискриминацию и которые ни школа, ни ученик не могут изменить.

Другие данные, поступающие в DEWS, например уровень дисциплины, имеют явные расовые различия — DPI знает об этом и написал об этом на своем веб-сайте .

«Мне интересно, каким образом эти категории риска подталкивают школы и округа обращать внимание на отдельных людей, а не на структурные проблемы, говоря, что этому ребенку нужны эти вещи, а не на структурные проблемы, которые являются причиной того, что мы видим эти риски», — сказал Толани Бриттон. , профессор педагогики Калифорнийского университета в Беркли, соавтор предстоящего исследования DEWS.

«Я не думаю, что это плохо, что учащиеся получают дополнительные ресурсы, но в то же время создание алгоритмов, связывающих вашу расовую или этническую принадлежность с вашей способностью закончить среднюю школу, кажется опасным путем».

Когда DEWS прогнозирует, что студент закончит обучение, он обычно оказывается прав: в 97 процентах случаев эти студенты заканчивают обучение в течение стандартных четырех лет, согласно проверочному тесту 2021 года, который показывает, как алгоритмы работают при тестировании на исторических данных.

Но когда DEWS предсказывал, что студент этого не сделает, он обычно ошибался: согласно тому же тесту, в 74 процентах случаев эти студенты заканчивают обучение вовремя.

Частично это сделано намеренно. DPI калибрует DEWS, чтобы охватить широкую сеть и чрезмерно идентифицировать учащихся как находящихся под угрозой отчисления.

В статье 2015 года , описывающей DEWS в журнале Journal of Educational Data Mining, бывший аналитик DPI Джаред Ноулз написал, что DPI «прямо заявил, что мы готовы принять» 25 ложных сигналов тревоги о том, что студенты не закончат обучение, если это означает правильное определение одного отчисленного.

Но в своем анализе справедливости DPI обнаружила, что алгоритмы не одинаково генерируют ложные тревоги.

Подпись: снимок экрана из презентации DPI, суммирующей результаты анализа капитала DEWS, проведенного департаментом. Фото: ДОИ штата Висконсин.

«С точки зрения непрофессионала: модель чрезмерно идентифицирует белых студентов среди выпускников, пришедших вовремя, в то время как она чрезмерно идентифицирует чернокожих, латиноамериканцев и других цветных студентов среди выпускников, не пришедших вовремя», — написал аналитик-исследователь DPI в примечаниях для презентация.

В презентации не уточняется, какие показатели DEWS квалифицируются как своевременная градация для целей анализа капитала.

Примечания к слайду под названием «Справедливо ли DEWS?» закончить выводом «нет…».

«Они определенно использовали модель, в которой есть систематические ошибки с точки зрения расы студентов, и это действительно нужно исправить», — сказал Райан Бейкер, профессор образования Пенсильванского университета, изучающий системы раннего предупреждения.

«У них были демографические факторы в качестве предикторов, и это приведет к переоценке значения этих переменных и вызовет такой эффект».

↩︎ ссылка

Десятилетие DEWS раскрыто

Недавно группа исследователей, работающая в основном из Калифорнийского университета в Беркли, — докторант Хуан Пердомо, Бриттон и эксперты по алгоритмической справедливости Мориц Хардт и Редьет Абебе — изучили эффективность DEWS с другой точки зрения.

Их исследование с использованием данных DEWS за почти 10 лет, которыми DPI добровольно поделился, является крупнейшим в истории анализом того, как система прогнозирующего раннего предупреждения влияет на успеваемость учащихся.

В то время как предыдущие исследования задавались вопросом, насколько точно работают системы раннего оповещения при сравнении с историческими данными, исследование Калифорнийского университета в Беркли изучает, привело ли DEWS к увеличению количества выпускников для реальных студентов, отнесенных к группе высокого риска.

Исследователи проверили, улучшились ли показатели выпускников у студентов, чьи баллы DEWS были чуть ниже порога 78,5, что помещало их в категорию высокого риска, по сравнению со студентами, чьи баллы были чуть выше этого порога, помещая их в категорию умеренного риска.

Если бы система работала так, как задумано, у студентов из категории высокого риска увеличились бы показатели окончания учебы, поскольку они получили дополнительные ресурсы, но исследование показало, что попадание в категорию высокого риска не оказало статистически значимого влияния на то, закончили ли студенты вовремя.

«Нет никаких доказательств того, что прогнозы DEWS каким-либо образом повлияли на вероятность своевременного выпуска», — пишут авторы.

Если бы система работала так, как задумано, и школы направляли бы больше ресурсов учащимся из группы высокого риска, как предполагает исследование Калифорнийского университета в Беркли, это имело бы иной, но также несправедливый эффект.

«Если школы отбирают учащихся для вмешательства, ранжируя их баллы [DEWS] и отбирая тех, у кого наименьшая прогнозируемая вероятность окончания учебы, учащиеся с недостаточной успеваемостью будут систематически игнорироваться и лишаться приоритета», — пишут авторы.

Это связано с тем, что прогнозируемый DEWS процент выпускников не совсем точно отражает истинный процент выпускников. Согласно данным, предоставленным The Markup исследователями Калифорнийского университета в Беркли, белые студенты, в частности, заканчивают обучение гораздо быстрее, чем можно предположить по их оценкам DEWS.

Например, цветные студенты, получившие 83 балла по DEWS, в 90 процентах случаев заканчивали обучение вовремя. Это столько же, сколько средний показатель выпускников по штату Висконсин в прошлом году.

Белые студенты, получившие тот же балл DEWS (83), заканчивали обучение вовремя в 93 процентах случаев, что выше среднего показателя по штату.

Но что особенно важно, белые студенты, получившие значительно более низкие баллы DEWS (63 балла), закончили обучение вовремя практически с той же скоростью, что и белые студенты с более высокими баллами: в 92 процентах случаев.

Но цветные студенты, получившие 68 баллов DEWS, закончили обучение вовремя только в 81 проценте случаев, что ниже среднего показателя по штату.

Другими словами, если бы преподаватели последовали совету DEWS и отдали предпочтение белым студентам с баллами 63 перед цветными студентами с баллами 68, они бы отдали приоритет студентам, которые в конечном итоге заканчивают обучение с показателями выше среднего, над студентами, которые в конечном итоге заканчивают обучение с показателями ниже среднего. средние ставки.

Исследование пришло к выводу, что эта особенность алгоритма, скорее всего, не усугубила неравенство в Висконсине, поскольку DEWS не улучшает результаты для тех, кто отнесен к группе высокого риска, независимо от расы.

Продвинутые алгоритмы, школьная система второго класса

С самого начала DPI продвигал DEWS как экономически эффективный инструмент для борьбы с «неприемлемым» разрывом в уровне образования в штате. Но система раннего предупреждения не была первым решением агентства.

В рамках своего двухгодичного бюджетного предложения в 2011 году DPI штата Висконсин, которым руководил Тони Эверс, который сейчас является губернатором штата, запросил 20 миллионов долларов на программу грантов «Каждый ребенок – выпускник», которая будет направлять ресурсы непосредственно в испытывающие трудности районы. .

В том году 91 процент белых учащихся штата окончили среднюю школу вовремя по сравнению с 64 процентами чернокожих учащихся.

Но у тогдашнего губернатора Скотта Уокера был другой план в отношении государственного образования. Он сократил государственное финансирование государственных школ из двухлетнего бюджета почти на 800 миллионов долларов , или около 7 процентов. Сюда входят 20 миллионов долларов на программу «Каждый ребенок – выпускник», из которых администрация Уокера перенаправила 15 миллионов долларов на создание общештатной информационной системы для студентов, которая будет хранить все данные об учениках в одном месте.

Отказавшись от программы грантов, но располагая множеством новых данных, DPI искал высокотехнологичное решение проблемы своего разрыва в успеваемости. В 2012 году началось пилотное внедрение DEWS.

На момент своего создания DEWS была одной из самых передовых систем прогнозируемого раннего предупреждения в стране.

Ее точность была «на одном уровне с некоторыми из наиболее известных систем, используемых в настоящее время, но она проводилась в более широком масштабе, в более разнообразной школьной среде [и] в младших классах», — говорит Ноулз, бывший аналитик-исследователь DPI. кто построил систему, написал в статье Journal of Educational Data Mining за 2015 год.

DPI быстро решил расширить использование прогнозной аналитики и в 2016 году запустил родственный алгоритм под названием «Система раннего предупреждения о готовности к колледжу и карьере» (CCREWS), который предсказывает, «готовы» или «не готовы» студенты к ACT и колледжу.

В опросе школьных округов штата Висконсин, проведенном The Markup, семь из 80 респондентов заявили, что используют CCREWS в той или иной степени, по сравнению с 30 округами, которые сообщили об использовании DEWS.

В 2019 году DPI опробовал еще одну алгоритмическую модель на основе DEWS, целью которой было предсказать, какие студенты добьются успеха на курсах AP. Школы в 11 округах подписались на участие в пилотном проекте, но проект был прекращен после начала пандемии COVID-19, согласно документам, полученным по запросу государственных архивов.

Количество процентных пунктов, на которое сократился разрыв между чернокожими и белыми студентами в Висконсине с 2011 года, за год до запуска пилотного проекта DEWS.

За последнее десятилетие экспериментов штата с алгоритмами прогнозирования неравенство в образовании в Висконсине почти не улучшилось.

Разрыв в успеваемости между чернокожими и белыми студентами сократился всего на четыре пункта с 2011 года, с 27 до 23 процентов. Между тем, разрыв между оценками по чтению чернокожих и белых восьмиклассников в Висконсине был худшим среди всех штатов страны по всем показателям Национальной оценки прогресса в образовании (NAEP), начиная с 2011 года.

Кроме того, с 2009 года в этом штате самый большой разрыв среди всех штатов между оценками чернокожих и белых восьмиклассников по математике в каждом NAEP.

«Вопрос, который я всегда задаю, когда появляются эти данные, заключается не только в том, насколько плохи дела у чернокожих детей, но и в том, почему у белых детей дела идут так хорошо?» сказала Глория Ладсон-Биллингс, национальный эксперт по неравенству в образовании и бывший профессор Университета Висконсин-Мэдисон.

«Это не значит, что мы не знаем, как провести этих детей. Проблема в том, что им приходится выглядеть как спортсмены первого дивизиона, чтобы нас это волновало».

Чернокожие и латиноамериканские ученики в Висконсине рассказали The Markup, что они часто чувствуют себя частью второсортной школьной системы.

Кеннис Перри, 21-летний студент UW-Parkside, посещал государственные школы Милуоки, в которых 49 процентов чернокожих, а затем переехал в пригород Уокеша, где в школах только 6 процентов чернокожих. Она сказала, что ее детство было трудным, ее семейная жизнь иногда нестабильна, и в школах, вероятно, считали ее ученицей «высокого риска».

«Я был единственным чернокожим ребенком во всех моих классах. Никаких других представлений о людях, похожих на меня, и мои сверстники были крайне расистскими», — сказала она. «Это было действительно травмирующе… Я был так зол и не знал, как выразить свой гнев. Я был несчастен.

Потом, конечно, начались лейблы и всё такое. Но я чувствую, что разница между людьми, которые добиваются успеха, и людьми, у которых этого не получается, заключается в людях, которые вас окружают, как будто у меня были люди, которые заботились обо мне и давали мне второй шанс и все такое. [DEWS] перечислив этих детей из группы риска и их статистику, вы даже не даете им шанса, вы уже вешаете на них ярлык».

Школьный округ Уокеша не ответил на опрос The Markup или просьбу о комментариях. Однако документы, полученные в результате запросов на публичные записи, показывают, что средняя школа Уокеша-Норт, которую посещал Перри, подписалась на участие в пилотном проекте алгоритма DPI, предназначенного для прогнозирования того, какие ученики добьются успеха в классах AP.

Государственные школы Милуоки, крупнейший округ штата, не используют DEWS или какое-либо машинное обучение для своей системы раннего предупреждения, написал представитель Стивен Дэвис в электронном письме The Markup. Как и во многих округах и штатах, здесь вместо этого используется низкотехнологичный подход, который определяет учащихся как на правильном пути, так и на отстающем, на основе того, достигли ли они определенных показателей, например, отсутствовали в течение заранее определенного количества дней.

В прошлом году учащиеся средней школы Кудахи создали свой первый Союз чернокожих студентов в ответ на расистские инциденты, которые, по их мнению, администрация школы не принимала должным образом во внимание.

«Вы знаете, что [белые студенты] уже имеют преимущество», — сказала Миа Таунсенд, младшая и вице-президент Союза чернокожих студентов Кудахи. «Вы уже чувствуете это разделение… У них больше возможностей и больше свободы действий, когда дело касается определенных вещей».

Студенты БГУ естественным образом оказывали друг другу такую же поддержку, которую государство надеялось добиться с помощью своих алгоритмов прогнозирования.

В 2020–21 учебном году экзамены AP сдавали 18 процентов белых учащихся в Висконсине по сравнению с 5 процентами чернокожих учащихся. Таунсенд, отличница, сказала, что она была на пути к тому, чтобы избежать курсов AP, пока ее однокурсник Морис Ньютон, президент БГУ, не убедил ее принять вызов. Она попросила записаться на курсы английского языка AP в следующем году.

«Они создают впечатление, будто это сложнее, но, честно говоря, это одно и то же», — сказал Ньютон. «Ты можешь сдать урок на хорошую оценку».

В ответ на вопросы The Markup о DEWS суперинтендант округа Кудахи Тина Оуэн-Мур поделилась веткой электронной почты, в которой сотрудники заявили, что они не знали о прогнозах и в настоящее время не использовали их, но консультанты «были в восторге от этого ресурса». »

Однако, ознакомившись с нашими выводами, Оуэн-Мур написал: «Это определенно меняет мою точку зрения!!»

«Они просто передали нам данные и сказали: «Разберитесь». »

Многие округа, принявшие участие в опросе The Markup, заявили, что используют прогнозы DEWS аналогично тому, как это делают Браун и сотрудники средней школы Брэдфорда в Кеноше, — чтобы определить, какие новые ученики в их зданиях могут потребовать дополнительного внимания.

В школьном округе города Эпплтон кураторы средних школ используют DEWS и другие данные для выявления поступающих первокурсников, нуждающихся в поддержке, и, например, для определения нагрузки на специальное образование.

«В значительной степени» полагаясь на данные DEWS, школьный округ Виннеконн рассылает письма родителям, информируя их, что их ребенок может подвергаться риску, хотя в этих письмах не упоминается алгоритм.

Но некоторые школы нашли для этих данных другое, не по назначению, применение. Например, Сара Крони, руководитель школьного округа Мейпл, рассказала The Markup, что ее сотрудники использовали «воспринимаемые объективные данные» DEWS, чтобы успешно подать заявку на грант на развитие персонала, ориентированный на охват незаинтересованных учащихся.

В городе Расин средние школы когда-то использовали DEWS для выбора учащихся, которые будут помещены в специальную программу «Зона, свободная от насилия», которая включала отправку деструктивных учеников в отдельный класс.

Школьный округ Расин «в настоящее время не использует DEWS или CCREWS», написала в электронном письме представитель Стейси Тэпп.

Многие администраторы, опрошенные The Markup, заявили, что они практически не прошли обучение тому, как DEWS рассчитывает свои прогнозы или как их интерпретировать.

«Они просто передали нам данные и сказали: «Разберитесь», — сказал Крони. «Поэтому наши директора проанализируют это и решат, кто из детей находится в зоне риска».

DPI предоставляет на своем веб-сайте документацию о том, как работает DEWS и ее предполагаемое использование, но большая часть общедоступных материалов упускает ключевой факт о системе: ее прогнозы частично основаны на расе учащихся, поле, семейном благосостоянии и другие факторы, которые школы не могут контролировать.

Например, в «Руководстве по действиям DEWS» департамента не упоминается, что раса, пол студента или статус бесплатного или льготного обеда являются ключевыми входными переменными для алгоритмов.

На веб-странице DPI, описывающей данные, используемые для создания прогнозов DEWS, перечислены четыре отдельные категории информации: посещаемость, дисциплинарные записи, количество округов, посещаемых в предыдущем году (мобильность), и результаты тестов штата.

В нем говорится, что «используются демографические атрибуты», но не указано, какие из них и как они влияют на прогнозы.

Аналогичным образом, когда преподаватели просматривают прогнозы DEWS учащихся в информационной системе штата, они могут изучить, как посещаемость учащихся, дисциплинарные записи, мобильность и результаты тестов влияют на общий уровень риска, но им не показано, как демографические характеристики учащихся влияют на прогноз. .

Шари Джонсон, директор по учебной программе и обучению школьного округа Ричленд, сказала, что ее школы начали разрабатывать планы действий и назначать наставников для учащихся «высокого риска» с целью вывести их из этой категории, особенно тех, кто находится в «наибольшем риске». », потому что она сказала, что невозможно быть наставником для всех.

Однако, когда она разговаривала с The Markup, она не знала, что такие характеристики, как инвалидность или экономическое положение, влияют на балл ученика.

«Кто несет ответственность за то, что мы знаем об этих вещах? Это меня беспокоит в этой должности, потому что я узнал об этом только случайно», — сказал Джонсон. «То, что я делаю, напрямую связано с DEWS и имеющейся там информацией, и это меня пугает».

Разрыв между тем, как работает DEWS, и тем, как его понимают преподаватели, не новость для DPI.

В 2016 году исследователи Региональной образовательной лаборатории Среднего Запада написали для DPI отчет , который так и не был опубликован, основанный на опросе директоров средних школ о работе с DEWS.

В отчете, который мы получили через запросы к общедоступным данным, сделан вывод, что респонденты «желали получить больше обучения и поддержки в том, как определять и контролировать вмешательства» и что «время, деньги и обучение по DEWS» были главными препятствиями для использования системы.

Директор средней школы Брэдфорда Брайан Гейгер сказал, что он помнит, как слышал о DEWS примерно во время ее запуска, когда он был заместителем директора в другой школе Кеноша, и с тех пор использовал ее для различных целей, включая летние посещения домов.

Теперь Браун, его заместитель директора в Брэдфорде, перенял эту практику. Даже зная, что у DEWS есть недостатки, Браун сказал, что прогнозы — это лучшие данные, которые у него есть для поступающих студентов.

«Это не 100-процентный прогноз. По моему мнению, мы как бы используем это как руководство», — сказал он, добавив: «Мне хотелось бы посетить каждый дом всех 1400 детей [зачисленных в среднюю школу Брэдфорда]. У нас нет бюджета летней школы, чтобы сделать это».

Исправление, 11 мая 2023 г.

Предыдущая версия карты в этой статье неправильно включала Гавайи, Неваду, Нью-Джерси, Северную Каролину и Мичиган. В этих штатах используются системы раннего предупреждения, но они не используют алгоритмы или машинное обучение для прогнозирования результатов учащихся.

Авторы: Тодд Физерс , Ко Брэгг , Джоэл Иствуд , Габриэль Хонгсдусит , Родни Джонсон , Джереми Сингер-Вайн , Мария Пуэртас и Джилл Джарофф .

Также опубликовано здесь

Фото Зигмунда на Unsplash