Os alunos estão sendo rotulados de “alto risco” por causa de sua raça e renda em Wisconsin

Esta história foi co-publicada pela Chalkbeat , uma organização de notícias sem fins lucrativos que cobre a educação pública. Inscreva-se para receber seus boletins informativos aqui .

No verão passado, os administradores da Bradford High School, em Kenosha, Wisconsin, reuniram-se, como fazem todos os anos, para planear a entrada de alunos do nono ano. A partir de uma lista de centenas de alunos do ensino médio, o diretor assistente Matt Brown e sua equipe fizeram uma lista de 30 a 40 alunos que eles suspeitavam que teriam mais dificuldades para se formar.

Durante as férias de verão, Brown e sua equipe analisaram a lista e visitaram a casa de cada criança. A equipe trouxe camisetas para os alunos, apresentou-se aos pais, deixou seus dados de contato e, esperavam, uma primeira impressão positiva.

“É como, 'Ei, queremos lhe oferecer alguns equipamentos de Bradford. Você fará parte de uma família Bradford agora'”, disse Brown.

“É uma espécie de ponto de vista de 'Ei, estamos aqui para apoiá-lo', não necessariamente, 'Ei, seu filho realmente estragou tudo no ano passado'... porque não queremos que os pais se sintam como você' já estamos rotulando seu filho como alguém que causa problemas.”

Mas na maioria dos casos, os estudantes na lista de Bradford para visitas de Verão chegam lá devido a um rótulo – “alto risco” – atribuído a eles por um algoritmo racialmente injusto construído pelo estado de Wisconsin, que frequentemente levanta alarmes falsos.

Desde 2012, administradores escolares de Wisconsin como Brown receberam sua primeira impressão de novos alunos do Sistema de Alerta Antecipado de Abandono (DEWS), um conjunto de algoritmos de aprendizado de máquina que usam dados históricos - como notas de testes dos alunos, registros disciplinares, taxas gratuitas ou reduzidas. situação do preço do almoço e raça – para prever a probabilidade de cada aluno do sexto ao nono ano no estado concluir o ensino médio a tempo.

Duas vezes por ano, as escolas recebem uma lista dos seus alunos matriculados com a previsão codificada por cores do DEWS ao lado de cada nome: verde para baixo risco, amarelo para risco moderado ou vermelho para alto risco de abandono escolar.

Os funcionários da educação já consideraram o DEWS uma ferramenta fundamental na sua luta contra a disparidade de graduação no estado.

Embora 94% dos estudantes brancos tenham se formado dentro do prazo no ano passado, apenas 82% dos estudantes hispânicos e 71% dos estudantes negros concluíram o ensino médio em quatro anos. O objetivo do DEWS era colocar previsões personalizadas nas mãos dos educadores com antecedência suficiente para que eles pudessem intervir antes que uma criança mostrasse sinais óbvios de estar se desviando do caminho.

Mas depois de uma década de uso e milhões de previsões, o The Markup descobriu que o DEWS pode estar influenciando incorreta e negativamente a forma como os educadores percebem os alunos, especialmente os alunos negros.

E um próximo estudo académico realizado por investigadores da Universidade da Califórnia, Berkeley, que partilhou dados e resultados pré-publicação com o The Markup, concluiu que o DEWS falhou no seu objetivo principal: melhorar as taxas de graduação dos estudantes que rotula de “alto risco”. ”

Uma análise interna de equidade do Departamento de Instrução Pública (DPI) realizada em 2021 descobriu que o DEWS gerou alarmes falsos sobre estudantes negros e hispânicos que não se formaram a tempo a uma taxa significativamente maior do que para os seus colegas brancos.

A taxa de falsos alarmes do algoritmo – a frequência com que um aluno previsto não se formaria no prazo, na verdade se formou no prazo – foi 42 pontos percentuais maior para alunos negros do que para alunos brancos, de acordo com uma apresentação do DPI que resume a análise , que obtivemos por meio de um estudo. solicitação de registros públicos.

A taxa de falsos alarmes foi 18 pontos percentuais maior para estudantes hispânicos do que para estudantes brancos.

O DPI não informou os funcionários das escolas que utilizam o DEWS sobre as descobertas nem parece ter alterado os algoritmos nos quase dois anos desde que concluiu que o DEWS era injusto.

A apresentação do DPI que resume a análise de equidade que analisamos não incluiu as taxas subjacentes de falsos alarmes para estudantes negros, hispânicos e brancos que o DPI utilizou para fazer os seus cálculos. Também não incluiu resultados de alunos de outras raças.

O departamento recusou-se a responder a perguntas sobre a análise e, em resposta a um pedido subsequente de registos públicos, o DPI disse que não tinha documentação dos resultados da análise de património para além da apresentação. (Um vídeo da apresentação pode ser visto aqui .)

Um teste separado de validação de DPI da precisão do DEWS em março de 2021 mostra que ele estava errado em quase três quartos das vezes em que previu que um aluno não se formaria a tempo.

Os alunos que entrevistamos ficaram surpresos ao saber da existência do DEWS e disseram ao The Markup que estavam preocupados com o fato de um algoritmo estar usando sua raça para prever seu futuro e rotulá-los de alto risco.

“Isso faz com que os alunos negros se sintam separados... como se automaticamente tivessem menos”, disse Christopher Lyons, um estudante negro que se formou na Bradford High School em 2022.

A porta-voz do Wisconsin DPI, Abigail Swetz, recusou-se a responder a perguntas sobre o DEWS, mas forneceu uma breve declaração por e-mail.

“O DEWS é racista?” Swetz escreveu. “Não, a análise dos dados não é racista. É a matemática que reflete nossos sistemas. A realidade é que vivemos numa sociedade de supremacia branca e o sistema educativo é sistemicamente racista. É por isso que o DPI precisa de ferramentas como o DEWS e é por isso que estamos comprometidos com a equidade educacional.”

Em resposta às nossas descobertas e outras perguntas, Swetz escreveu: “Você tem um mal-entendido fundamental sobre como este sistema funciona. Mantemos nossa resposta anterior.” Ela não explicou qual era esse mal-entendido fundamental.

Para descobrir como o DEWS afetou os alunos que julgou, o The Markup examinou pesquisas não publicadas do DPI, analisou 10 anos de dados do DEWS em nível distrital, entrevistou alunos e funcionários escolares e coletou respostas de pesquisas de 80 dos mais de 400 distritos do estado sobre seu uso das previsões.

A nossa investigação mostra que muitos distritos do Wisconsin utilizam o DEWS – 38 por cento dos que responderam ao nosso inquérito – e que as falhas técnicas dos algoritmos foram agravadas pela falta de formação dos educadores.

O DEWS é um programa voluntário e o DPI incentiva os educadores a usar as previsões em combinação com outros dados locais sobre os alunos para tomar decisões. A agência não monitora se ou como as escolas usam as previsões.

Diretores, superintendentes e outros administradores disseram ao The Markup que receberam pouca ou nenhuma explicação sobre como o DEWS calcula as suas previsões ou como traduzir um rótulo como “alto risco” na intervenção apropriada.

Em distritos como Kenosha, os estudantes negros não precisam de dados para compreender as consequências de serem julgados por sistemas tendenciosos. Em 2020, a cidade ganhou as manchetes nacionais após o assassinato de Jacob Blake pela polícia .

E no início deste ano, a família de uma estudante negra de 12 anos processou o Distrito Escolar Unificado de Kenosha depois que um policial fora de serviço que trabalhava na segurança a estrangulou no refeitório de sua escola.

Em 2018, ano em que Lyons ingressou na Bradford High School, um professor de lá foi filmado repetidamente usando insultos raciais na frente dos alunos. Naquele ano, o DEWS classificou 43% dos alunos negros do nono ano em Kenosha de alto risco, em comparação com 11% dos alunos brancos do nono ano.

A essa altura, Lyons disse que já havia perdido a motivação academicamente. “Parecia que não se esperava que fizéssemos muito”, disse ele. “Parecia que eles sabiam que estávamos destinados ao fracasso.”

Então, algo inesperado aconteceu em seu segundo ano: a pandemia de COVID-19 atingiu, as aulas se tornaram virtuais e, como ele disse, suas notas “dispararam” de 2,9 GPA pré-pandemia para 3,8 GPA após a mudança para o ensino remoto.

O que para muitos estudantes foi uma interrupção desorientadora na sua educação foi para Lyons um adiamento que lhe permitiu concentrar-se. “Eu não sofri aquela pressão social dos professores ao meu redor ou da administração ao meu redor”, disse ele. “Era só eu, o computador, com quem eu estava conversando.”

No ano passado, Lyons começou seu primeiro ano no Carthage College, em Kenosha, com uma bolsa integral. Sua jornada ilustra as peculiaridades da personalidade, do estilo de aprendizagem e do ambiente que, dizem alguns especialistas, tornam contraproducente prever o futuro de um aluno individual com base em uma análise populacional de alunos estatisticamente semelhantes.

No entanto, os sistemas de alerta precoce que utilizam a aprendizagem automática para prever os resultados dos alunos são comuns no ensino fundamental e médio e no ensino superior . Pelo menos oito agências estaduais de educação pública fornecem sistemas algorítmicos de alerta precoce ou estão atualmente construindo-os para uso futuro, de acordo com uma pesquisa Markup realizada em todos os 50 estados. Quatro estados não responderam.

Montana foi o único estado, além de Wisconsin, que disse ter examinado o desempenho de seu sistema de alerta precoce em diferentes grupos raciais. O porta-voz do Escritório de Instrução Pública de Montana, Brian O'Leary, disse que o estudo de patrimônio de seu estado ainda não foi concluído.

“O DEWS é justo? Não ..."

No início e a meio de cada ano, o DEWS calcula a probabilidade de cada aluno que entra do sexto ao nono ano concluir o ensino secundário a tempo, numa escala de 0 a 100.

Uma pontuação de 90 indica que estudantes com características acadêmicas, comportamentais e demográficas semelhantes se formaram dentro do prazo em 90% das vezes no passado. Qualquer aluno cuja pontuação DEWS (mais margem de erro) seja inferior a 78,5 é considerado de alto risco de não se formar no prazo.

Para facilitar a compreensão das previsões pelos educadores, o DPI traduz as pontuações do DEWS em um formato simples e codificado por cores. Ao lado do nome de cada aluno na guia DEWS do sistema de informação estadual há uma etiqueta mostrando sua pontuação e uma designação de risco verde “baixo”, amarelo “moderado” ou vermelho “alto”.

Durante o ano letivo de 2020–21, mais de 32.000 alunos – 15% dos alunos do sexto ao nono ano do estado – foram rotulados de “alto risco”.

Legenda: Exemplos de como as previsões DEWS dos alunos são exibidas no sistema de informação estadual. Crédito: Resumo de dados DEWS da DPI

Especialistas dizem que o sistema foi projetado de forma que pode inadvertidamente influenciar as opiniões dos educadores sobre os alunos e direcionar mal os escassos recursos escolares. Particularmente preocupante é a forma como o DEWS se baseia em factores como a raça, a deficiência e a riqueza familiar, que são susceptíveis de codificar a discriminação sistémica e que nem a escola nem o aluno podem mudar.

Outros dados alimentados no DEWS, como as taxas de disciplina, apresentam disparidades raciais claras – o DPI sabe disso e escreveu sobre isso no seu website .

“Pergunto-me como é que estas categorias de risco levam as escolas e os distritos a olhar para os indivíduos em vez de para as questões estruturais – dizendo que esta criança precisa destas coisas, em vez de as questões estruturais serem a razão pela qual estamos a ver estes riscos”, disse Tolani Britton. , professor de educação na UC Berkeley, que co-escreveu o próximo estudo sobre DEWS.

“Não acho que seja ruim que os alunos recebam recursos adicionais, mas, ao mesmo tempo, criar algoritmos que associem sua raça ou etnia à sua capacidade de concluir o ensino médio parece um caminho perigoso a seguir.”

Quando o DEWS prevê que um aluno se formará, geralmente está certo – 97% das vezes esses alunos se formam nos quatro anos padrão, de acordo com o teste de validação de 2021, que mostra o desempenho dos algoritmos quando testados em dados históricos.

Mas quando o DEWS previu que um aluno não o faria, geralmente estava errado – 74% das vezes esses alunos se formavam dentro do prazo, de acordo com o mesmo teste.

Isso ocorre parcialmente por design. O DPI calibra o DEWS para lançar uma rede ampla e identificar excessivamente os alunos como estando em risco de abandono escolar.

Num artigo de 2015 que descreve o DEWS no Journal of Educational Data Mining, o antigo analista de investigação do DPI, Jared Knowles, escreveu que o DPI estava “declarando explicitamente que estamos dispostos a aceitar” 25 alarmes falsos de que os alunos não se formarão se isso significar identificar correctamente um desistente.

Mas em sua análise de patrimônio, o DPI descobriu que os algoritmos não geram alarmes falsos da mesma forma .

Legenda: Uma captura de tela de uma apresentação do DPI resumindo os resultados da análise de patrimônio DEWS do departamento. Crédito: Wisconsin DPI

“EM TERMOS LEIGOS: o modelo identifica excessivamente os estudantes brancos entre os graduados pontuais, enquanto identifica excessivamente estudantes negros, hispânicos e outros estudantes de cor entre os graduados fora do prazo”, escreveu um analista de pesquisa do DPI em notas para o apresentação.

A apresentação não especifica quais pontuações do DEWS qualificam como graduação dentro do prazo, para fins de análise de equidade.

As notas do slide, intituladas “O DEWS é justo?” termine com a conclusão “não….”

“Eles definitivamente têm usado um modelo que apresenta erros sistemáticos em termos de raça dos estudantes, e isso é realmente algo que precisa ser corrigido”, disse Ryan Baker, professor de educação da Universidade da Pensilvânia que estuda sistemas de alerta precoce.

“Eles tinham fatores demográficos como preditores e isso vai enfatizar demais o significado dessas variáveis e causar esse tipo de efeito”.

↩︎ link

Uma década de DEWS desmistificada

Recentemente, uma equipe de pesquisadores trabalhando principalmente na UC Berkeley – o doutorando Juan Perdomo, Britton e os especialistas em justiça algorítmica Moritz Hardt e Rediet Abebe – examinaram a eficácia do DEWS através de uma lente diferente.

A sua investigação, utilizando quase 10 anos de dados DEWS – que a DPI partilhou voluntariamente – é a maior análise de sempre sobre como um sistema preditivo de alerta precoce afeta os resultados dos alunos.

Embora estudos anteriores tenham questionado a precisão do desempenho dos sistemas de alerta precoce quando testados em relação a dados históricos, o estudo da UC Berkeley examina se o DEWS levou a melhores taxas de graduação para estudantes reais considerados de alto risco.

Os investigadores testaram se as taxas de graduação melhoraram para os alunos cujas pontuações no DEWS estavam ligeiramente abaixo do limite de 78,5, para os colocar na categoria de alto risco, em comparação com os alunos cujas pontuações estavam ligeiramente acima desse limite, colocando-os na categoria de risco moderado.

Se o sistema funcionasse como pretendido, os estudantes na categoria de alto risco veriam melhores taxas de graduação porque receberiam recursos adicionais, mas o estudo concluiu que ser colocado na categoria de alto risco não teve efeito estatisticamente significativo sobre se os estudantes se formaram a tempo.

“Não há evidências de que as previsões do DEWS tenham influenciado de alguma forma a probabilidade de graduação dentro do prazo”, escreveram os autores.

Se o sistema funcionasse como pretendido e as escolas direcionassem mais recursos para alunos considerados de alto risco, sugere o estudo da UC Berkeley, teria um impacto diferente, mas também desigual.

“Se as escolas selecionassem os alunos para intervenção, classificando as suas pontuações [DEWS] e selecionando aqueles com a menor probabilidade prevista de graduação, os alunos desfavorecidos seriam sistematicamente ignorados e despriorizados”, escreveram os autores.

Isso ocorre porque as taxas de graduação previstas pelo DEWS não refletem com precisão as verdadeiras taxas de graduação dos alunos. Os estudantes brancos, em particular, obtêm taxas de graduação muito mais elevadas do que as suas pontuações no DEWS sugeririam, de acordo com dados partilhados com o The Markup pelos investigadores da UC Berkeley.

Por exemplo, estudantes negros que receberam pontuação de 83 no DEWS concluíram a graduação dentro do prazo em 90% das vezes. Isso é igual à taxa média de graduação em todo o estado de Wisconsin no ano passado.

Os alunos brancos que receberam a mesma pontuação DEWS de 83 concluíram a graduação dentro do prazo em 93% das vezes, acima da média estadual.

Mas, o que é crucial, os alunos brancos que receberam pontuações DEWS significativamente mais baixas, 63, formaram-se a tempo, essencialmente à mesma taxa que os alunos brancos com pontuações mais altas: 92 por cento das vezes.

Mas os alunos negros que receberam pontuação DEWS de 68 se formaram pontualmente apenas 81% das vezes, abaixo da média estadual.

Em outras palavras, se os educadores seguissem o conselho do DEWS e priorizassem os alunos brancos com pontuação de 63 para ajuda em detrimento dos alunos de cor com pontuação de 68, eles teriam priorizado os alunos que se formassem com taxas acima da média em detrimento dos alunos que se formassem com taxas abaixo da média. taxas médias.

Essa peculiaridade específica do algoritmo provavelmente não exacerbou a desigualdade em Wisconsin, concluiu o estudo, porque o DEWS não está a melhorar os resultados para ninguém considerado de alto risco, independentemente da raça.

Algoritmos Avançados, Sistema Escolar de Segunda Classe

Desde o seu início, o DPI promoveu o DEWS como uma ferramenta rentável para combater a lacuna “inaceitável” de graduação do estado. Mas o sistema de alerta precoce não foi a solução de primeira escolha da agência.

Como parte de sua proposta de orçamento semestral em 2011, o Wisconsin DPI, que estava sob a liderança de Tony Evers, que agora é o governador do estado, solicitou US$ 20 milhões para um programa de subsídios “Cada Criança, um Graduado”, que enviaria recursos diretamente para distritos em dificuldades. .

Naquele ano, 91% dos estudantes brancos no estado concluíram o ensino médio dentro do prazo, em comparação com 64% dos estudantes negros.

Mas o então governador Scott Walker tinha um plano diferente para a educação pública. Ele cortou quase US$ 800 milhões , cerca de 7%, em financiamento estatal para escolas públicas do orçamento de dois anos. Isso incluiu os US$ 20 milhões para “Every Child a Graduate”, dos quais a administração de Walker redirecionou US$ 15 milhões para construir um sistema estadual de informações estudantis para armazenar todos os dados dos alunos em um só lugar.

Negado o seu programa de subvenções, mas na posse de uma riqueza de novos dados, o DPI procurou uma solução de alta tecnologia para a sua lacuna de graduação. Em 2012, começou a testar o DEWS.

Na altura da sua criação, o DEWS era um dos sistemas de alerta precoce preditivo mais avançados do país.

Sua precisão estava “no mesmo nível de alguns dos sistemas mais conceituados atualmente em uso, mas é feita em maior escala, em um conjunto mais diversificado de ambientes escolares, [e] em séries iniciais”, disse Knowles, ex-analista de pesquisa do DPI. quem construiu o sistema, escreveu no artigo de 2015 do Journal of Educational Data Mining.

A DPI decidiu rapidamente expandir o uso da análise preditiva e, em 2016, lançou um algoritmo irmão, chamado College and Career Readiness Early Warning System (CCREWS), que prevê se os alunos estão “prontos” ou “não prontos” para o ACT e a faculdade.

Na pesquisa da The Markup sobre os distritos escolares de Wisconsin, sete em cada 80 entrevistados disseram usar o CCREWS de alguma forma, em comparação com 30 distritos que relataram usar o DEWS.

Em 2019, o DPI pilotou outro modelo algorítmico baseado em DEWS que pretendia prever quais alunos teriam sucesso em cursos de AP. Escolas de 11 distritos inscreveram-se no piloto, mas o projecto foi abandonado após o início da pandemia da COVID-19, de acordo com documentos obtidos através de pedido de registos públicos.

Número de pontos percentuais que a diferença de graduação entre estudantes negros e brancos em Wisconsin diminuiu desde 2011, um ano antes do DEWS ser testado.

Durante a última década de experimentação do estado com algoritmos preditivos, a desigualdade educacional em Wisconsin dificilmente melhorou.

A diferença de graduação entre estudantes negros e brancos diminuiu apenas quatro pontos desde 2011, de 27 para 23 por cento. Enquanto isso, o abismo entre as pontuações de leitura dos alunos negros e brancos da oitava série em Wisconsin tem sido o pior de qualquer estado do país em todas as Avaliações Nacionais de Progresso Educacional (NAEP) desde 2011.

Ele também teve a maior diferença de qualquer estado entre as notas de matemática dos alunos negros e brancos da oitava série em todos os NAEP desde 2009.

“A pergunta que sempre faço quando esses dados são divulgados não é apenas o quão mal estão as crianças negras, [mas] como é que as crianças brancas estão tão bem?” disse Gloria Ladson-Billings, especialista nacional em desigualdade educacional e professora aposentada da Universidade de Wisconsin-Madison.

“Não é como se não soubéssemos como fazer essas crianças sobreviverem. O problema é que eles têm que parecer atletas da primeira divisão para que nos importemos o suficiente.”

Estudantes negros e hispânicos em Wisconsin disseram ao The Markup que muitas vezes se sentem parte de um sistema escolar de segunda classe.

Kennise Perry, uma estudante de 21 anos da UW-Parkside, frequentou escolas públicas de Milwaukee, que são 49% negras, antes de se mudar para o subúrbio de Waukesha, onde as escolas são apenas 6% negras. Ela disse que sua infância foi difícil, sua vida doméstica às vezes instável e que suas escolas provavelmente a consideravam uma aluna de “alto risco”.

“Eu era o único garoto negro em todas as minhas turmas. Nenhuma outra representação de alguém que se parecesse comigo e meus colegas eram extremamente racistas”, disse ela. “Foi realmente traumático... Eu estava com muita raiva e não sabia como expressar minha raiva. Eu estava infeliz.

Então, é claro, os rótulos e outras coisas começaram. Mas eu sinto que a diferença entre as pessoas que conseguem e as que não conseguem são as pessoas que você tem ao seu redor, como se eu tivesse pessoas que se importavam comigo e me deram uma segunda chance e outras coisas. [DEWS] listando essas crianças de alto risco e suas estatísticas, você nem está dando uma chance a elas, você já as está rotulando.”

O distrito escolar de Waukesha não respondeu à pesquisa do The Markup ou ao pedido de comentários. No entanto, documentos obtidos através de solicitações de registros públicos mostram que a Waukesha North High School, que Perry frequentou, se inscreveu para participar do piloto do algoritmo do DPI projetado para prever quais alunos teriam sucesso nas aulas de AP.

As Escolas Públicas de Milwaukee, o maior distrito do estado, não usam DEWS ou qualquer tipo de aprendizado de máquina em seu sistema de alerta precoce, escreveu o porta-voz Stephen Davis em um e-mail para The Markup. Como muitos distritos e estados, em vez disso, utiliza uma abordagem de baixa tecnologia que identifica os alunos como dentro ou fora do caminho com base no facto de terem atingido determinados padrões de referência, como a ausência por um número predefinido de dias.

No ano passado, os alunos da Cudahy High School criaram a sua primeira União de Estudantes Negros em resposta a incidentes racistas que consideraram que a administração da escola não estava a abordar adequadamente.

“Você sabe que [os estudantes brancos] já têm uma vantagem”, disse Mia Townsend, júnior e vice-presidente da União de Estudantes Negros de Cudahy. “Você já sente essa separação… Eles têm mais oportunidades e mais liberdade quando se trata de certas coisas.”

Os alunos da BSU forneceram organicamente o mesmo tipo de intervenções de apoio uns aos outros que o estado esperava alcançar através dos seus algoritmos preditivos.

Durante o ano letivo de 2020–21, 18% dos alunos brancos em Wisconsin fizeram exames de AP, em comparação com 5% dos alunos negros. Townsend, uma aluna do quadro de honra, disse que estava a caminho de evitar os cursos de AP até que seu colega júnior Maurice Newton, presidente da BSU, a incentivou a aceitar o desafio. Ela pediu para participar de uma aula de inglês avançado no próximo ano.

“Eles fazem parecer que é mais desafiador e, honestamente, é a mesma coisa”, disse Newton. “Você pode passar na aula com uma boa nota.”

Em resposta às perguntas do The Markup sobre o DEWS, a superintendente distrital de Cudahy, Tina Owen-Moore, compartilhou um tópico por e-mail no qual os membros da equipe expressaram que não sabiam e não usavam atualmente as previsões, mas que os conselheiros estavam “entusiasmados com este recurso. ”

No entanto, depois de analisar as nossas descobertas, Owen-Moore escreveu: “Isso certamente muda a minha perspectiva!!”

“Eles simplesmente nos entregaram os dados e disseram: 'Descubra'. ”

Muitos distritos que responderam à pesquisa do The Markup disseram que usam as previsões do DEWS de forma semelhante à forma como Brown e a equipe da Bradford High School em Kenosha fazem – para identificar quais novos alunos em seus prédios podem exigir atenção adicional.

No distrito escolar da cidade de Appleton, os gestores de casos do ensino secundário utilizam o DEWS e outros dados para identificar os alunos do primeiro ano que necessitam de apoio e para determinar o número de casos de educação especial, por exemplo.

Baseando-se “fortemente” nos dados do DEWS, o Distrito Escolar de Winneconne envia cartas aos pais informando-os que seus filhos podem estar em risco, embora essas cartas não façam referência ao algoritmo.

Mas algumas escolas encontraram outros usos off-label para os dados. Por exemplo, Sara Croney, superintendente do Distrito Escolar de Maple, disse ao The Markup que sua equipe usou os “dados imparciais percebidos” do DEWS para se candidatar com sucesso a um subsídio de desenvolvimento de pessoal focado em alcançar estudantes não engajados.

Na cidade de Racine, as escolas secundárias já usaram o DEWS para selecionar quais alunos seriam colocados num programa especial de “Zona Livre de Violência”, que incluía o envio de alunos perturbadores para uma sala de aula separada.

O distrito escolar de Racine “atualmente não utiliza DEWS ou CCREWS”, escreveu a porta-voz Stacy Tapp por e-mail.

Muitos administradores entrevistados pelo The Markup disseram que receberam pouco ou nenhum treinamento sobre como o DEWS calcula suas previsões ou como interpretá-las.

“Eles simplesmente nos entregaram os dados e disseram: 'Descubra'”, disse Croney. “Portanto, nossos diretores irão analisar e decidir quem são as crianças na área de risco.”

O DPI fornece documentação sobre como o DEWS funciona e seus usos pretendidos em seu site, mas grande parte do material voltado ao público deixa de fora um fato importante sobre o sistema: que suas previsões são baseadas em parte na raça, gênero, riqueza familiar e renda dos alunos. outros fatores sobre os quais as escolas não têm controle.

Por exemplo, o Guia de Ação DEWS do departamento não menciona que a raça, o sexo ou o status do almoço gratuito ou a preço reduzido do aluno sejam variáveis de entrada importantes para os algoritmos.

A página web do DPI que descreve os dados utilizados para gerar previsões DEWS lista quatro categorias distintas de informações: frequência, registo disciplinar, número de distritos frequentados no ano anterior (mobilidade) e resultados dos testes estaduais.

Afirma que “são utilizados atributos demográficos”, mas não quais ou como influenciam as previsões.

Da mesma forma, quando os educadores visualizam as previsões DEWS dos alunos no sistema de informação estadual, eles podem examinar como a frequência, o histórico disciplinar, a mobilidade e as pontuações dos testes dos alunos afetam o rótulo geral de risco, mas não são mostrados como as características demográficas dos alunos afetam a previsão. .

Shari Johnson, diretora de currículo e instrução do Distrito Escolar de Richland, disse que suas escolas estavam começando a criar planos de ação e designar mentores para alunos de “alto risco” com o objetivo de tirá-los dessa categoria, especialmente aqueles em “maior risco”. ” porque ela disse que não seria possível orientar todos.

No entanto, quando ela falou com o The Markup, ela não sabia que características como deficiência ou desvantagem econômica afetavam a pontuação de um aluno.

“De quem é a responsabilidade de sabermos sobre essas coisas? Essa é a minha preocupação nesta posição, pois só descobri por acaso”, disse Johnson. “O que eu faço está diretamente relacionado ao DEWS e às informações que estão lá, e isso é assustador para mim.”

A desconexão entre como o DEWS funciona e como os educadores entendem que ele funciona não é novidade para o DPI.

Em 2016, investigadores do Laboratório Regional de Educação do Centro-Oeste escreveram um relatório para o DPI que nunca foi publicado, baseado num inquérito às experiências de diretores de escolas secundárias com o DEWS.

O relatório, que obtivemos através de pedidos de registos públicos, concluiu que os entrevistados “desejavam mais formação e apoio sobre como identificar e monitorizar intervenções” e que “tempo, dinheiro e formação em DEWS” eram os principais impedimentos à utilização do sistema.

O diretor da Bradford High School, Brian Geiger, disse que se lembra de ter ouvido falar do DEWS na época de seu lançamento, quando era diretor assistente em outra escola de Kenosha, e desde então o tem usado para vários fins, incluindo visitas domiciliares de verão.

Agora Brown, seu diretor assistente em Bradford, adotou a prática. Mesmo sabendo que há falhas no DEWS, Brown disse que as previsões são os melhores dados que ele possui para os novos alunos.

“Não é um preditor de 100 por cento. Minha percepção sobre isso é que usamos isso como um guia”, disse ele, acrescentando: “Gostaria que pudéssemos visitar cada casa de todas as 1.400 crianças [matriculadas na Bradford High School]. Não temos um orçamento para a escola de verão para fazer isso.”

Correção, 11 de maio de 2023

Uma versão anterior do mapa neste artigo incluía incorretamente Havaí, Nevada, Nova Jersey, Carolina do Norte e Michigan. Esses estados usam sistemas de alerta precoce, mas não usam algoritmos ou aprendizado de máquina para prever os resultados dos alunos.

Créditos: Todd Feathers , Ko Bragg , Joel Eastwood , Gabriel Hongsdusit , Rodney Johnson , Jeremy Singer-Vine , Maria Puertas e Jill Jaroff

Também publicado aqui

Foto de Sigmund no Unsplash