586 판독값

위스콘신 주에서는 인종과 소득 때문에 학생들이 "고위험"으로 분류되고 있습니다

~에 의해 The Markup19m2023/12/26

너무 오래; 읽다

그러나 대부분의 경우 브래드포드의 여름 방문 목록에 있는 학생들은 위스콘신 주에서 구축한 인종적으로 불평등한 알고리즘에 의해 할당된 "고위험"이라는 라벨 때문에 그곳에 도착합니다.

featured image - 위스콘신 주에서는 인종과 소득 때문에 학생들이 "고위험"으로 분류되고 있습니다

이 이야기는 공교육을 다루는 비영리 언론 기관인 Chalkbeat 와 공동 출판되었습니다. 여기에서 뉴스레터에 가입하세요.

지난 여름, 위스콘신 주 케노샤에 있는 브래드포드 고등학교 교직원들은 9학년이 되는 학급을 계획하기 위해 매년 그랬던 것처럼 만났습니다. Matt Brown 교감과 교직원은 수백 명의 중학생 명단에서 졸업하는 데 가장 어려움을 겪을 것으로 예상되는 30~40명의 학생 명단을 작성했습니다.

여름 방학 동안 브라운과 그의 팀은 목록을 작성하고 각 어린이의 집을 방문했습니다. 직원들은 학생들을 위해 티셔츠를 가져왔고, 학부모들에게 자신을 소개했으며, 연락처 정보를 남겨 두었고 긍정적인 첫인상을 주기를 바랐습니다.

“'이봐, 우리는 당신에게 브래드포드 장비를 연결해주고 싶어요. 이제 당신은 브래드포드 가족의 일원이 될 것입니다.'라고 브라운은 말했습니다.

“'야, 우리는 당신을 지원하기 위해 여기 있습니다'라는 관점에서 나오는 것입니다. 반드시 '야, 당신 아이가 작년에 정말 엉망진창이었어'라고 말할 필요는 없습니다. 왜냐하면 우리는 부모가 당신처럼 느끼기를 원하지 않기 때문입니다.' 이미 그 아이를 문제아로 분류하고 있어요.”

2012년부터 Brown과 같은 위스콘신 학교 행정관은 학생의 시험 점수, 징계 기록, 무료 또는 할인 기록과 같은 과거 데이터를 사용하는 기계 학습 알고리즘의 앙상블인 DEWS(중퇴 조기 경고 시스템)에서 신입생에 대한 첫인상을 받았습니다. 점심 가격 상태 및 인종 - 해당 주의 6~9학년 학생이 제 시간에 고등학교를 졸업할 가능성을 예측합니다.

1년에 두 번, 학교는 각 이름 옆에 DEWS의 색상으로 구분된 예측이 포함된 등록된 학생 목록을 받습니다. 녹색은 낮은 위험, 노란색은 중간 위험, 빨간색은 중퇴 위험이 높습니다.

교육 관계자들은 한때 주의 졸업 격차를 해소 하기 위한 핵심 도구 로 DEWS를 꼽았습니다.

작년에 백인 학생의 94%가 제때 졸업한 반면, 히스패닉 학생의 82%와 흑인 학생의 71%만이 4년 만에 고등학교를 졸업했습니다. DEWS는 어린이가 궤도에서 벗어나는 명백한 징후를 보이기 전에 개입할 수 있도록 조기에 교육자의 손에 개인화된 예측을 제공하도록 의도되었습니다.

그러나 10년 간의 사용과 수백만 건의 예측 끝에 The Markup은 DEWS가 교육자가 학생, 특히 유색 인종 학생을 인식하는 방식에 부정확하고 부정적인 영향을 미칠 수 있음을 발견했습니다.

그리고 The Markup과 데이터 및 사전 출판 결과를 공유한 버클리 캘리포니아 대학교 연구원들의 곧 발표될 학술 연구 에서는 DEWS가 "고위험"으로 분류한 학생들의 졸업률을 향상시키는 주요 목표에 실패했다고 결론지었습니다. ”

2021년에 실시된 공공 교육부(DPI) 내부 형평성 분석에 따르면 DEWS는 백인 동급생보다 훨씬 더 높은 비율로 흑인 및 히스패닉계 학생들이 제 시간에 졸업하지 않는다는 잘못된 경보를 생성한 것으로 나타났습니다.

분석을 요약한 DPI 프레젠테이션 에 따르면, 알고리즘의 오경보 비율(예상한 학생이 정시에 졸업하지 않을 것으로 예상한 학생이 실제로 정시에 졸업한 빈도)은 백인 학생보다 흑인 학생이 42% 더 높았습니다. 공개 기록 요청.

히스패닉계 학생이 백인 학생보다 오경보율이 18%포인트 더 높았습니다.

DPI는 DEWS를 사용하는 학교 관계자에게 결과를 알리지 않았으며 DEWS가 불공평하다고 결론을 내린 이후 거의 2년 동안 알고리즘을 변경하지 않은 것으로 보입니다.

우리가 검토한 형평성 분석을 요약한 DPI 프레젠테이션에는 DPI가 계산에 사용한 흑인, 히스패닉, 백인 학생에 대한 근본적인 잘못된 경고 비율이 포함되어 있지 않았습니다. 또한 다른 인종의 학생들에 대한 결과도 포함되지 않았습니다.

부서는 분석에 대한 질문에 답변하기를 거부했으며 후속 공개 기록 요청에 대해 DPI는 프레젠테이션 외에 지분 분석 결과에 대한 문서가 없다고 말했습니다. (발표 영상은 여기에서 볼 수 있습니다.)

2021년 3월 DEWS의 정확도에 대한 별도의 DPI 검증 테스트에서는 학생이 제 시간에 졸업하지 못할 것이라고 예측한 시간의 거의 3/4이 틀렸음을 보여줍니다.

우리가 인터뷰한 학생들은 DEWS가 존재한다는 사실에 놀랐고 알고리즘이 인종을 사용하여 미래를 예측하고 위험도가 높다는 라벨을 붙이는 것에 대해 우려하고 있다고 The Markup에 말했습니다.

2022년 브래드포드 고등학교를 졸업한 흑인 학생 크리스토퍼 라이온스(Christopher Lyons)는 "유색인종 학생들이 분리된 듯한 느낌을 받게 됩니다. 자동으로 가진 것이 적은 것처럼 느껴집니다."라고 말했습니다.

위스콘신 DPI 대변인 Abigail Swetz는 DEWS에 대한 질문에 답변을 거부했지만 간단한 이메일 성명을 제공했습니다.

“DEWS는 인종차별주의자인가요?” 스웨츠는 썼다. “아니요, 데이터 분석은 인종차별적이지 않습니다. 우리 시스템을 반영하는 것은 수학입니다. 현실은 우리가 백인 우월주의 사회에 살고 있고 교육 시스템이 체계적으로 인종차별적이라는 것입니다. 이것이 바로 DPI에 DEWS와 같은 도구가 필요한 이유이며 우리가 교육 평등에 전념하는 이유입니다.”

우리가 발견한 내용과 추가 질문에 대해 Swetz는 다음과 같이 썼습니다. “당신은 이 시스템이 어떻게 작동하는지에 대해 근본적인 오해를 갖고 있습니다. 우리는 이전 대응을 고수합니다.” 그녀는 그 근본적인 오해가 무엇인지 설명하지 않았습니다.

DEWS가 판단한 학생에게 어떤 영향을 미쳤는지 종합하기 위해 The Markup은 미발표 DPI 연구를 조사하고 10년간의 학군 수준 DEWS 데이터를 분석하고 학생 및 학교 관계자를 인터뷰했으며 주 내 400개 이상의 학군 중 80개에서 설문 조사 응답을 수집했습니다. 그들의 예측 사용.

우리의 조사에 따르면 많은 위스콘신 지역에서 DEWS(우리 설문조사에 응답한 지역 중 38%)를 사용하고 있으며 교육자를 위한 교육 부족으로 인해 알고리즘의 기술적 결함이 더욱 심화된 것으로 나타났습니다.

DEWS는 자발적인 프로그램이며 DPI는 교육자가 학생에 대한 다른 지역 데이터와 함께 예측을 사용하여 결정을 내릴 것을 권장합니다 . 기관은 학교가 예측을 사용하는지 여부와 방법을 추적하지 않습니다.

교장, 교육감 및 기타 관리자는 The Markup에 DEWS가 예측을 계산하는 방법이나 "고위험"과 같은 레이블을 적절한 개입으로 변환하는 방법에 대한 설명을 거의 또는 전혀 받지 못했다고 말했습니다.

Kenosha와 같은 학군에서는 유색 인종 학생들이 편견 시스템에 의해 판단되는 결과를 이해하기 위해 데이터가 필요하지 않습니다. 2020년, 이 도시는 제이콥 블레이크(Jacob Blake)의 경찰 총격 사건 이후 전국적인 헤드라인을 장식했습니다.

그리고 올해 초, 12세 흑인 학생의 가족은 비번인 보안요원이 그녀를 학교 급식실에서 목을 조른 후 케노샤 통합교육구(Kenosha Unified School District)를 고소했습니다 .

2018년 라이언스가 브래드포드 고등학교에 입학한 해, 그곳의 교사가 학생들 앞에서 인종차별적 비방을 하는 장면이 반복적으로 촬영되었습니다. 그 해 DEWS는 Kenosha에서 흑인 9학년 학생의 43%를 고위험으로 분류한 반면, 백인 9학년 학생은 11%라고 표시했습니다.

그 시점에서 Lyons는 이미 학문적 의욕을 잃었다고 말했습니다. “우리가 많은 일을 할 것으로 예상되지 않는 것 같았습니다.”라고 그는 말했습니다. "그들은 우리가 실패할 운명이라는 것을 알고 있는 것 같았습니다."

그러다가 2학년 때 예상치 못한 일이 일어났습니다. 코로나19가 대유행하고 수업이 가상으로 진행되었으며, 그의 말에 따르면 그의 성적은 전염병 전단계인 2.9 GPA에서 원격 학습으로 전환한 후 3.8 GPA로 "급등"했습니다.

많은 학생들에게 교육에 대한 혼란스러운 방해가 되었던 것이 Lyons에게는 집중할 수 있는 유예였습니다. “저는 주변 선생님이나 주변 행정부 같은 사회적 압력을 받지 않았습니다.”라고 그는 말했습니다. “내가 대화하고 있는 사람은 바로 나, 컴퓨터, 누구든지였습니다.”

작년에 Lyons는 전액 장학금을 받고 Kenosha에 있는 Carthage College에서 신입생을 시작했습니다. 그의 여정은 통계적으로 유사한 학생들에 대한 인구 수준 분석을 기반으로 개별 학생의 미래를 예측하는 것이 비생산적이라고 일부 전문가들이 말하는 성격, 학습 스타일 및 환경의 기이함을 보여줍니다.

그럼에도 불구하고 기계 학습을 사용하여 학생 결과를 예측하는 조기 경보 시스템은 K-12 및 고등 교육 에서 일반적입니다. 50개 주 전체를 대상으로 실시한 마크업 조사에 따르면 최소 8개 주 공립 교육 기관이 알고리즘 조기 경보 시스템을 제공하거나 현재 향후 사용을 위해 구축하고 있는 것으로 나타났습니다. 4개 주는 응답하지 않았다.

몬태나는 위스콘신 외에 조기 경보 시스템이 다양한 인종 그룹에 걸쳐 어떻게 작동하는지 조사했다고 밝힌 유일한 주였습니다. 몬타나주 공공 교육국 대변인 Brian O'Leary는 주의 형평성 연구가 아직 완료되지 않았다고 말했습니다.

“DEWS는 공정합니까? 아니요 ..."

매년 초와 중간에 DEWS는 6학년부터 9학년까지 입학하는 각 학생이 제 시간에 고등학교를 졸업할 가능성을 0에서 100까지의 척도로 계산합니다.

90점은 유사한 학업, 행동, 인구통계학적 특성을 지닌 학생들이 과거의 90%의 시간에 맞춰 졸업했음을 나타냅니다. DEWS 점수(오차 한계 포함)가 78.5 미만인 학생은 제때 졸업하지 못할 위험이 높은 것으로 분류됩니다.

교육자가 예측을 더 쉽게 이해할 수 있도록 DPI는 DEWS 점수를 간단한 색상으로 구분된 형식으로 변환합니다. 주 전체 정보 시스템의 DEWS 탭에 있는 모든 학생의 이름 옆에는 점수와 녹색 "낮음", 노란색 "보통" 또는 빨간색 "높음" 위험 지정을 표시하는 라벨이 있습니다.

2020-21학년도 동안 32,000명 이상의 학생(뉴욕주 6~9학년 학생의 15%)이 "고위험"으로 분류되었습니다.

캡션: 학생의 DEWS 예측이 주 전체 정보 시스템에 표시되는 방법의 예입니다. 출처: DPI의 DEWS 데이터 개요

전문가들은 이 시스템이 의도치 않게 학생에 대한 교육자의 의견을 편향시키고 부족한 학교 자원을 잘못된 방향으로 이끌 수 있는 방식으로 설계되었다고 말합니다. 특히 우려되는 점은 DEWS가 인종, 장애, 가족의 부와 같은 요소를 얼마나 많이 활용하는지인데, 이러한 요인은 제도적 차별을 초래할 가능성이 있고 학교나 학생 모두 변경할 수 없습니다.

징계율과 같이 DEWS에 입력된 다른 데이터 포인트에는 분명한 인종적 차이가 있습니다 . DPI는 이를 알고 웹사이트에 이에 대해 게시했습니다 .

Tolani Britton은 "이러한 위험 범주가 학교와 지역에서 구조적 문제 대신 개인을 보도록 강요하는 방식이 궁금합니다. 구조적 문제가 우리가 이러한 위험을 보고 있는 이유가 아니라 이 어린이에게 이러한 것이 필요하다고 말합니다."라고 말했습니다. , UC Berkeley 교육학 교수이자 DEWS에 대한 향후 연구를 공동 집필했습니다.

“학생들이 추가 자원을 받는 것은 나쁜 일이 아니라고 생각하지만, 동시에 인종이나 민족을 고등학교 이수 능력과 연관시키는 알고리즘을 만드는 것은 위험한 길처럼 보입니다.”

DEWS가 학생이 졸업할 것이라고 예측하면 일반적으로 2021년 검증 테스트에 따르면 해당 학생들이 표준 4년 내에 졸업할 확률이 97%입니다. 이는 과거 데이터를 테스트했을 때 알고리즘이 어떻게 수행되었는지 보여줍니다.

그러나 DEWS가 학생이 졸업하지 않을 것이라고 예측했을 때 그것은 대개 틀렸습니다. 동일한 테스트에 따르면 해당 학생들이 제 시간에 졸업할 확률은 74%였습니다.

이것은 부분적으로 의도된 것입니다. DPI는 DEWS를 조정하여 광범위한 네트워크를 구축하고 중퇴 위험에 처한 학생들을 과도하게 식별합니다.

Journal of Educational Data Mining의 DEWS를 설명하는 2015년 논문 에서 전 DPI 연구 분석가인 Jared Knowles는 DPI가 중퇴자 한 명을 올바르게 식별하는 경우 학생들이 졸업하지 못할 것이라는 25개의 잘못된 경보를 "우리가 기꺼이 수용하겠다고 명시적으로 밝혔습니다"라고 썼습니다.

그러나 형평성 분석에서 DPI는 알고리즘이 허위 경보를 동일하게 생성하지 않는다는 사실을 발견했습니다.

캡션: 부서의 DEWS 지분 분석 결과를 요약한 DPI 프레젠테이션의 스크린샷입니다. 크레딧: 위스콘신 DPI

"평신도의 관점에서: 이 모델은 정시 졸업생 중에서 백인 학생을 과도하게 식별하는 반면, 정시에 졸업하지 못한 학생 중에서 흑인, 히스패닉 및 기타 유색 인종 학생을 과도하게 식별합니다."라고 DPI 연구 분석가는 다음과 같이 썼습니다. 프레젠테이션.

프레젠테이션에서는 형평성 분석을 위해 어떤 DEWS 점수가 정시 졸업에 해당하는지 명시하지 않습니다.

"DEWS는 공정합니까?"라는 제목의 슬라이드에 대한 메모입니다. 결론은 "아니요..."로 끝납니다.

조기 경보 시스템을 연구하는 펜실베이니아 대학교 교육 교수인 Ryan Baker는 "그들은 분명히 학생들의 인종 측면에서 체계적 오류가 있는 모델을 사용해 왔으며 이는 실제로 수정되어야 할 부분입니다"라고 말했습니다.

"그들은 인구통계학적 요인을 예측 변수로 갖고 있었고 이는 해당 변수의 의미를 지나치게 강조하여 이런 종류의 효과를 유발할 것입니다."

↩︎ 링크

DEWS의 10년에 대한 이해

최근 UC Berkeley 출신의 연구자 팀(박사 후보자 Juan Perdomo, Britton, 알고리즘 공정성 전문가 Moritz Hardt 및 Rediet Abebe)은 다른 렌즈를 통해 DEWS의 효능을 조사했습니다.

DPI가 자발적으로 공유한 약 10년 간의 DEWS 데이터를 사용한 연구는 예측 조기 경보 시스템이 학생 결과에 어떤 영향을 미치는지에 대한 역대 최대 규모의 분석입니다.

이전 연구에서는 역사적 데이터에 대해 테스트했을 때 조기 경보 시스템이 얼마나 정확하게 수행되는지 질문했지만, UC Berkeley 연구에서는 DEWS가 고위험으로 분류된 실제 학생들의 졸업률을 향상시켰는지 여부를 조사했습니다.

연구원들은 DEWS 점수가 78.5 임계값 바로 아래인 학생들을 고위험 범주에 배치하기 위해 점수가 해당 임계값 바로 위에 있는 학생들을 중간 위험 범주에 배치하는 학생들의 졸업률이 향상되었는지 여부를 테스트했습니다.

시스템이 의도한 대로 작동한다면 고위험 범주에 속한 학생들은 추가 자원을 제공받게 되어 졸업률이 향상되는 것을 볼 수 있지만, 연구에 따르면 고위험 범주에 배치되는 것이 학생들이 제 시간에 졸업하는지 여부에 통계적으로 유의미한 영향을 미치지 않는 것으로 나타났습니다.

저자들은 “DEWS 예측이 정시 졸업 가능성에 어떤 식으로든 영향을 미쳤다는 증거는 없습니다.”라고 썼습니다.

시스템이 의도한 대로 작동하고 학교가 고위험으로 분류된 학생들에게 더 많은 자원을 배정한다면 UC Berkeley의 연구에 따르면 이는 다르지만 불평등한 영향을 미칠 것입니다.

“학교가 [DEWS] 점수의 순위를 매기고 졸업 확률이 가장 낮은 학생을 선택하여 개입할 학생을 선택한다면, 서비스가 부족한 학생들은 체계적으로 간과되고 우선순위에서 제외될 것입니다.”라고 저자는 썼습니다.

이는 DEWS의 예상 졸업률이 학생들의 실제 졸업률을 정확하게 반영하지 않기 때문입니다. UC Berkeley 연구진이 The Markup과 공유한 데이터에 따르면 특히 백인 학생들은 DEWS 점수가 시사하는 것보다 훨씬 더 높은 비율로 졸업합니다.

예를 들어, DEWS 점수 83점을 받은 유색 인종 학생들은 90%의 시간에 맞춰 졸업했습니다. 이는 지난해 위스콘신 주 전체 평균 졸업률과 동일하다.

동일한 DEWS 점수 83점을 받은 백인 학생들은 주 평균보다 높은 93%의 시간에 맞춰 졸업했습니다.

그러나 결정적으로, 상당히 낮은 DEWS 점수인 63점을 받은 백인 학생들은 본질적으로 더 높은 점수를 받은 백인 학생들과 동일한 비율, 즉 92%의 시간에 졸업했습니다.

그러나 DEWS 점수 68점을 받은 유색인종 학생들은 주 평균보다 낮은 81%의 시간에 맞춰 졸업했습니다.

즉, 교육자가 DEWS의 조언을 따르고 68점의 유색인종 학생보다 도움을 받기 위해 63점의 백인 학생에게 우선 순위를 부여했다면 궁극적으로 평균보다 높은 비율로 졸업하는 학생보다 최종적으로 졸업하는 학생을 우선시했을 것입니다. 평균 요금.

이 연구에서는 알고리즘의 특별한 기이함이 위스콘신의 불평등을 악화시키지 않았을 가능성이 높다고 결론지었습니다. 왜냐하면 DEWS가 인종에 관계없이 고위험으로 분류된 사람의 결과를 개선하지 않기 때문입니다.

고급 알고리즘, 2급 학교 시스템

DPI는 초창기부터 DEWS를 주정부의 "용납할 수 없는" 졸업 격차를 해소하기 위한 비용 효과적인 도구 로 홍보했습니다. 그러나 조기 경보 시스템은 해당 기관의 최우선 솔루션이 아니었습니다.

2011년 2년 단위 예산 제안의 일환으로, 현 주지사인 Tony Evers의 지휘 하에 있던 Wisconsin DPI는 어려움을 겪고 있는 지역에 직접 자원을 보내는 "모든 어린이는 졸업생" 보조금 프로그램에 2,000만 달러를 요청했습니다 . .

그 해에 주 내 백인 학생의 91%가 제때에 고등학교를 졸업한 반면 흑인 학생은 64%였습니다.

그러나 당시 주지사 스캇 워커(Scott Walker)는 공교육에 대해 다른 계획을 가지고 있었습니다. 그는 2년 예산에서 공립학교에 대한 주정부 자금을 약 7%인 8억 달러 삭감했습니다 . 여기에는 "모든 어린이 졸업생"을 위한 2천만 달러가 포함되었으며, 그 중 Walker 행정부는 모든 학생 데이터를 한 곳에 보관할 주 전체 학생 정보 시스템을 구축하는 데 1,500만 달러를 투자했습니다 .

보조금 프로그램은 거부되었지만 풍부한 새로운 데이터를 보유하고 있는 DPI는 졸업 격차를 해소할 첨단 기술 솔루션을 찾았습니다. 2012년에는 DEWS를 시험하기 시작했습니다.

설립 당시 DEWS는 미국에서 가장 발전된 예측 조기 경보 시스템 중 하나였습니다.

그 정확성은 "현재 사용 중인 가장 잘 알려진 시스템 중 일부와 동등했지만 더 다양한 학교 환경에서 더 큰 규모로 수행되었습니다. [및] 초기 학년에서" 전 DPI 연구 분석가인 Knowles는 말했습니다. 시스템을 구축한 사람은 2015 Journal of Educational Data Mining 논문에 썼습니다.

DPI는 신속하게 예측 분석의 사용을 확대하기로 결정했으며 2016년에는 학생들이 ACT와 대학에 대해 "준비" 또는 "준비되지 않음"인지 예측하는 대학 및 직업 준비 조기 경고 시스템(CCREWS)이라는 자매 알고리즘을 출시했습니다.

위스콘신 학군을 대상으로 한 The Markup의 설문 조사에서 응답자 80명 중 7명은 DEWS를 사용한다고 보고한 30개 학군과 비교하여 어느 정도 CCREWS를 사용한다고 답했습니다.

2019년에 DPI는 AP 과정에서 어떤 학생이 성공할 것인지 예측하기 위해 DEWS를 기반으로 한 또 다른 알고리즘 모델을 시험했습니다. 공공 기록 요청을 통해 입수한 문서에 따르면 11개 지역의 학교가 시범 프로그램에 등록했지만 코로나19 대유행이 시작된 후 프로젝트가 중단됐다.

DEWS가 시범 운영되기 전인 2011년 이후 위스콘신의 흑인과 백인 학생 간의 졸업 격차가 줄어든 백분율 포인트입니다.

주에서 예측 알고리즘을 실험한 지난 10년 동안 위스콘신의 교육 불평등은 거의 개선되지 않았습니다.

흑인과 백인 학생 간의 졸업 격차는 2011년 이후 27%에서 23%로 4%포인트만 줄어들었습니다. 한편, 위스콘신의 8학년 흑인과 백인 학생의 읽기 점수 차이는 2011년부터 모든 국가 교육 발전 평가(NAEP)에서 전국 주 중 최악 이었습니다.

또한 2009년 이후 모든 NAEP에서 흑인과 백인 8학년 학생의 수학 점수 사이에 모든 주에서 가장 큰 격차가 있었습니다.

"데이터가 나올 때마다 제가 항상 묻는 질문은 흑인 아이들이 얼마나 나쁜지뿐만 아니라 백인 아이들이 어떻게 그렇게 잘하고 있습니까?" 교육 불평등에 관한 전국 전문가이자 은퇴한 위스콘신 대학교 매디슨 교수인 Gloria Ladson-Billings는 말했습니다.

“우리가 이 아이들을 어떻게 헤쳐나갈지 모르는 것은 아닙니다. 문제는 우리가 충분히 관심을 가지려면 그들이 디비전 I 선수처럼 보여야 한다는 것입니다.”

위스콘신의 흑인 및 히스패닉계 학생들은 The Markup에 자신들이 종종 2류 학교 시스템에 속해 있다고 느낀다고 말했습니다.

UW-Parkside의 21세 학생인 Kennise Perry는 흑인 비율이 49%인 밀워키 공립학교에 다녔다가 흑인 비율이 6%에 불과한 Waukesha 교외로 이사했습니다. 그녀는 어린 시절이 어려웠고 가정 생활이 때때로 불안정했으며 학교에서 그녀를 "위험이 높은" 학생으로 간주했을 가능성이 있다고 말했습니다.

“저는 모든 수업에서 유일한 흑인 아이였습니다. 나와 닮은 사람을 대표하는 다른 사람은 없으며 내 동료들은 극도로 인종차별적이었습니다.”라고 그녀는 말했습니다. “정말 충격적이었습니다.… 저는 너무 화가 났고 분노를 어떻게 표현해야 할지 몰랐습니다. 나는 비참했다.

그래서 당연히 라벨과 물건이 시작되었습니다. 하지만 성공하는 사람과 그렇지 않은 사람의 차이는 주변에 있는 사람들의 차이라고 생각합니다. 마치 저를 걱정하고 제게 두 번째 기회를 준 사람들이 있는 것처럼 말이죠. [DEWS] 이 아이들의 고위험군과 통계를 나열하면 그들에게 기회조차 주지 않고 이미 라벨을 붙이고 있습니다.”

Waukesha의 교육구는 The Markup의 설문 조사나 의견 요청에 응답하지 않았습니다. 그러나 공개 기록 요청을 통해 입수한 문서에 따르면 페리가 다녔던 Waukesha North High School은 어떤 학생이 AP 수업에서 성공할지 예측하도록 설계된 DPI 알고리즘 파일럿에 참여하기로 등록한 것으로 나타났습니다.

주 최대 학군인 밀워키 공립학교는 조기 경보 시스템에 DEWS나 어떤 종류의 기계 학습도 사용하지 않는다고 대변인 스티븐 데이비스(Stephen Davis)가 The Markup에 보낸 이메일에서 밝혔습니다. 많은 지역 및 주와 마찬가지로 사전 정의된 일수 동안 결석하는 등 특정 기준에 도달했는지 여부에 따라 학생을 정상 또는 비정상으로 식별하는 저기술 접근 방식을 사용합니다.

작년에 Cudahy 고등학교의 학생들은 학교 행정부가 적절하게 해결하지 못하고 있다고 생각하는 인종차별 사건에 대응하여 최초의 흑인 학생회를 창설했습니다.

Cudahy의 흑인 학생회 주니어이자 부회장인 Mia Townsend는 “[백인 학생들]은 이미 능력을 갖추고 있다는 것을 알고 있습니다.”라고 말했습니다. "당신은 이미 그 분리를 느끼고 있습니다.… 그들은 특정 일에 있어서 더 많은 기회와 더 많은 자유를 가지고 있습니다."

BSU의 학생들은 주 정부가 예측 알고리즘을 통해 달성하고자 하는 것과 동일한 종류의 지원 개입을 서로에게 유기적으로 제공했습니다.

2020-21학년도 동안 위스콘신주의 백인 학생 중 18%가 AP 시험을 치른 반면 흑인 학생은 5%였습니다. 우등생인 타운센드는 동료 후배인 BSU 총장 모리스 뉴튼이 그녀에게 도전을 받아들일 것을 촉구할 때까지 AP 과정을 피하는 길을 가고 있었다고 말했습니다. 그녀는 내년에 AP 영어 수업에 참여하자고 요청했습니다.

“그들은 그것이 더 어려운 것처럼 보이게 만들고 솔직히 똑같습니다.”라고 Newton은 말했습니다. “좋은 성적을 받으면 그 수업을 통과할 수 있어요.”

DEWS에 대한 The Markup의 질문에 대한 응답으로 Cudahy 지방 교육감 Tina Owen-Moore는 직원들이 예측에 대해 알지 못했고 현재 사용하지 않았지만 카운셀러가 "이 리소스에 대해 매우 흥미를 느꼈다"고 표현한 이메일 스레드를 공유했습니다. ”

그러나 Owen-Moore는 우리가 발견한 내용을 검토한 후 "확실히 내 관점이 바뀌었습니다!!"라고 썼습니다.

“그들은 우리에게 데이터를 건네주며 '알아보세요'라고 말했습니다. ”

The Markup의 설문 조사에 응답한 많은 지역에서는 Brown과 Kenosha에 있는 Bradford High School의 교직원이 사용하는 방식과 유사하게 DEWS 예측을 사용하여 건물의 어떤 신입생에게 추가 주의가 필요한지 식별한다고 말했습니다.

예를 들어, Appleton 학군 시의 고등학교 케이스 관리자는 DEWS 및 기타 데이터를 사용하여 지원이 필요한 신입생을 식별하고 특수 교육 케이스로드를 결정합니다.

DEWS 데이터에 "크게" 의존하는 Winneconne School District는 학부모에게 자녀가 위험에 처할 수 있음을 알리는 편지를 보냅니다. 하지만 해당 편지에는 알고리즘이 언급되어 있지 않습니다.

그러나 일부 학교에서는 데이터를 다른 용도로 사용하는 경우도 있습니다. 예를 들어, Maple School District의 교육감인 Sara Croney는 The Markup에 자신의 교직원이 DEWS의 "편향되지 않은 인식 데이터"를 사용하여 참여하지 않는 학생들에게 초점을 맞춘 교직원 개발 보조금을 성공적으로 신청했다고 말했습니다.

Racine 시의 중학교에서는 한때 DEWS를 사용하여 파괴적인 학생들을 별도의 교실로 보내는 것을 포함하는 특별 "폭력 방지 구역" 프로그램에 배치할 학생을 선택했습니다.

Racine School District는 "현재 DEWS나 CCREWS를 활용하고 있지 않습니다"라고 Stacy Tapp 대변인이 이메일에 썼습니다.

인터뷰에 참여한 The Markup의 많은 관리자들은 DEWS가 예측을 계산하는 방법이나 예측을 해석하는 방법에 대한 교육을 거의 또는 전혀 받지 못했다고 말했습니다.

Croney는 "그들은 우리에게 데이터를 건네주며 '알아보세요'라고 말했습니다."라고 말했습니다. "그래서 우리 교장은 그것을 분석하고 위험에 처한 지역의 아이들이 누구인지 결정할 것입니다."

DPI는 웹 사이트에서 DEWS의 작동 방식과 의도된 용도에 대한 문서를 제공하지만 공개 자료의 대부분은 시스템에 대한 주요 사실을 생략합니다. 즉, 예측이 부분적으로 학생의 인종, 성별, 가족 부, 학교가 통제할 수 없는 다른 요인.

예를 들어, 해당 부서의 DEWS Action Guide에서는 학생 인종, 성별, 무료 또는 할인 점심 식사 상태가 알고리즘의 주요 입력 변수라는 점을 언급하지 않습니다.

DEWS 예측을 생성하는 데 사용되는 데이터를 설명하는 DPI의 웹페이지에는 출석, 징계 기록, 전년도에 참석한 교육구 수(이동성) 및 주 시험 점수라는 네 가지 범주의 정보가 나열되어 있습니다.

“인구통계학적 속성이 사용된다”고 명시되어 있지만 어떤 속성이 예측에 어떻게 영향을 미치는지는 명시되어 있지 않습니다.

마찬가지로 교육자가 주 전체 정보 시스템에서 학생의 DEWS 예측을 볼 때 학생의 출석, 징계 기록, 이동성 및 시험 점수가 전체 위험 레이블에 어떤 영향을 미치는지 조사할 수 있지만 학생의 인구통계학적 특징이 예측에 어떤 영향을 미치는지는 표시되지 않습니다. .

Richland School District의 커리큘럼 및 교육 책임자인 Shari Johnson은 자신의 학교가 실행 계획을 작성하고 특히 "가장 위험에 처한" 범주에서 벗어나는 것을 목표로 "고위험" 학생들에게 교직원 멘토를 할당하기 시작했다고 말했습니다. ” 왜냐하면 그녀는 모든 사람을 멘토링하는 것이 불가능하다고 말했기 때문입니다.

그러나 그녀가 The Markup과 대화했을 때 그녀는 장애나 경제적 불이익과 같은 특성이 학생의 점수에 영향을 미친다는 사실을 알지 못했습니다.

“우리가 이런 일을 아는 것은 누구의 책임입니까? 제가 이 자리에서 우려하는 점은 제가 우연히 알게 된 것입니다.”라고 Johnson은 말했습니다. "내가 하는 일은 DEWS 및 거기에 있는 정보와 직접적으로 연관되어 있기 때문에 두려운 일입니다."

DEWS의 작동 방식과 교육자가 작동 방식을 이해하는 방식 사이의 단절은 DPI에게는 새로운 것이 아닙니다.

2016년 중서부 지역 교육 연구소(Midwest Regional Education Laboratory)의 연구원들은 중학교 교장의 DEWS 경험 조사를 바탕으로 한 번도 출판되지 않은 DPI에 대한 보고서를 작성했습니다.

공공 기록 요청을 통해 얻은 보고서에 따르면 응답자들은 "개입을 식별하고 모니터링하는 방법에 대한 더 많은 교육과 지원을 원했고" "DEWS에 대한 시간, 돈, 교육"이 시스템 사용에 가장 큰 장애물이라고 결론지었습니다.

Bradford 고등학교 교장 Brian Geiger는 다른 Kenosha 학교의 교감이었을 때 DEWS가 출시되었을 때 들었던 것을 기억하며 그 이후로 여름 가정 방문을 포함하여 다양한 목적으로 DEWS를 사용했다고 말했습니다.

이제 브래드포드의 교감인 브라운(Brown)이 그 일을 시작했습니다. DEWS에 결함이 있음을 알면서도 Brown은 예측이 신입생을 위한 최고의 데이터라고 말했습니다.

“100% 예측은 아닙니다. 이에 대한 내 생각은 우리가 이것을 일종의 지침으로 삼고 있다는 것이다”라고 그는 덧붙였다. “(브래드포드 고등학교에 등록한) 1,400명의 아이들의 모든 집을 방문할 수 있었으면 좋겠다고 그는 덧붙였습니다. 우리는 그렇게 하기 위한 여름학교 예산이 없습니다.”