극성 최소화 손실로 프레이밍 바이어스 완화: 실험

링크 표

• 초록 및 소개
• 관련된 일
• 접근하다
• 실험
• 결론
• 제한 사항, 윤리 선언문 및 참고 자료
• A. 실험 세부사항
• 나. 생성 결과

4. 실험

4.1. 설정

4.2. 모델

기준선 다중 뉴스 데이터 세트(Fabbri et al., 2019)(BARTMULTI(Lewis et al., 2019) 및 PEGASUSMULTI(Zhang et al., 2019a))에서 훈련된 기성 다중 문서 요약(MDS) 모델과 비교합니다. 기준으로. 이들 모델은 MDS에서 높은 성능을 달성했으며 편광 기사 요약에도 적용할 수 있습니다. 그러나 이러한 모델에는 프레이밍 편견 제거 또는 중립적 글쓰기에 대한 학습이 없습니다. 또한 ALLSIDES 데이터세트로 미세 조정된 최신 모델(BARTNEUSFT 및 BARTNEUSFT-T)(Lee et al., 2022)과도 비교합니다. BARTNEUSFT는 기사로만 미세 조정되는 반면 BARTNEUSFT-T는 각 기사의 제목을 추가로 활용합니다. 또한 PEGASUSNEUSFT를 보고합니다. 단순히 미세 조정하는 것만으로는 프레이밍 편향을 학습할 만큼 효과적이지 않을 수 있습니다. 따라서 우리는 극성 최소화 손실이 어떻게 기준선 및 SOTA 모델과 비교하여 프레이밍 편향을 효과적으로 완화할 수 있는지 보여줄 것입니다.

4.3. 결과

극단 극성을 이용한 효과적인 학습 중앙 매체와의 혼합보다 극단(왼쪽, 오른쪽) 간의 극성 최소화가 더 효과적인지 조사합니다. 이는 중앙 매체가 편견에서 완전히 자유롭지는 않지만 좌파와 우파 이데올로기는 중앙 매체보다 극단에 대해 모델을 더 효과적으로 훈련할 수 있는 반대쪽이기 때문입니다. 정성적 분석 결과는 정량적 측정값과 일치합니다. 예를 들어, 표 2에 설명된 것처럼 극성 최소화 모델 LR-INFO 및 LRC-AROUSAL은 모두 극성 입력 항목의 필수 정보로 요약할 수 있습니다. 특히 편향이 가장 낮은 모델인 LR-INFO는 더욱 중립적인 단어 선택을 사용할 수도 있습니다(예: Y를 대상으로 하는 "폭동" 대신 "항의").

4.4. 분석