Giảm thiểu sai lệch khung với tổn thất tối thiểu hóa phân cực: Chi tiết thử nghiệm

Bảng liên kết

• Tóm tắt và giới thiệu
• Công việc có liên quan
• Tiếp cận
• Thí nghiệm
• Phần kết luận
• Hạn chế, Tuyên bố về Đạo đức và Tài liệu tham khảo
• A. Chi tiết thí nghiệm
• B. Kết quả thế hệ

A. Chi tiết thí nghiệm

BERTSCORE-F1 Để đánh giá thông tin nổi bật, chúng tôi đã áp dụng số liệu dựa trên mã nhúng BERTSCORE-F1. Chúng tôi đã sử dụng phiên bản 'microsoft/deberta-xlarge-mnli' được đào tạo trước do (Zhang* và cộng sự, 2020) cung cấp làm điểm kiểm tra hiện đại.

A.1 Đánh giá con người

Chúng tôi tiến hành đánh giá với 30 mẫu được chọn ngẫu nhiên. Chúng tôi cung cấp hai bài viết từ hai mô hình (theo thứ tự ngẫu nhiên) cùng với câu vấn đề mô tả nội dung của bài viết. Sau đó, người chú thích được yêu cầu trả lời câu hỏi “Bài viết nào thiên vị hơn?”, theo Spinde et al. (2021); Lee và cộng sự. (2022). Chúng tôi nhận được ba chú thích cho mỗi mẫu và chọn biểu quyết theo đa số. Vì nhiều mẫu thử nghiệm có liên quan chặt chẽ đến chính trị Hoa Kỳ nên chúng tôi đã tuyển dụng ba công dân/người có quốc tịch/cư dân không phải là người Hoa Kỳ để giảm thiểu mọi thành kiến chính trị hoặc sở thích cá nhân liên quan đến việc đánh giá. Cả ba người chú thích đều tự nhận mình là người ôn hòa trong khuynh hướng chính trị và họ có đủ trình độ để thực hiện đánh giá bằng tiếng Anh (tất cả họ đều đã tốt nghiệp đại học bằng tiếng Anh).

Để xác minh rằng việc lựa chọn cái nào bị sai lệch trong các cặp không phải là ngẫu nhiên, một thử nghiệm nhị thức được tiến hành sau khi có được kết quả đánh giá. Giả thuyết không là “Việc lựa chọn các bài báo được tạo ra từ LR-INFO (phương pháp được đề xuất của chúng tôi) để ít sai lệch hơn là ngẫu nhiên”. Sau đó, chúng tôi thu được giá trị p là 0,019, bác bỏ giả thuyết khống (p < 0,05). Do đó, việc lựa chọn các bài viết được tạo ra từ LR-INFO để ít sai lệch hơn không phải là ngẫu nhiên.

Khi mô hình được huấn luyện với tổn thất giảm thiểu phân cực, nó có thể học cách loại bỏ thông tin gây sai lệch trong khi BARTNEUSFT-T phải chịu đựng. Như được minh họa trong Bảng 4, mô hình LR-INFO của chúng tôi có thể xóa thông tin gây thiên vị “Trump dự kiến sẽ tấn công các chính sách nhập cư của Tổng thống Joe Biden” khỏi phần tóm tắt về vấn đề “Trump phát biểu tại CPAC” trong khi BARTNEUSFTT không xóa được.