paint-brush
Giảm thiểu sai lệch khung với tổn thất tối thiểu hóa phân cực: Chi tiết thử nghiệmtừ tác giả@mediabias
623 lượt đọc
623 lượt đọc

Giảm thiểu sai lệch khung với tổn thất tối thiểu hóa phân cực: Chi tiết thử nghiệm

dài quá đọc không nổi

Trong bài viết này, các nhà nghiên cứu đề cập đến định kiến thiên vị trên các phương tiện truyền thông, một động lực chính dẫn đến sự phân cực chính trị. Họ đề xuất một hàm mất mát mới để giảm thiểu sự khác biệt về cực trong báo cáo, giảm sai lệch một cách hiệu quả.
featured image - Giảm thiểu sai lệch khung với tổn thất tối thiểu hóa phân cực: Chi tiết thử nghiệm
Media Bias [Deeply Researched Academic Papers] HackerNoon profile picture
0-item

Bài viết này có sẵn trên arxiv theo giấy phép CC BY-NC-SA 4.0 DEED.

tác giả:

(1) Yejin Bang, Trung tâm Nghiên cứu Trí tuệ Nhân tạo (CAiRE), Đại học Khoa học và Công nghệ Hồng Kông;

(2) Nayeon Lee, Trung tâm Nghiên cứu Trí tuệ Nhân tạo (CAiRE), Đại học Khoa học và Công nghệ Hồng Kông;

(3) Pascale Fung, Trung tâm Nghiên cứu Trí tuệ Nhân tạo (CAiRE), Đại học Khoa học và Công nghệ Hồng Kông.

Bảng liên kết

A. Chi tiết thí nghiệm


BERTSCORE-F1 Để đánh giá thông tin nổi bật, chúng tôi đã áp dụng số liệu dựa trên mã nhúng BERTSCORE-F1. Chúng tôi đã sử dụng phiên bản 'microsoft/deberta-xlarge-mnli' được đào tạo trước do (Zhang* và cộng sự, 2020) cung cấp làm điểm kiểm tra hiện đại.

A.1 Đánh giá con người


Chúng tôi tiến hành đánh giá với 30 mẫu được chọn ngẫu nhiên. Chúng tôi cung cấp hai bài viết từ hai mô hình (theo thứ tự ngẫu nhiên) cùng với câu vấn đề mô tả nội dung của bài viết. Sau đó, người chú thích được yêu cầu trả lời câu hỏi “Bài viết nào thiên vị hơn?”, theo Spinde et al. (2021); Lee và cộng sự. (2022). Chúng tôi nhận được ba chú thích cho mỗi mẫu và chọn biểu quyết theo đa số. Vì nhiều mẫu thử nghiệm có liên quan chặt chẽ đến chính trị Hoa Kỳ nên chúng tôi đã tuyển dụng ba công dân/người có quốc tịch/cư dân không phải là người Hoa Kỳ để giảm thiểu mọi thành kiến chính trị hoặc sở thích cá nhân liên quan đến việc đánh giá. Cả ba người chú thích đều tự nhận mình là người ôn hòa trong khuynh hướng chính trị và họ có đủ trình độ để thực hiện đánh giá bằng tiếng Anh (tất cả họ đều đã tốt nghiệp đại học bằng tiếng Anh).


Để xác minh rằng việc lựa chọn cái nào bị sai lệch trong các cặp không phải là ngẫu nhiên, một thử nghiệm nhị thức được tiến hành sau khi có được kết quả đánh giá. Giả thuyết không là “Việc lựa chọn các bài báo được tạo ra từ LR-INFO (phương pháp được đề xuất của chúng tôi) để ít sai lệch hơn là ngẫu nhiên”. Sau đó, chúng tôi thu được giá trị p là 0,019, bác bỏ giả thuyết khống (p < 0,05). Do đó, việc lựa chọn các bài viết được tạo ra từ LR-INFO để ít sai lệch hơn không phải là ngẫu nhiên.


Khi mô hình được huấn luyện với tổn thất giảm thiểu phân cực, nó có thể học cách loại bỏ thông tin gây sai lệch trong khi BARTNEUSFT-T phải chịu đựng. Như được minh họa trong Bảng 4, mô hình LR-INFO của chúng tôi có thể xóa thông tin gây thiên vị “Trump dự kiến sẽ tấn công các chính sách nhập cư của Tổng thống Joe Biden” khỏi phần tóm tắt về vấn đề “Trump phát biểu tại CPAC” trong khi BARTNEUSFTT không xóa được.


Bảng 4: Ví dụ về đánh giá con người.



Bảng 5: Kết quả thử nghiệm cho các mô hình của chúng tôi với đề xuất giảm thiểu tổn thất phân cực, LR-VALENCE, LRAROUSAL, LR-INFO, LRC-AROUSAL, LRC-INFO, với các trọng số khác nhau (λ). Đối với chỉ số thiên vị trong khung, số càng thấp càng tốt (↓). Đối với các điểm khác, số càng cao thì càng tốt (↑). Kết quả của các mô hình của chúng tôi với tổn thất giảm thiểu phân cực (được biểu thị bằng +) được báo cáo với λ tốt nhất. Khám phá đầy đủ về λ có trong Phụ lục và Hình 2