미디어의 다국어 대략적인 정치적 입장 분류: 정치적 입장 분류

링크 표

• 초록 및 소개
• 말뭉치 편집
• 정치적 입장 분류
• 요약 및 결론
• 한계 및 윤리 선언문
• 감사의 말과 참고자료
• A. OSCAR 22.01의 신문
• 나. 주제
• 다. 신문별 주제 분포
• D. ChatGPT 및 Bard 기사 생성 주제
• E. 기사 수준의 스탠스 분류
• F. 교육 내용

3. 정치적 입장 분류

네트워크. **우리는 고려하는 4개 언어를 포함하여 100개 언어로 훈련된 다국어 변환기 기반 마스크 LM인 XLM-RoBERTa 대형(Conneau et al., 2020)을 미세 조정합니다. 네트워크의 세부 사항과 모델별 하이퍼파라미터 탐색은 부록 F에 보고되어 있습니다.

모델. 우리는 4가지 모델을 훈련합니다. 영어, 독일어, 스페인어 데이터를 사용한 3가지 단일 언어 미세 조정과 데이터를 섞은 연결을 사용한 다국어 모델입니다. 모든 모델은 단일 언어 또는 다중 언어로 미세 조정된 다중 언어 임베딩(RoBERTa)을 기반으로 합니다. 카탈로니아어에 대한 모델은 훈련하지 않습니다. 이를 통해 우리는 단일 언어와 다국어 미세 조정의 성능을 비교하고 제로 샷 언어 전송을 위한 다국어 모델 사용 가능성을 탐색하려고 합니다.

신문 기사를 이용한 대략적인 분류. 표 2에 결과가 요약되어 있습니다. 모든 모델은 훈련 데이터와 동일한 분포에서 추출된 검증 세트에서 95% 이상의 정확도를 달성합니다. 보이지 않는 데이터에 대해 모델이 어떻게 동작하는지 확인하기 위해 표 1의 테스트 신문에서 왼쪽(L)과 오른쪽(R)으로 분류된 기사의 비율을 계산합니다. 1000개의 부트스트랩을 사용하여 테스트 세트의 부트스트랩 리샘플링을 수행합니다. 95% 수준의 신뢰구간을 구합니다. 좌파 성향의 신문의 기사가 모두 좌파의 특징을 뚜렷하게 보여줄 것이라고는 기대하지 않지만, 중립계층이 없다는 점을 고려하면 대다수가 좌파로 분류될 것으로 예상한다. 좋은 결과가 반드시 100%~0%일 필요는 없습니다. 이 역시 현실적이지 않기 때문입니다. 해당 신문의 기사 중 50% 이상이 좌/우 정치적 입장으로 분류되면 해당 신문은 좌/우 정치적 입장으로 분류된 것으로 간주합니다. 이러한 경우는 표 2에 굵게 표시되어 있습니다.

이는 모든 테스트 신문에 대해 얻은 동작이지만 독일 우파 신문인 die Preußische Allgemeine Zeitung(PAZ)에 대해서는 발생합니다. 독일어 모델은 12개의 신문에 대해서만 훈련되었으며, 영어의 경우 47개, 스페인어의 경우 38개와 비교됩니다. 잘못된 분류는 다양성이 최종 모델 성능의 핵심 측면임을 나타낼 수 있습니다. 다중 언어는 도움이 되지 않으며 PAZ 기사의 65%는 여전히 좌파 지향으로 분류됩니다. 우리는 또한 두 가지 가까운 언어인 독일어 데이터에 대한 영어 모델의 효율성을 평가합니다. 우리는 미국과 독일 신문의 주제가 많이 다를 수 있다는 점을 인정하지만, 영어 훈련 데이터의 높은 다양성이 이를 잠재적으로 보완할 수 있습니다. 영어 모델은 독일의 My Heimat를 좌파 신문(L: 67±3%)으로, PAZ를 우파 신문(R: 58±5%)으로 정확하게 분류할 수 있었습니다. 우리는 다양성이 부족한 코퍼스에서 훈련되는 독일 모델에 차이가 있다고 다시 생각합니다. 다국어 시스템을 사용할 때 출력을 구별하는 주요 요소는 입장보다는 언어 자체입니다. 분류를 크게 변경하기에는 영어 데이터 추가가 충분하지 않습니다. 영어 시스템을 사용하게 되면 언어는 더 이상 역할을 하지 못하고 자세의 특징만 고려하게 됩니다. 영어 모델을 카탈로니아 신문에 적용할 때 만족스러운 결과를 얻지 못했습니다(좌파 신문의 경우 95±1%, 우파 신문의 경우 16±3%). 이는 언어 간 관련성이 중요하다는 것을 보여줍니다. 그러나 다국어 모델은 관련 언어(스페인어)를 포함하는 이질적인 코퍼스로 훈련되었기 때문에 카탈로니아 신문의 입장을 적절하게 감지합니다. 가까운 관련 언어를 다룰 때 제로샷 언어 전달 분류를 수행할 수 있습니다.

ILM 생성 기사를 사용한 대략적인 분류. 표 2의 하단 부분에 결과가 자세히 설명되어 있습니다. 독일어 모델이 테스트 신문을 제대로 분류하지 않았기 때문에 먼저 영어와 스페인어 모델에 중점을 둡니다. ChatGPT에서 주목해야 할 가장 관련성이 높은 측면은 2월(v02)과 5월(v05) 사이의 정치적 입장의 급격한 변화와 8월(v08)의 중립을 향한 움직임입니다. 우리는 이러한 극성 변화가 생성된 기사의 주요 얕은 변화인 출력 길이의 영향이 아니라는 것을 확인했습니다. 영어로 된 훈련 데이터에는 584<길이(단어)<624(ChatPGTv05 길이와 유사)인 5,730L–6,988개의 R 기사와 331< 길이<371(ChatGPtv02와 유사)인 4,563개의 L-7,127 R 기사가 있습니다. 두 경우 모두 오른쪽 입장의 기사 수가 더 많지만 ChatGPTv02에 대한 예측은 분명히 왼쪽을 가리키며 길이가 분류에서 중요한 역할을 한다는 가설을 기각합니다. 스페인어에서도 비슷한 일이 일어납니다. 우리 모델에 따르면 5월 24일자 사설은 이전 버전의 이념과는 다른 올바른 이념에 가깝습니다. 특히 Chen et al.에 따르면 이 기간은 여러 작업의 감소에 해당합니다. (2003). 독일 및 카탈로니아어 출력은 v05에서도 여전히 좌파 이데올로기의 각인을 보여 주지만 단일 언어 모델로 이를 확인하려면 더 다양한 교육 데이터가 필요합니다. 독일어와 카탈로니아어에 대해 영어 단일 언어 모델을 사용하면 여전히 왼쪽 각인(독일어의 경우 60±10%, 카탈로니아어의 경우 87±7%)이 발생한다는 점은 흥미롭습니다. 따라서 ChatGPT의 정치적 입장이 언어에 따라 다르다는 징후가 있는데, 이는 데이터 기반 시스템에서 놀라운 일이 아닙니다. 마지막 버전인 ChatGPTv08은 가장 중립적인 텍스트를 생성하며 독일어만 확실히 왼쪽으로 기울어져 있습니다. v08a와 v08b의 두 세대는 결과가 강력하고 특정 세대에 묶여 있지 않음을 보여줍니다.

우리 시대를 포괄하는 다국어 Bard용 버전만 있습니다.[7] ChatGPT보다 Bard의 세대 간 차이가 더 크지만 v08 버전을 비교하면 Bard는 언어 전반에 걸쳐 더 일관된 방식으로 왼쪽을 가리킵니다. Bard의 정치적 성향은 정치적 테스트나 퀴즈 질문에 대한 답변에 따라 결정될 수도 있습니다. Political Compass(PC) 사이트[8]는 두 축, 즉 경제 정책(좌-우) 및 사회 정책(권위주의-자유주의)에서 유럽/서구 관점의 정치 이데올로기를 식별하기 위한 62개의 명제를 정의합니다. [-10,10]. 각 제안에는 강력히 동의함, 동의함, 동의하지 않음, 강력히 동의하지 않음의 4가지 대안이 제시됩니다. 설문지를 묻는 메시지가 표시되면[9] Bard의 점수는 영어의 경우 (-6.50, -4.77), 독일어의 경우 (-8.00, -7.13), 스페인어의 경우 (-5.75, -4.15), 스페인어의 경우 (-6.75, -4.56)입니다. 카탈로니아어, 첫 번째 숫자는 경제 정책에 해당하고 두 번째 숫자는 사회 정책에 해당합니다. 결과는 표 2와 일치하며 직접적인 질문에 의존하지 않는 우리 방법의 간접적인 검증을 제공합니다.[10]

ChatGPT에서는 이러한 종류의 분석이 더 이상 불가능합니다. ChatGPT는 의견과 선호도 표현을 자제하고 보다 간접적인 방식으로 성향을 감지하는 접근 방식의 타당성을 보여주기 때문입니다. 또한 이러한 설문지는 잘 알려져 있고 공개되어 있으므로 LM에게 질문을 피하거나 중립적인 방식으로 제안에 반응하도록 지시하기가 쉽습니다. 이전 작업에서는 ChatGPT의 방향을 추정하기 위해 정치적 테스트와 설문지만 사용했습니다. Hartmannet al. (2023)은 PC, 투표 조언 애플리케이션 Wahl-O-Mat(독일)의 38개 정치적 성명 및 StemWijzer(네덜란드)의 30개 정치적 성명을 사용하여 2022년 12월 15일 버전의 ChatGPT 이데올로기가 친환경적이고 좌파 자유주의적이었다는 결론을 내렸습니다. .

Manhattan Institute for Policy Research[11]에서 실시한 연구에 따르면 ChatGPT는 영어에 대해 전형적인 중도좌파 정치적 관점에 해당하는 응답을 제공하는 경향이 있는 것으로 나타났습니다(Rozado, 2023). 저자는 1월 9일 ChatGPT 버전에 대해 15개의 정치적 성향 테스트를 실시했습니다. 그 결과는 2월 13일 모델에 대한 평가와 일치합니다. 마지막으로 Motoki et al. (2023)은 ChatGPT가 좌파 쪽으로 강하게 편향되어 있음을 보여주기 위해 PC를 기반으로 일련의 테스트를 수행했습니다. 저자는 자신이 사용하는 버전을 명시하지 않지만 작업은 2023년 3월에 제출되었습니다. 따라서 이러한 모든 결과는 5월에 감지된 오른쪽으로 이동하기 전의 것입니다.

[7] 우리가 사용하는 버전은 공식적으로 카탈로니아어를 지원하지 않지만 원어민들은 문법적 실수가 거의 없이 세대가 대부분 정확하고 유창하다는 것을 확인했습니다.

[8] https://www.politicalcompass.org/test (2023년 8월 13일부터 20일 사이에 액세스)

[9] 스페인어 설문지는 설문지가 제공되지 않아 카탈로니아어로 번역되었습니다.

[10] 하지만 사람과 마찬가지로 ILM도 일관되지 않은 방식으로 한 가지만 말하고(제안에 대한 옵션 선택) 행동(텍스트 작성)할 수 있습니다.

[11] Wikipedia에 따르면 보수적인 싱크탱크입니다.