404 測定値

マルチモーダルミーム感情分類のためのユニモーダル中級トレーニング

に Memeology: Leading Authority on the Study of Memes5m2024/04/07

長すぎる; 読むには

新しいアプローチでは、ユニモーダル感情データを活用してマルチモーダルミーム感情分類を強化し、ラベル付きデータ不足に対処し、パフォーマンスを大幅に向上させます。この戦略により、分類器のパフォーマンスを損なうことなく、トレーニングに必要なラベル付きミームの量を減らすこともできます。

featured image - マルチモーダルミーム感情分類のためのユニモーダル中級トレーニング

著者:

（１）ムザッファル・ハズマン、アイルランド、ゴールウェイ大学

（２）スーザン・マッキーバー、ダブリン工科大学、アイルランド

（３）ジョセフィン・グリフィス、アイルランド、ゴールウェイ大学

リンク一覧

概要と序論

抽象的な

インターネットミームは、自動感情分類にとって依然として難しいユーザー生成コンテンツです。ラベル付きミームの可用性は、マルチモーダルミームの感情分類器の開発の障壁となっています。ラベル付きミームの不足に対処するために、マルチモーダルミーム分類器のトレーニングをユニモーダル (画像のみとテキストのみ) データで補うことを提案します。この研究では、比較的豊富な感情ラベル付きユニモーダルデータを使用する、教師あり中間トレーニングの新しいバリエーションを紹介します。結果は、ユニモーダルテキストデータを組み込むことで統計的に有意なパフォーマンスの向上を示しています。さらに、下流モデルのパフォーマンスを低下させることなく、ラベル付きミームのトレーニングセットを 40% 削減できることも示しています。

1 はじめに

インターネットミーム（または単に「ミーム」）が世界中のデジタルコミュニティでますます人気が高まり、一般的になるにつれて、感情分類、ヘイトスピーチ検出、皮肉検出などの自然言語分類タスクをこれらのマルチモーダル表現単位に拡張する研究の関心が高まっています。しかし、最先端のマルチモーダルミーム感情分類器は、現代のテキスト感情分類器や画像感情分類器に比べて大幅に劣っています。マルチモーダルミームの感情を識別する正確で信頼性の高い方法がなければ、ソーシャルメディア感情分析方法は、ミームを介して表現された意見を無視するか、不正確に推測するしかありません。ミームがオンラインディスカッションの主流であり続けるため、私たちの

それらが伝える意味を推測する能力がますます重要になります (Sharma et al., 2020; Mishra et al., 2023)。

ミームに対して、ユニモーダルコンテンツと同レベルの感情分類パフォーマンスを達成することは、依然として課題です。マルチモーダルな性質に加えて、マルチモーダルミーム分類器は、短いテキスト、文化的参照、視覚的象徴性を含む文化的に特有の入力から感情を識別する必要があります (Nissenbaum および Shifman、2017)。各モダリティ (テキストと画像) から情報を抽出するためにさまざまなアプローチが使用されてきましたが、最近の研究では、ミーム分類器はこれら 2 つのモダリティ間のさまざまな形式の相互作用も認識する必要があることが強調されています (Zhu、2020; Shang 他、2021; Hazman 他、2023)。

ミーム分類器をトレーニングするための現在のアプローチは、各モダリティから関連する特徴と関連するクロスモダリティ相互作用を抽出する分類器をトレーニングするのに十分なサンプルを含む、ラベル付けされたミームのデータセットに依存しています (Kiela et al., 2020; Sharma et al., 2020; Suryawanshi et al., 2020; Patwa et al., 2022; Mishra et al., 2023)。タスクの複雑さに比べて、ラベル付けされたミームの現在の可用性は依然として問題を引き起こしており、現在の多くの研究ではより多くのデータが求められています (Zhu, 2020; Kiela et al., 2020; Sharma et al., 2022)。

さらに悪いことに、ミームは分類が難しい。ミームの複雑さと文化依存性

(Gal et al., 2016) は主観的知覚問題 (Sharma et al., 2020) を引き起こし、各注釈者のミームの内容に対するさまざまな親しみやすさと感情的な反応が、異なる真実のラベルを引き起こします。2 番目に、ミームには他の人気メディアから取得された著作権で保護された視覚要素が含まれることが多く (Laineste and Voolaid, 2017)、データセットを公開する際に懸念が生じます。このため、Kiela et al. (2020) はライセンスされた画像を使用してデータセット内の各ミームを手動で再構築する必要があり、注釈付けの労力が大幅に増加しました。さらに、特定のミームを構成する視覚要素は、オンラインコミュニティを通じて急速に広がる突然のトレンドとして現れることが多く (Bauckhage, 2011; Shifman, 2014)、以前はほとんど意味を持たなかった一般的なミーム用語に、意味が豊富な新しい視覚シンボルを急速に導入します (Segev et al., 2015)。これらの特性を合わせると、ミームのラベル付けは特に困難でコストがかかります。

ミームの感情分類器をトレーニングするためのよりデータ効率の高い方法を模索する中で、私たちの研究では、比較的豊富な単峰性の感情ラベル付きデータ、つまり画像のみとテキストのみのサンプルを含む感情分析データセットを活用しようとしています。私たちは、Phang ら (2019) の Supplementary Training on Intermediate Labeleddata Tasks (STILT) を使用してこれを行います。これは、事前トレーニング済みのテキストエンコーダーをデータ不足の自然言語理解 (NLU) タスクに微調整する際によく発生するパフォーマンスの低さに対処します。Phang らの STILT アプローチには、次の 3 つのステップが含まれます。

1. 事前トレーニング済みの重みを分類器モデルに読み込みます。

2. データが簡単に入手できる教師あり学習タスク (中間タスク) でモデルを微調整します。

3. 中間タスクとは異なる、データが不足しているタスク (ターゲットタスク) でモデルを微調整します。

STILT は、さまざまなテキストのみのターゲットタスクでさまざまなモデルのパフォーマンスを向上させることが示されています (Poth et al., 2021; Wang et al., 2019)。さらに、Pruksachatkun et al. (2020) は、STILT が WiC (Pilehvar and Camacho-Collados, 2019) や BoolQ (Clark et al., 2019) などの小規模なデータセットを使用した NLU のターゲットタスクで特に効果的であることを観察しました。ただし、このアプローチのパフォーマンス上の利点は一貫しておらず、特定のターゲットタスクに対して適切な中間タスクを選択することに依存することも示しました。場合によっては、中間トレーニングがターゲットタスクのパフォーマンスに悪影響を及ぼすことが判明しました。Pruksachatkun et al. (2020) は、中間タスクとターゲットタスクの各ペアに必要な「構文スキルと意味スキル」の違いが原因であるとしました。ただし、STILT は、中間タスクとターゲットタスクの入力モダリティが異なる構成ではまだテストされていません。

ミームのテキストや画像を単独で検討するだけでは、その意味全体が伝わりませんが (Kiela et al., 2020)、ユニモーダル感情データは、ミームの感情を識別するための関連スキルを組み込むのに役立つ可能性があると考えています。マルチモーダルミーム感情分類器のトレーニングにおける中間タスクとしてユニモーダル感情分析データを使用する STILT の新しい変種を提案することで、次の質問に答えます。