著者:  （１）ムザッファル・ハズマン、アイルランド、ゴールウェイ大学 （２）スーザン・マッキーバー、ダブリン工科大学、アイルランド （３）ジョセフィン・グリフィス、アイルランド、ゴールウェイ大学 リンク一覧 概要と序論 関連事業 方法論 結果 限界と今後の課題 結論、謝辞、参考文献 ハイパーパラメータと設定 B 指標: 加重 F1 スコア C アーキテクチャの詳細 D パフォーマンスベンチマーク E 分割表: ベースライン vs. テキスト STILT 抽象的な インターネット ミームは、自動感情分類にとって依然として難しいユーザー生成コンテンツです。ラベル付きミームの可用性は、マルチモーダル ミームの感情分類器の開発の障壁となっています。ラベル付きミームの不足に対処するために、マルチモーダル ミーム分類器のトレーニングをユニモーダル (画像のみとテキストのみ) データで補うことを提案します。この研究では、比較的豊富な感情ラベル付きユニモーダル データを使用する、教師あり中間トレーニングの新しいバリエーションを紹介します。結果は、ユニモーダル テキスト データを組み込むことで統計的に有意なパフォーマンスの向上を示しています。さらに、下流モデルのパフォーマンスを低下させることなく、ラベル付きミームのトレーニング セットを 40% 削減できることも示しています。  1 はじめに インターネットミーム（または単に「ミーム」）が世界中のデジタルコミュニティでますます人気が高まり、一般的になるにつれて、感情分類、ヘイトスピーチ検出、皮肉検出などの自然言語分類タスクをこれらのマルチモーダル表現単位に拡張する研究の関心が高まっています。しかし、最先端のマルチモーダルミーム感情分類器は、現代のテキスト感情分類器や画像感情分類器に比べて大幅に劣っています。マルチモーダルミームの感情を識別する正確で信頼性の高い方法がなければ、ソーシャルメディア感情分析方法は、ミームを介して表現された意見を無視するか、不正確に推測するしかありません。ミームがオンラインディスカッションの主流であり続けるため、私たちの それらが伝える意味を推測する能力がますます重要になります (Sharma et al., 2020; Mishra et al., 2023)。 ミームに対して、ユニモーダルコンテンツと同レベルの感情分類パフォーマンスを達成することは、依然として課題です。マルチモーダルな性質に加えて、マルチモーダルミーム分類器は、短いテキスト、文化的参照、視覚的象徴性を含む文化的に特有の入力から感情を識別する必要があります (Nissenbaum および Shifman、2017)。各モダリティ (テキストと画像) から情報を抽出するためにさまざまなアプローチが使用されてきましたが、最近の研究では、ミーム分類器はこれら 2 つのモダリティ間のさまざまな形式の相互作用も認識する必要があることが強調されています (Zhu、2020; Shang 他、2021; Hazman 他、2023)。 ミーム分類器をトレーニングするための現在のアプローチは、各モダリティから関連する特徴と関連するクロスモダリティ相互作用を抽出する分類器をトレーニングするのに十分なサンプルを含む、ラベル付けされたミームのデータセットに依存しています (Kiela et al., 2020; Sharma et al., 2020; Suryawanshi et al., 2020; Patwa et al., 2022; Mishra et al., 2023)。タスクの複雑さに比べて、ラベル付けされたミームの現在の可用性は依然として問題を引き起こしており、現在の多くの研究ではより多くのデータが求められています (Zhu, 2020; Kiela et al., 2020; Sharma et al., 2022)。 さらに悪いことに、ミームは分類が難しい。ミームの複雑さと文化依存性 (Gal et al., 2016) は主観的知覚問題 (Sharma et al., 2020) を引き起こし、各注釈者のミームの内容に対するさまざまな親しみやすさと感情的な反応が、異なる真実のラベルを引き起こします。2 番目に、ミームには他の人気メディアから取得された著作権で保護された視覚要素が含まれることが多く (Laineste and Voolaid, 2017)、データセットを公開する際に懸念が生じます。このため、Kiela et al. (2020) はライセンスされた画像を使用してデータセット内の各ミームを手動で再構築する必要があり、注釈付けの労力が大幅に増加しました。さらに、特定のミームを構成する視覚要素は、オンラインコミュニティを通じて急速に広がる突然のトレンドとして現れることが多く (Bauckhage, 2011; Shifman, 2014)、以前はほとんど意味を持たなかった一般的なミーム用語に、意味が豊富な新しい視覚シンボルを急速に導入します (Segev et al., 2015)。これらの特性を合わせると、ミームのラベル付けは特に困難でコストがかかります。 ミームの感情分類器をトレーニングするためのよりデータ効率の高い方法を模索する中で、私たちの研究では、比較的豊富な単峰性の感情ラベル付きデータ、つまり画像のみとテキストのみのサンプルを含む感情分析データセットを活用しようとしています。私たちは、Phang ら (2019) の Supplementary Training on Intermediate Labeleddata Tasks (STILT) を使用してこれを行います。これは、事前トレーニング済みのテキスト エンコーダーをデータ不足の自然言語理解 (NLU) タスクに微調整する際によく発生するパフォーマンスの低さに対処します。Phang らの STILT アプローチには、次の 3 つのステップが含まれます。  1. 事前トレーニング済みの重みを分類器モデルに読み込みます。  2. データが簡単に入手できる教師あり学習タスク (中間タスク) でモデルを微調整します。  3. 中間タスクとは異なる、データが不足しているタスク (ターゲット タスク) でモデルを微調整します。  STILT は、さまざまなテキストのみのターゲット タスクでさまざまなモデルのパフォーマンスを向上させることが示されています (Poth et al., 2021; Wang et al., 2019)。さらに、Pruksachatkun et al. (2020) は、STILT が WiC (Pilehvar and Camacho-Collados, 2019) や BoolQ (Clark et al., 2019) などの小規模なデータセットを使用した NLU のターゲット タスクで特に効果的であることを観察しました。ただし、このアプローチのパフォーマンス上の利点は一貫しておらず、特定のターゲット タスクに対して適切な中間タスクを選択することに依存することも示しました。場合によっては、中間トレーニングがターゲット タスクのパフォーマンスに悪影響を及ぼすことが判明しました。Pruksachatkun et al. (2020) は、中間タスクとターゲット タスクの各ペアに必要な「構文スキルと意味スキル」の違いが原因であるとしました。ただし、STILT は、中間タスクとターゲット タスクの入力モダリティが異なる構成ではまだテストされていません。 ミームのテキストや画像を単独で検討するだけでは、その意味全体が伝わりませんが (Kiela et al., 2020)、ユニモーダル感情データは、ミームの感情を識別するための関連スキルを組み込むのに役立つ可能性があると考えています。マルチモーダルミーム感情分類器のトレーニングにおける中間タスクとしてユニモーダル感情分析データを使用する STILT の新しい変種を提案することで、次の質問に答えます。     : マルチモーダルミーム分類器のトレーニングにユニモーダル感情データを追加すると、パフォーマンスが大幅に向上しますか? RQ1 図 1 に示すように、画像のみとテキストのみの 3 クラス感情データ (それぞれ と を作成) を使用して、提案したアプローチを個別にテストしました。どちらかが有効であることが証明された場合、さらに次の質問に答えます。 Image-STILT Text-STILT    : ユニモーダル STILT を使用すると、ミーム感情分類器のパフォーマンスを維持しながら、ラベル付けされたミームの量をどの程度削減できますか? RQ2 この論文はCC 4.0ライセンスの下で 。 arxivで公開されています

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Memeology.TECH

Read My Stories

Memeology

このオーディオは、ストーリーの元の言語で制作されています。

マルチモーダルミーム感情分類のためのユニモーダル中級トレーニング

About Author

コメント

ラベル

この記事は

Related Stories

ワークフローを10倍に向上させる方法: 必須アプリ17選

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

ワークフローを10倍に向上させる方法: 必須アプリ17選

AI/ML データレイクのリファレンスアーキテクチャを構築するためのアーキテクトガイド

海を航海する: データレイクを使用した本番環境レベルの RAG アプリケーションの開発

Claude Sonnet 3.5 システムプロンプトの漏洩: 法医学的分析

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps

マルチモーダル ミーム感情分類のためのユニモーダル中級トレーニング

About Author

コメント

ラベル

この記事は

Related Stories

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps

マルチモーダルミーム感情分類のためのユニモーダル中級トレーニング