ヘイトミーム検出の複雑さを乗り越える

リンク一覧

概要と序論

関連作業

予備

提案手法

実験

結論と参考文献

付録

2 関連研究

ミームは、通常、ユーモアや皮肉を意図したものですが、憎悪的なコンテンツの拡散にますます悪用されており、オンラインでの憎悪的なミームの検出という困難なタスクにつながっています [5、12、27]。憎悪的なミームの拡散に対抗するために、憎悪的なミームの検出をマルチモーダル分類タスクと見なす研究があります。研究者は、事前学習済みの視覚言語モデル（PVLM）を適用し、ミームの検出データに基づいて微調整しています [20、26、34、37]。パフォーマンスを向上させるために、モデルのアンサンブルを試みた人もいます [20、26、34]。別の研究では、事前学習済みモデル（BERT [4]やCLIP [29]など）をタスク固有のモデルアーキテクチャと組み合わせ、エンドツーエンドで調整することを検討しています [13、14、28]。最近、[2]の著者らは、すべてのミームの情報をテキストに変換し、言語モデルに存在するコンテキストの背景知識をより有効に活用するように言語モデルを促すことを試みました。このアプローチは、2 つのヘイトミーム検出ベンチマークで最先端の結果を達成しました。ただし、画像キャプションを通じて画像を説明する一般的な方法を採用しているため、ヘイトミーム検出に必要な重要な要素が無視されることがよくあります。この研究では、ゼロショット VQA 方式で、事前トレーニング済みの視覚言語モデルにヘイトコンテンツ中心の質問を促すことで、プローブベースのキャプションを通じてこの問題に対処しようとしています。