Navegando por la complejidad de la detección de memes de odio

Tabla de enlaces

Resumen e introducción

Trabajo relacionado

Preliminar

Método propuesto

Experimento

Conclusión y referencias

Apéndice

2. TRABAJO RELACIONADO

Los memes , normalmente destinados a ser humorísticos o sarcásticos, se explotan cada vez más para la proliferación de contenido de odio, lo que lleva a la difícil tarea de detectar memes de odio en línea [5, 12, 27]. Para combatir la propagación de memes de odio, una línea de trabajo considera la detección de memes de odio como una tarea de clasificación multimodal. Los investigadores han aplicado modelos de lenguaje de visión (PVLM) previamente entrenados y los han ajustado en función de los datos de detección de memes [20, 26, 34, 37]. Para mejorar el rendimiento, algunos han probado el ensamblaje de modelos [20, 26, 34]. Otra línea de trabajo considera combinar modelos previamente entrenados (por ejemplo, BERT [4] y CLIP [29]) con arquitecturas de modelos de tareas específicas y ajustarlas de un extremo a otro [13, 14, 28]. Recientemente, los autores de [2] han intentado convertir toda la información de los memes en texto y solicitar modelos de lenguaje para aprovechar mejor el conocimiento contextual presente en los modelos de lenguaje. Este enfoque logra resultados de última generación en dos puntos de referencia de detección de memes de odio. Sin embargo, adopta un método genérico para describir la imagen a través de subtítulos, ignorando a menudo factores importantes necesarios para la detección de memes de odio. En este trabajo, buscamos abordar este problema a través de subtítulos basados en sondas al provocar modelos de visión y lenguaje previamente entrenados con preguntas odiosas centradas en el contenido de una manera VQA cero.